詳解Python之urllib爬蟲、request模塊和parse模塊

文章目錄

• urllib
• request模塊
• • 訪問URL
  • Request類
  • 其他類
• parse模塊
• • 解析URL
  • 轉義URL
• robots.txt文件

（免費學習推薦：python視頻教程）

urllib

urllib是Python中用來處理URL的工具包，源碼位于/Lib/下。它包含了幾個模塊：用于打開及讀寫的urls的request模塊、由request模塊引起異常的error模塊、用于解析urls的parse模塊、用于響應處理的response模塊、分析robots.txt文件的robotparser模塊。

注意版本差異。urllib有3個版本：Python2.X包含urllib、urllib2模塊，Python3.X把urllib、urllib2以及urlparse合成到urllib包中，而urllib3是新增的第三方工具包。若遇到"No module named urllib2"等問題幾乎都是Python版本不同導致的。

urllib3是一個功能強大、條例清晰、用于HTTP客戶端的Python庫。它提供了許多Python標準庫里所沒有的特性：壓縮編碼、連接池、線程安全、SSL/TLS驗證、HTTP和SCOCKS代理等。可以通過pip進行安裝：pip install urllib3

也可以通過GitHub下載最新代碼：

git clone git://github.com/shazow/urllib3.git python setup.py install

urllib3參考文檔：https://urllib3.readthedocs.io/en/latest/

request模塊

urllib.request模塊定義了身份認證、重定向、cookies等應用中打開url的函數和類。

再簡單介紹下request包，該包用于高級的非底層的HTTP客戶端接口，容錯能力比request模塊強大。request使用的是urllib3，它繼承了urllib2的特性，支持HTTP連接保持和連接池，支持使用cookie保持會話、文件上傳、自動解壓縮、Unicode響應、HTTP(S)代理等。