requests安裝教程 requests庫的詳細安裝過程



文章插圖
requests安裝教程 requests庫的詳細安裝過程

文章插圖
通過前幾節課的學習,我們大概了解了通過urllib模塊怎么樣獲取數據、解析數據、保存數據得到我們想要的數據了,今天呢,就給大家介紹一個Python爬蟲獲取數據的另外一個方法requests庫 。那么urllib和requests哪個好?urllib和requests有什么區別呢?
1.requests庫怎么安裝
我們已經講解了Python內置的urllib模塊,用于訪問網絡資源 。但是,它用起來比較麻煩,而且,缺少很多實用的高級功能 。
更好的方案是使用requests 。它是一個Python第三方庫,處理URL資源特別方便 。
requests庫的安裝與安裝其他第三方應用一樣(如下圖):
2.requests庫怎么使用 。
我們以簡單的抓取百度網頁(https://www.baidu.com/)為例進行操作:
第一步,導入requests庫
第二步,發起請求 。
首先我們需要判斷請求類型 。最常見的請求方式為 GET 和POST,我們可以通過右擊檢查-network-headers-Request Method可以看到該頁面的請求方式為get
因此我們發起請求的格式為:
requests.get(網頁地址)
第三步,獲取網頁內容 。
首先我們需要判斷我們獲取到的網頁是什么類型,同樣可通過右擊檢查-network-headers-Content-Type可以看到該網頁的內容為text類型
因此我們獲取網頁的基本格式為:
response.text
如下圖即可輸出網頁內容:
第四步,存儲網頁信息 。
基本格式為:
with open(保存的文件名,讀寫模式,encoding=”utf-8″) as 變量:變量.write(網頁內容)
【requests安裝教程 requests庫的詳細安裝過程】以上就是關于requests的用法,我們可以結合之前學過的內容,想想urllib與requests哪個更加方便,以及對于有反爬蟲機制的網站,又應該如何用requests獲取內容信息,下節課,我們對比一下urllib與requests的區別的是什么?以及urllib與requests哪種更好 。