文章插圖

文章插圖
通過前幾節課的學習,我們大概了解了通過urllib模塊怎么樣獲取數據、解析數據、保存數據得到我們想要的數據了,今天呢,就給大家介紹一個Python爬蟲獲取數據的另外一個方法requests庫 。那么urllib和requests哪個好?urllib和requests有什么區別呢?
1.requests庫怎么安裝
我們已經講解了Python內置的urllib模塊,用于訪問網絡資源 。但是,它用起來比較麻煩,而且,缺少很多實用的高級功能 。
更好的方案是使用requests 。它是一個Python第三方庫,處理URL資源特別方便 。
requests庫的安裝與安裝其他第三方應用一樣(如下圖):
我們以簡單的抓取百度網頁(https://www.baidu.com/)為例進行操作:
第一步,導入requests庫
首先我們需要判斷請求類型 。最常見的請求方式為 GET 和POST,我們可以通過右擊檢查-network-headers-Request Method可以看到該頁面的請求方式為get
requests.get(網頁地址)第三步,獲取網頁內容 。
首先我們需要判斷我們獲取到的網頁是什么類型,同樣可通過右擊檢查-network-headers-Content-Type可以看到該網頁的內容為text類型
因此我們獲取網頁的基本格式為:如下圖即可輸出網頁內容:
response.text
基本格式為:
with open(保存的文件名,讀寫模式,encoding=”utf-8″) as 變量:變量.write(網頁內容)
- 樂高軟件教程 樂高手機軟件
- centos安裝ib驅動 ib網卡命令
- ug一鍵安裝工具下載 UG一鍵安裝
- 刷機大師root下載 root一鍵刷機教程
- mac如何安裝虛擬windows Windows安裝Mac虛擬機
- redis安裝環境 redis運行環境
- 蘋果ipad能安裝windows系統嗎 蘋果平板ipad能裝WINDOWS系統嗎
- 我的世界電腦版小地圖的mod叫什么? 我的世界手機版小地圖mod怎么安裝
- linux搭建web服務器的步驟 linux下安裝web服務器
- 地漏一旦安裝好了還能換嗎
