訂閱
糾錯
加入自媒體
當前位置： OFweek 人工智能網(wǎng)   >   其他   >  正文

一篇文章教會你利用Python網(wǎng)絡(luò)爬蟲獲取分類圖片

【一、項目背景】

博海拾貝是一支互聯(lián)網(wǎng)從業(yè)者在線教育的團隊，扎根于中國教育行業(yè)以及互聯(lián)網(wǎng)行業(yè)的創(chuàng)新和眼球中，打造專業(yè)體系化的互聯(lián)網(wǎng)人在線教育平臺。精心創(chuàng)作許多精彩的文章，提供了很多有趣的圖片。

今天來教大家如何使用Python來爬取博海拾貝的圖片，分類保存，寫入文檔。

【二、項目目標】

創(chuàng)建一個文件夾， 分類保存所有文章圖片。下載成功，結(jié)果顯示控制臺。

【三、項目分析】

1、如何找到真正訪問的地址，多網(wǎng)頁請求？

滑動鼠標，觀察網(wǎng)站，右鍵F12 。鼠標滾輪滑動加載新內(nèi)容。如圖：

點開隨機網(wǎng)頁 ， 點開Request URL ，觀察網(wǎng)址的規(guī)律。

https：／／bh．sb／page／1／

https：／／bh．sb／page／2／

https：／／bh．sb／page／3／

https：／／bh．sb／page／4／

觀察到，每增加一頁page／｛｝／自增加1，用｛｝代替變換的變量，再用for循環(huán)遍歷這網(wǎng)址，實現(xiàn)多個網(wǎng)址請求。

2．  反爬處理

1）獲取正常的 http請求頭，并在requests請求時，設(shè)置這些常規(guī)的http請求頭。

2）使用 fake＿useragent ，產(chǎn)生隨機的UserAgent進行訪問。

1  2  3  下一頁>  
聲明： 本文由入駐維科號的作者撰寫，觀點僅代表作者本人，不代表OFweek立場。如有侵權(quán)或其他問題，請聯(lián)系舉報。

發(fā)表評論

共0條評論，0人參與

請輸入評論內(nèi)容...

請輸入評論/評論長度6~500個字

您提交的評論過于頻繁，請輸入驗證碼繼續(xù)

暫無評論

暫無評論

    掃碼關(guān)注公眾號
    OFweek人工智能網(wǎng)
    獲取更多精彩內(nèi)容
    文章糾錯
    x
    *文字標題：
    *糾錯內(nèi)容：
    聯(lián)系郵箱：
    *驗 證 碼：

    粵公網(wǎng)安備 44030502002758號