python爬蟲代碼示例(Python爬蟲技術入門實例代碼分析)

爬蟲技術基礎概念

1. 爬蟲:自動獲取網絡數據的程序。

2. Web頁面結構:HTML、CSS、JavaScript等。

3. HTTP請求:客戶端向服務器請求數據的方式。

4. HTTP響應:服務器返回給客戶端的數據。

請求與響應

使用Python的requests庫發送HTTP請求。

importrequestsurl="https://www.example.com"response=requests.get(url)

獲取響應內容

html_content=response.text

HTML解析與數據提取

使用BeautifulSoup庫解析HTML內容。

frombs4importBeautifulSoupsoup=BeautifulSoup(html_content,"html.parser")

使用CSS選擇器或其他方法提取數據。

title=soup.title.string

實戰:爬取簡書網站首頁文章信息

發送請求,獲取簡書網站首頁HTML內容。

importrequestsfrombs4importBeautifulSoupurl="https://www.jianshu.com"response=requests.get(url)html_content=response.text

存儲數據

將數據存儲為JSON格式。

importjsonwithopen("jianshu_articles.json","w",encoding="utf-8")asf:json.dump(article_info_list,f,ensure_ascii=False,indent=4)

測試與優化

1.遇到反爬蟲策略時,可以使用User-Agent偽裝成瀏覽器。

headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/58.0.3029.110Safari/537.3"}response=requests.get(url,headers=headers)

2.使用time.sleep()函數控制請求頻率。

importtimetime.sleep(10)

3.錯誤處理與異常捕獲。

try:response=requests.get(url,headers=headers,timeout=5)response.raise_for_status()exceptrequests.exceptions.RequestExceptionase:print(f"Error:{e}")

網站爬蟲完整代碼:

importrequestsfrombs4importBeautifulSoupimportjsonimporttimedeffetch_jianshu_articles():url="https://www.jianshu.com"headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/58.0.3029.110Safari/537.3"}try:response=requests.get(url,headers=headers,timeout=5)response.raise_for_status()exceptrequests.exceptions.RequestExceptionase:print(f"Error:{e}")returnhtml_content=response.textsoup=BeautifulSoup(html_content,"html.parser")articles=soup.find_all("p",class_="content")article_info_list=[]forarticleinarticles:title=article.h3.text.strip()author=article.find("span",class_="name").text.strip()link=url+article.h3.a["href"]article_info={"title":title,"author":author,"link":link}article_info_list.append(article_info)returnarticle_info_listdefsave_to_json(article_info_list,filename):withopen(filename,"w",encoding="utf-8")asf:json.dump(article_info_list,f,ensure_ascii=False,indent=4)if__name__=="__main__":article_info_list=fetch_jianshu_articles()ifarticle_info_list:save_to_json(article_info_list,"jianshu_articles.json")print("Jianshuarticlessavedto'jianshu_articles.json'.")else:print("FailedtofetchJianshuarticles.")

補充

為了更好地理解這個實戰項目,我們需要了解一些基礎概念和原理,這將有助于掌握Python的網絡編程和爬蟲技術。以下是一些基本的網絡爬蟲概念:

1. HTTP協議:超文本傳輸協議(HTTP)是一種用于傳輸超媒體文檔(如 HTML)的應用層協議。HTTP協議被用于從Web服務器傳輸或發布到Web瀏覽器或其他客戶端的數據。

2. HTML、CSS 和 JavaScript:HTML 是用來描述網頁的一種語言。CSS 是用來表現 HTML 結構的樣式。JavaScript 是網頁編程的一種腳本語言,主要用于實現網頁上的動態效果和與用戶的交互。

3. DOM:文檔對象模型(DOM)是一種跨平臺的編程接口,用于處理 HTML 和 XML 文檔。DOM將文檔視為樹形結構,其中每個節點代表一個部分(如元素、屬性或文本)。

4. URL:統一資源定位符(URL)是用于指定互聯網資源位置的一種字符串。

5. 請求頭(Request Headers):在HTTP請求中,請求頭包含了關于客戶端的環境、瀏覽器等信息。常見的請求頭字段有:User-Agent、Accept、Referer 等。

6. 響應頭(Response Headers):在HTTP響應中,響應頭包含了關于服務器的信息、響應狀態碼等信息。常見的響應頭字段有:Content-Type、Content-Length、Server 等。

7. 網絡爬蟲策略:有些網站會采取一些策略來阻止爬蟲抓取數據,如:封禁IP、限制訪問速度、使用 JavaScript 動態加載數據等。在實際應用中,我們需要根據這些策略采取相應的應對措施,如:使用代理IP、限制爬蟲抓取速度、使用瀏覽器模擬庫(如 Selenium)等。

以上就是關于“Python爬蟲技術入門實例代碼分析”這篇文章的內容,相信大家都有了一定的了解,希望小編分享的內容對大家有幫助,若想了解更多相關的知識內容,請關注本站行業資訊頻道。