python爬蟲是什么(Python爬蟲的介紹是什么)

　　關于Python的爬蟲介紹,爬蟲是什么?它的架構又是什么樣的?小編在這里給大家總結了這么幾點。

一、什么是爬蟲

　　爬蟲:一段自動抓取互聯網信息的程序,從互聯網上抓取對于我們有價值的信息。

二、Python爬蟲架構

　　Python爬蟲架構主要由五個部分組成,分別是調度器、URL管理器、網頁下載器、網頁解析器、應用程序(爬取的有價值數據)。

　　調度器:相當于一臺電腦的CPU,主要負責調度URL管理器、下載器、解析器之間的協調工作。

　　URL管理器:包括待爬取的URL地址和已爬取的URL地址,防止重復抓取URL和循環抓取URL,實現URL管理器主要用三種方式,通過內存、數據庫、緩存數據庫來實現。

　　網頁下載器:通過傳入一個URL地址來下載網頁,將網頁轉換成一個字符串,網頁下載器有urllib2(Python官方基礎模塊)包括需要登錄、代理、和cookie,requests(第三方包)

　　網頁解析器:將一個網頁字符串進行解析,可以按照我們的要求來提取出我們有用的信息,也可以根據DOM樹的解析方式來解析。網頁解析器有正則表達式(直觀,將網頁轉成字符串通過模糊匹配的方式來提取有價值的信息,當文檔比較復雜的時候,該方法提取數據的時候就會非常的困難)、html.parser(Python自帶的)、beautifulsoup(第三方插件,可以使用Python自帶的html.parser進行解析,也可以使用lxml進行解析,相對于其他幾種來說要強大一些)、lxml(第三方插件,可以解析xml和HTML),html.parser和beautifulsoup以及lxml都是以DOM樹的方式進行解析的。

　　應用程序:就是從網頁中提取的有用數據組成的一個應用。

三、第三方庫BeautifulSoup的安裝

　　BeautifulSoup:Python的第三方插件用來提取xml和HTML中的數據,官網地址https://www.crummy.com/software/BeautifulSoup/

　　1、安裝BeautifulSoup

　　打開cmd(命令提示符),進入到Python(Python2.7版本)安裝目錄中的scripts下,輸入dir查看是否有pip.exe,如果用就可以使用Python自帶的pip命令進行安裝,輸入以下命令進行安裝即可:

　　pipinstallbeautifulsoup4

　　2、測試是否安裝成功

　　編寫一個Python文件,輸入:

　　importbs4

　　printbs4

　　運行該文件,如果能夠正常輸出則安裝成功。

上述就是小編為大家分享的Python爬蟲的介紹是什么了,如果剛好有類似的疑惑,不妨參照上述分析進行理解。如果想知道更多相關知識,歡迎關注本站行業資訊頻道。