PYTHON爬蟲實戰_垃圾佬閑魚爬蟲轉轉爬蟲數據整合自用二手急速響應撿垃圾平臺_3

說明

文章首發于HURUWO的博客小站,本平臺做同步備份發布。
如有瀏覽或訪問異常圖片加載失敗或者相關疑問可前往原博客下評論瀏覽。
原文鏈接 PYTHON爬蟲實戰_垃圾佬閑魚爬蟲轉轉爬蟲數據整合自用二手急速響應撿垃圾平臺_3(附源碼持續更新)直接點擊即可前往訪問。

整個系列文章鏈接

PYTHON爬蟲實戰:垃圾佬閑魚爬蟲、轉轉爬蟲數據整合自用二手急速響應撿垃圾平臺(附源碼持續更新)-1

PYTHON爬蟲實戰:垃圾佬閑魚爬蟲、轉轉爬蟲數據整合自用二手急速響應撿垃圾平臺(附源碼持續更新)-2

PYTHON爬蟲實戰:垃圾佬閑魚爬蟲、轉轉爬蟲數據整合自用二手急速響應撿垃圾平臺(附源碼持續更新)-3

前言

本章內容

本章講解關于fidder數據包轉發的問題,也就是攔截了數據之后如何將想要的數據推到指定的數據庫做處理。

FidderScript的說明和使用

FidderScript是什么

FidderScript是Fidder針對數據包的請求 回復 修改的腳本語言。通過使用FidderScript編寫腳本插入可以完成自動化的 請求修改 轉發 回復 修改操作?？梢哉f功能非常強大,喜歡數據采集的人必學。

FidderScript的語法

官方文檔: http://fiddler2.com/r/?fiddlerscriptcookbook

其實不用去看官方文檔 左邊的classview 已經包含了所有的api文檔 看看就行

下面說幾個常用的類方法:

1.Session 所有請求信息/回復信息的保存處 包括request response都可以做修改。比較核心的一個類方法對象。

2.HTTPRequestHeaders 和 HTTPResponseHeaders headers 的映射類 在Session 提取出來可以做修改變化。

3.關于Fidder 軟件本身的一些FidderApplication類方法 比如修改UI的 按鈕等 ,甚至可以定制化出來一個自動化工具。這個就不細說了,看看就知道了。

個人感覺這個語言非常類似于java,有對象有類。學習起來并不要多少成本。但是他的功能確實非常強大。

FidderScript一個簡單的例子

體驗一下一個腳本的完整開發過程。

進入腳本編輯器

兩種辦法:

方法1.

點擊進入FidderScript

展開類圖:點擊ClassView

如果做了修改點擊:Save script 保存腳本

應用腳本

方法2.

Click Rules > Customize Rules

Rules....Enter FiddlerScript code inside the appropriate function.

Save the file.

推薦第二種方式進入腳本編輯器

修改一下request url

跳轉到指定的代碼 塊和方法體 點擊goto 下拉框里選擇點擊

進入OnBeforeRequest

        static function OnBeforeRequest(oSession: Session) {                      ......       ......       ......    }

所有的 request信息包含在oSession里面

比如我們做一個 知乎轉到百度的重定向

if(oSession.fullUrl.Equals("https://www.zhihu.com/")){                     oSession.fullUrl = "https://www.baidu.com/";  }

保存運行一下:

神奇的從知乎跳轉到了百度了

整個過程非常輕松。

FidderScript 轉存閑魚數據

數據轉存的數據存儲問題

1.存在本地還是存在云端

2.是否需要搭建一個后端系統處理數據

3.數據如何顯示到頁面

解決方案

存在云端本地都行,但是搭建一個后臺系統非常有必要。

提供一個數據提交的接口做數據提供和數據處理的分離方案。

顯示和處理在后臺系統(web系統里即可) 處理出來的數據。關于后臺系統的搭建后面的文章會介紹,這里假設已經搭建成功。

后臺數據接收系統

數據提交接口假設為: http://127.0.0.1:8000/xianyu/
數據提交方式為 POST 數據直接提交原始數據即可,盡量把邏輯處理放在后臺

先開啟服務:

編寫轉發腳本

因為閑魚的測試機子不在身邊 暫時先用轉發抖音的數據為例子

打開抖音 抓取一下櫥窗的商品列表鏈接

https://api5-normal-c-lf.amemv.com/aweme/v1/promotion/user/promotion/list/?user_id=54512396382&sec_user_id=MS4wLjABAAAAa54-WneSWxYZ24J_00iS-9SwMQkrM3fOYK_sXDYG-lg&cursor=0&count=20&column_id=0&goods_type=0&shop_version=1&storage_type=0&manifest_version_code=110601&_rticket=1611199065509&app_type=normal&iid=17186708527928&channel=meizu&device_type=M1852&language=zh&cpu_support64=true&host_abi=armeabi-v7a&uuid=86908603665928&resolution=1080*2124&openudid=9c8e3e9910b351a8&update_version_code=11609900&cdid=a5182ee3-c5b7-44b9-830f-71ca10dd4b60&os_api=27&mac_address=D8%3A6C%3A02%3AC9%3AB5%3A58&dpi=480&ac=wifi&device_id=70532699303&mcc_mnc=46001&os_version=8.1.0&version_code=110600&app_name=aweme&version_name=11.6.0&device_brand=Meizu&ssmix=a&device_platform=android&aid=1128&ts=1611199065

腳本轉發數據包 核心代碼:

static function OnBeforeResponse(oSession: Session) {        if (m_Hide304s && oSession.responseCode == 304) {            oSession["ui-hide"] = "true";        }                        if (oSession.fullUrl.Contains("/promotion/user/promotion/list/"))        {            oSession.utilDecodeResponse();//消除保存的請求可能存在亂碼的情況                                                //把內容通過ajax http發送其它地方            var _xhr = new ActiveXObject('Microsoft.XMLHTTP');            var url = 'http://127.0.0.1:8000/xianyu';                                    //發送的數據參數            var param = oSession.GetResponseBodyAsString()                                             //不需要返回值所以寫啦個空回調            _xhr.onreadystatechange = function() {}            _xhr.open('POST', url, true);            _xhr.setRequestHeader("Content-Type", "application/json");            _xhr.setRequestHeader("X-Requested-With", "XMLHttpRequest");            _xhr.send(param);                                          }            }

測試數據接收

點擊手機 打開櫥窗

api服務器成功獲得數據

總結

最后說明一下

autoResponder僅僅只是替換返回包功能 沒有修改和保存數據包的功能,以開始我跑偏了。

FidderScript則是一個強大的工具 只有掌握了FidderScript 才能算是真正的掌握了整個Fidder這個軟件。

參考文章 資料說明

Fiddler4.6.20 使用script保存請求或響應數據到本地或post到其它地方保存

本項目源碼已經上傳:https://github.com/HuRuWo/PickUpTrash