Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具

Fiddler是程式網路爬蟲常見的輔助工具,主要是用於HTTPS調試的代理伺服器應用程式,在網路封包的流量監聽與網址解析非常方便,本文介紹如何下載安裝使用。

一、下載Fiddler Classic

前往Fiddler Classic網頁,可以很清楚看到它功能的描述:The Original and Free Web Debugging Proxy Tool,主要作為網偵錯使用,只能在Windows系統使用,實際上是透過紀錄網路傳輸的方式提供資料(logs HTTP(s) network traffic),同時適用於HTTP及HTTPS。

注意到Fiddller還有很多其他的版本,不過其他大致都是需要付費,只有Classic是一開始最早的版本,仍然維持Windows社區免費的版本,只有windows可以使用。

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 1

二、Fiddler使用主畫面

下載後順利完裝好了,進入主畫面應該會跳出一個視窗。稍微了解一下文字說明,大概是和瀏覽器所得到網路封包有關,為了避免再出現這個視窗,這裡直接點選「No」,如果不需要再看到此視窗,可以按下「Cancel」。

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 3

三、開啟Decode模式

建議在一開始就將上方「Decode」選取讓它有藍色的框框出現,代表啟動的狀態,依照浮窗顯示的說明,啟動的話,所有網路流量(網路封包)都會被解壓縮(解析)成可以簡單檢視(監聽)的狀態。

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 5

四、公開資訊觀測站

為了實際了解Fiddler的使用方法,前往「公開資訊觀測站」的「財務報告公告」網頁,輸入台積電公司代號「2330」按下「查詢」。注意到網址列最前面有鎖頭標誌,已鎖了,表示這個網站是使用HTTPS安全性連線,全名為超文本傳輸安全協定(HyperText Transfer Protocol Secure)。

贊贊小屋先前也有文章介紹到利用Google的Chrome瀏覽器追蹤解析,同樣是公開資訊觀測站這個網頁,有興趣讀者可以參考相關文章

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 7

五、無法解析HTTPS

果然在Fiddler會出現公開資訊觀測站的網路封包,但是同時也看到右邊有一個標黃色的提示:「HTTPS decrytion is disbled.」,表示目前是沒有辦法監聽到HTTPS安全性網站的網路封包情形。

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 9

六、工具選項設定

可以在上個步驟選點選快捷按鈕,不過為了完整操作起見,可以到上方工具列選擇「Tools」,也就是工具選項的設定下再選擇「Options」。

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 11

七、根目錄安全憑證

由於HTTPS本來就是關於網路安全性的設定,想要監聽這方面的網路封包,Windows系統的防火墻功能可能會封鎖。因此要開啟HTTPS監聽功能,Fiddler提示會自動生成一個根目錄安全憑證,透過這個憑證作為令牌,表示已經得到電腦管理員的同意,避免Windows防火墻跳出提醒視窗或者封鎖,在這裡沒有太大疑慮,直接按「Yes」表示信任。

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 13

八、CA憑證確認安裝

上個步驟是Fiddler的提示,接下來它開始在背景中操作時,Windows系統果然偵測到這個行為並且會跳出安全性警告,在這裡我已經信任這一個憑證授權單位的CA憑證,在此按下「是」,表示要安裝此憑證。

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 15

九、憑證再次確認

最後再次確認是不是要將CA憑證安裝在電腦的根目錄清單中。目前電腦的使用大致上離不開網路,所以在此等於是在電腦裡面安裝了一個監聽器,它會監聽到電腦跟網路有關的活動,茲事重大,為了安全起見要再三確認。

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 17

十、HTTPS設定完成

CA憑證安裝好了之後回到選項設定頁面,在這裡勾選「Ignore server certificate error),雖然這裡提示是「unsafe」,但是和CA憑證相同,即然有需要讓程式網路爬蟲的任務更為有效,就要儘量放寛限制,所以在這裡將它勾選,最後右下角的「OK」。

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 19

十一、監聽網路封包

開啟了HTTPS之後再去執行第四步驟的查詢,終於找到了在公開資訊觀測站查詢時﹐究竟是使用哪個網誌傳輸資料的。這裡看到它是進行「POST」網頁請求,並且在右下方的「WebView」便是台積電的財務報告。

這裡提到POST網頁請求方法,讀者對於POST和另外一個主要的請求方法GET有興趣的話,歡迎參考贊贊小屋的相關文章

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 21

爬蟲輔助工具Fiddler

這篇文章主要是介紹如何安裝Fiddler,簡單使用它監聽解析網路封包的功能,在實際操作的過程中會發現到它提供了相當多的配套工具。在實際進行網路爬蟲的時候,由於現在的網頁科技日新月異,有非常多不同的網頁形態,因此如果要順利爬蟲取得資料的話,Fiddler是實務中常見主流的輔助工具,後續贊贊小屋有適當的範例會再作進一步的介紹。

學習更多:HTML文章合集

Fiddler下載安裝使用:HTTPS封包解析的網路爬蟲工具 23
歡迎加入Line社群,口袋裡的VBA小教室!