Fiddler Classic教學首先會說明它是什麼,它可以進行電腦上網流量的持續檢測紀錄,通常在進行程式爬蟲解析網址的輔助工具,本文教你如何下載安裝後開始使用。
目錄
Toggle一、Fiddler Classic是什麼
前往Fiddler Classic網頁,可以很清楚看到它功能的描述:The Original and Free Web Debugging Proxy Tool,主要作為網偵錯使用,只能在Windows系統使用,實際上是透過紀錄網路傳輸的方式提供資料(logs HTTP(s) network traffic),同時適用於HTTP及HTTPS。
注意到Fiddller還有很多其他的版本,不過其他大致都是需要付費,只有Classic是一開始最早的版本,仍然維持Windows社區免費的版本,只有windows可以使用。
二、下載安裝使用
下載後順利完裝好了,進入主畫面應該會跳出一個視窗。稍微了解一下文字說明,大概是和瀏覽器所得到網路封包有關,為了避免再出現這個視窗,這裡直接點選「No」,如果不需要再看到此視窗,可以按下「Cancel」。
三、開啟Decode模式
建議在一開始就將上方「Decode」選取讓它有藍色的框框出現,代表啟動的狀態,依照浮窗顯示的說明,啟動的話,所有網路流量(網路封包)都會被解壓縮(解析)成可以簡單檢視(監聽)的狀態。
四、網頁請求查詢
為了實際了解Fiddler的使用方法,前往「公開資訊觀測站」的「財務報告公告」網頁,輸入台積電公司代號「2330」按下「查詢」。注意到網址列最前面有鎖頭標誌,已鎖了,表示這個網站是使用HTTPS安全性連線,全名為超文本傳輸安全協定(HyperText Transfer Protocol Secure)。
五、無法解析HTTPS
果然在Fiddler會出現公開資訊觀測站的網路封包,但是同時也看到右邊有一個標黃色的提示:「HTTPS decrytion is disbled.」,表示目前是沒有辦法監聽到HTTPS安全性網站的網路封包情形。
六、進階設定教學
可以在上個步驟選點選快捷按鈕,不過為了完整操作起見,可以到上方工具列選擇「Tools」,也就是工具選項的設定下再選擇「Options」。
七、根目錄安全憑證
由於HTTPS本來就是關於網路安全性的設定,想要監聽這方面的網路封包,Windows系統的防火墻功能可能會封鎖。因此要開啟HTTPS監聽功能,Fiddler提示會自動生成一個根目錄安全憑證,透過這個憑證作為令牌,表示已經得到電腦管理員的同意,避免Windows防火墻跳出提醒視窗或者封鎖,在這裡沒有太大疑慮,直接按「Yes」表示信任。
八、CA憑證確認安裝
上個步驟是Fiddler的提示,接下來它開始在背景中操作時,Windows系統果然偵測到這個行為並且會跳出安全性警告,在這裡我已經信任這一個憑證授權單位的CA憑證,在此按下「是」,表示要安裝此憑證。
九、再次安全確認
最後再次確認是不是要將CA憑證安裝在電腦的根目錄清單中。目前電腦的使用大致上離不開網路,所以在此等於是在電腦裡面安裝了一個監聽器,它會監聽到電腦跟網路有關的活動,茲事重大,為了安全起見要再三確認。
十、HTTPS設定完成
CA憑證安裝好了之後回到選項設定頁面,在這裡勾選「Ignore server certificate error),雖然這裡提示是「unsafe」,但是和CA憑證相同,即然有需要讓程式網路爬蟲的任務更為有效,就要儘量放寛限制,所以在這裡將它勾選,最後右下角的「OK」。
十一、監聽網路封包
開啟了HTTPS之後再去執行第四步驟的查詢,終於找到了在公開資訊觀測站查詢時﹐究竟是使用哪個網誌傳輸資料的。這裡看到它是進行「POST」網頁請求,並且在右下方的「WebView」便是台積電的財務報告。
這裡提到POST網頁請求方法,讀者對於POST和GET這兩個主要請求方法有興趣的話,歡迎參考贊贊小屋相關文章。
爬蟲工具Fiddler Classic教學
這篇文章主要是介紹如何安裝Fiddler Classic,簡單使用它監聽解析網路封包的功能,在實際操作的過程中會發現到它提供了相當多的配套工具。在實際進行網路爬蟲的時候,由於現在的網頁科技日新月異,有非常多不同的網頁形態,因此如果要順利爬蟲取得資料的話,Fiddler是實務中常見主流的輔助工具,後續贊贊小屋有適當的範例會再作進一步的介紹。