想要進行數據分析，必須先精通爬蟲蒐集數據

最近在寫爬蟲檢視 DevTools Headers 資訊時，發現跳出下面這行警告訊息：

Provisional headers are shown

看起來是有些資訊被 DevTools 隱藏了，導致在爬蟲時沒辦法繼續往下走，順手筆記一下解法

net-export (NetLog)

因為我們需要拿取被 DevTools 隱藏的資訊，所以要使用 Chromium Project 內建的網路事件記錄系統 (Network Logging System 簡稱NetLog)

  1. 打開 chrome://net-export/，會看到以下的介面
  2. 選擇第二項 Include cookies and credentials
  3. 點選Start Logging to Disk，選擇完輸出位置後開始記錄網路事件。

用 NetLog Viewer 來打開儲存的 log 檔

  1. 打開 NetLog Viewer
  2. 選擇剛剛儲存位置的json檔案
  3. 載入完成後會像這樣
  4. 點開左側的 Event，搜尋你要的 Request 或 Cookie 鍵值，取得你要的資訊。

參考