【Google 文件更新】2024年9月 Google 「爬蟲文件」重大更新

文章目錄

此次更新的出發點在於Google 認為原本的爬蟲（Google 檢索器）文件的總覽頁面資訊量過大，額外的爬網資訊將使頁面內容再增加，因此決定將爬蟲文件分成三個頁面去表示。

註：爬蟲也可稱作「檢索器」。

Google 此次更新改變了什麼？

Google 爬蟲工具的功能是什麼？

官方說明：為了能夠方便建構Google 搜尋索引、執行其他產品專屬的檢索作業，以及分析。

以下為常見的爬蟲工具清單：

Google 的特殊情況爬蟲清單是什麼？

官方說明：特殊情況爬網程式可能會忽略robots.txt 規則，因此它們在與常見爬網程式不同的IP 範圍內運行，其中被抓取的網站與產品之間就抓取過程達成了協定。

Google 使用者觸發的抓取程式清單是什麼？

官方說明：使用者觸發的抓取程式由使用者發起，用於在Google 產品中執行提取功能。

直接影響很小，這次的更新雖然與Google 演算法的關係不大，但與每一次的演算法調整主旨相同，同樣從幫助使用者的角度出發。將爬蟲文件清楚分類過後，能夠讓使用者日後查詢資訊時更加快速，毋須將資訊量大的總覽頁面一一瀏覽才能找到需要的資料，只需要進入正確的爬蟲文件分類頁即可。