文章目錄
操作 SEO 的人們對「索引」這一詞不會感到陌生，若是想讓搜尋引擎準確索引，那麼熟悉「 robots.txt 」此文本檔案，將能讓您的網站優化過程中有所助益，本篇教學將提供 2024年最新的 robots.txt 運用技巧，懂得如何撰寫和運用，讓網站 SEO 成效更上一層樓！
robots.txt 是什麼？
robots.txt 是一個存放在網站根目錄下的簡單文字檔案，用來告訴搜尋引擎爬蟲哪些頁面可以被爬取，哪些頁面不可以被爬取。robots.txt 由一行行的指令組成，每行指令由一個動作和一個路徑組成。
robots.txt 的指令有兩種：
- Allow：允許搜尋引擎爬取指定的路徑。
- Disallow：禁止搜尋引擎爬取指定的路徑。
robots.txt 的基本程式碼與結構
或許許多人一看到程式碼就感到很害怕，或是覺得 robots.txt 的程式碼結構複雜。但其實它的規則非常簡單直觀：
| 意思 | 填寫內容 | |
| User-agent | 針對這條規則的對象 | ex. Googlebot、Bingbot |
| Disallow | 指定不想讓爬蟲訪問的網址或目錄 | 某資料夾程式代碼ex. /private/ |
| allow | 指定讓爬蟲訪問的網址或目錄 | 某資料夾程式代碼ex. /private/ |
指定給特定爬蟲，就需要在「User-agent」後，填上搜尋引擎的爬蟲代碼，以 Google 爬蟲為例，需填寫Googlebot
若要指定給所有爬蟲：則在「User-agent」後，填上「*」，就能應用於所有爬蟲。
也可以指定多個爬蟲：就是添加多行的「User-agent：」指令 ，若使用下圖程式碼，就能使 Google 和 Bing 的爬蟲需要遵守同一條 Disallow 規則。
總結一下，User-agent 可以根據實際需求，針對特定爬蟲、所有爬蟲或多個爬蟲進行組合設定。
如何找到網站的 robots.txt
直接在網址後面加上 /robots.txt
例如網站是 https://www.sonar-inc.com
那麼 robots.txt 的網址就是 https://www.sonar-inc.com/robots.txt
使用爬蟲工具和SEO工具
在 Screaming Frog、Ahrefs、SEMrush 等 SEO 工具中，輸入網址進行爬蟲,就可以在工具結果中查看該網站的 robots.txt。
查看網站原始碼：
通常可以在 <head> 標籤內找到 robots meta 標籤,代表網站有使用 robots.txt
robots.txt 如何運作
robots.txt 文件的作用是告訴搜尋引擎爬蟲哪些頁面它們可以訪問，哪些頁面它們不應該訪問。這有助於確保搜尋引擎爬蟲只索引你希望被索引的內容，從而提高網站的能見度和檢索效率。
PS：需要注意的是，robots.txt 只是一個建議，而不是一個絕對的禁令。
一些不道德的爬蟲可能會忽略這個文件，因此，網站持有者不應該依賴它來保護敏感信息，對於關鍵隱私內容，最好採取其他更加強有力的保護措施，例如密碼保護或其他身份驗證方式。
robots.txt 對 SEO 的影響
robots.txt 對 SEO 的正面影響
- 幫助搜尋引擎更有效地爬取網站。robots.txt 可以告訴搜尋引擎哪些頁面是可以爬取的，哪些頁面是不可以爬取的。這可以幫助搜尋引擎更有效地爬取網站，並收錄重要的內容。
- 避免搜尋引擎爬取不必要的頁面。網站上可能會有一些不必要的頁面，例如測試頁面、後台管理頁面等。這些頁面不應該被搜尋引擎爬取，因為它們不會對搜尋引擎結果產生任何幫助。robots.txt 可以用來禁止搜尋引擎爬取這些頁面。
- 保護網站安全。robots.txt 可以用來禁止搜尋引擎爬取敏感的頁面，例如包含商業機密的頁面。這可以幫助保護網站安全。
robots.txt 對 SEO 的負面影響
- 影響網站的排名：如果 robots.txt 設置不當，可能會導致搜尋引擎無法爬取重要的頁面，從而影響網站的排名。
- 降低網站的流量：如果 robots.txt 禁止搜尋引擎爬取重要的頁面，這些頁面就無法在搜尋引擎結果中顯示，從而降低網站的流量。
因此，在使用 robots.txt 之前，需要仔細考慮其對 SEO 的影響。如果 robots.txt 設置不當，可能會對 SEO 產生負面影響。
以下是一些建議，可以幫助您更好地利用 robots.txt 提高 SEO成效：
- 只禁止不必要的頁面：只要有禁止不必要的頁面，才能讓搜尋引擎更有效地爬取網站。
- 定期檢查 robots.txt 文件：網站的內容可能會隨著時間的推移而發生變化。因此，需要定期檢查 robots.txt 文件，確保它仍然符合您的需求。
- 使用 robots.txt 工具：有許多可以幫助您生成和管理 robots.txt 文件的工具。使用這些工具可以幫助您更輕鬆地使用 robots.txt。
綜上所述，robots.txt 是個非常有用的工具，正確運用可以優化網站SEO。希望這篇入門指南能幫助大家更理解它的運作方式！如果說對以上內容還有疑問，需要專業人員協助，也都歡迎聯繫我們將能數位行銷呦！
延伸閱讀：