如何在WordPress中為SEO優化Robots.txt(入門指南)


最近,我們的一位讀者向我們詢問了有關如何優化robots.txt文件以改善SEO的提示。 Robots.txt文件告訴搜索引擎如何抓取您的網站,這使其成為功能強大的SEO工具。 在本文中,我們將向您展示如何為SEO創建一個完美的robots.txt文件。

使用WordPress的robots.txt文件改善SEO

什麼是robots.txt文件?

Robots.txt是網站所有者可以創建的文本文件,用於告訴搜索引擎機器人如何在其網站上抓取頁面並將其編入索引。

它通常存儲在根目錄(也稱為網站的主文件夾)中。 robots.txt文件的基本格式如下所示:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]

User-agent: [user-agent name]
Allow: [URL string to be crawled]


Sitemap: [URL of your XML Sitemap]

您可以使用多行說明來允許或禁止使用特定的URL,並添加多個站點地圖。 如果您不禁止使用URL,則搜索引擎漫遊器會假定它們被允許對其進行爬網。

這是robots.txt示例文件的外觀:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

在上面的robots.txt示例中,我們允許搜索引擎對WordPress上載文件夾中的文件進行爬網和編制索引。

在那之後,我們禁止搜索bot搜尋和索引插件和WordPress admin文件夾。

最後,我們提供了XML網站地圖的URL。

您是否需要WordPress網站的Robots.txt文件?

如果您沒有robots.txt文件,則搜索引擎仍會抓取您的網站並為其編制索引。 但是,您將無法告訴搜索引擎它們不應該抓取哪些頁面或文件夾。

當您第一次創建博客且內容不多時,這不會產生太大影響。

但是,隨著網站的發展和內容的豐富,您可能希望更好地控製網站的爬網和索引方式。

這就是為什麼。

搜索機器人對每個網站都有一個抓取配額。

這意味著它們在爬網會話期間對一定數量的頁面進行爬網。 如果他們還沒有完成對您網站上所有頁面的爬網,那麼他們將返回並在下一個會話中繼續爬網。

這可能會降低您的網站索引率。

您可以通過禁止搜索漫遊器嘗試爬網不必要的頁面(例如WordPress管理頁面,插件文件和主題文件夾)來解決此問題。

通過禁止不必要的頁面,可以保存爬網配額。 這有助於搜索引擎在您的網站上抓取更多頁面並將它們盡快索引。

使用robots.txt文件的另一個很好的理由是,當您要停止搜索引擎將網站上的帖子或頁面編入索引時。

這不是向公眾隱藏內容的最安全方法,但是它將幫助您防止內容出現在搜索結果中。

理想的Robots.txt文件應該是什麼樣的?

許多流行的博客使用非常簡單的robots.txt文件。 它們的內容可能會有所不同,具體取決於特定站點的需求:

User-agent: *
Disallow:
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

該robots.txt文件允許所有漫遊器將所有內容編入索引,並為它們提供網站XML站點地圖的鏈接。

對於WordPress網站,我們建議在robots.txt文件中使用以下規則:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/

Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

告訴搜索引擎將所有WordPress圖像和文件編入索引。 它禁止搜索引擎將WordPress插件文件,WordPress管理區域,WordPress自述文件和會員鏈接編入索引。

通過將站點地圖添加到robots.txt文件中,您可以使Google漫遊器輕鬆找到您網站上的所有頁面。

既然您已經知道理想的robots.txt文件是什麼樣子,那麼讓我們看一下如何在WordPress中創建robots.txt文件。

如何在WordPress中創建Robots.txt文件?

有兩種方法可以在WordPress中創建robots.txt文件。 您可以選擇最適合您的方法。

方法1:使用Yoast SEO編輯Robots.txt文件

如果您使用的是Yoast SEO插件,則它帶有robots.txt文件生成器。

您可以使用它直接在WordPress管理區域中創建和編輯robots.txt文件。

只需轉到 SEO»工具 WordPress管理員中的頁面,然後單擊文件編輯器鏈接。

Yoast SEO中的文件編輯器工具

在下一頁,Yoast SEO頁面將顯示您現有的robots.txt文件。

如果您沒有robots.txt文件,則Yoast SEO會為您生成robots.txt文件。

使用Yoast SEO創建robots.txt文件

默認情況下,Yoast SEO的robots.txt文件生成器會將以下規則添加到您的robots.txt文件中:

User-agent: *
Disallow: /

它是 重要 您刪除此文本是因為它阻止所有搜索引擎抓取您的網站。

刪除默認文本後,您可以繼續添加自己的robots.txt規則。 我們建議使用上面共享的理想robots.txt格式。

完成後,請不要忘記單擊“保存robots.txt文件”按鈕來存儲您的更改。

方法2.使用FTP手動編輯Robots.txt文件

對於這種方法,您將需要使用FTP客戶端來編輯robots.txt文件。

只需使用FTP客戶端連接到您的WordPress託管帳戶即可。

進入內部後,您將可以在網站的根文件夾中看到robots.txt文件。

使用FTP編輯WordPress robots.txt文件

如果看不到,則可能沒有robots.txt文件。 在這種情況下,您可以繼續創建一個。

使用FTP創建robots.txt文件

Robots.txt是純文本文件,這意味著您可以將其下載到計算機上,並使用任何純文本編輯器(如記事本或TextEdit)進行編輯。

保存更改後,您可以將其上傳回網站的根文件夾。

如何測試您的Robots.txt文件?

創建robots.txt文件後,始終最好使用robots.txt測試工具對其進行測試。

那裡有很多robots.txt測試器工具,但我們建議您使用Google Search Console中的一個。

只需登錄到您的Google Search Console帳戶,然後切換到舊的Google Search Console網站。

切換到舊版Google Search Console

這將帶您進入舊的Google Search Console界面。 您需要從此處啟動“抓取”菜單下的robots.txt測試工具。

Robots.txt測試器工具

該工具將自動獲取您網站的robots.txt文件並突出顯示錯誤和警告(如果發現)。

最後的想法

優化robots.txt文件的目的是防止搜索引擎抓取不公開的頁面。 例如,wp-plugins文件夾中的頁面或WordPress admin文件夾中的頁面。

SEO專家之間的一個普遍神話是,阻止WordPress類別,標籤和存檔頁面將提高爬網率,並導致更快的索引編制和更高的排名。

這不是真的。 這也違反了Google網站站長指南。

我們建議您遵循上述robots.txt格式為您的網站創建robots.txt文件。

我們希望本文能幫助您學習如何針對SEO優化WordPress robots.txt文件。 您可能還想查看我們的終極WordPress SEO指南和最好的WordPress SEO工具,以發展您的網站。

如果您喜歡這篇文章,請訂閱我們的YouTube頻道WordPress視頻教程。 您也可以在找到我們 推特 和Facebook。