如何阻止搜索引擎爬行WordPress網站


最近,我們的一位用戶問我們如何阻止搜索引擎對WordPress網站進行爬網和編制索引? 在許多情況下,您希望停止搜索引擎搜尋您的網站或將其列出在搜索結果中。 在本文中,我們將向您展示如何阻止搜索引擎抓取WordPress網站。

阻止搜索引擎爬行您的WordPress網站

為什麼和誰想要停止搜索引擎

對於大多數網站而言,搜索引擎是最大的流量來源。 您可能會問,為什麼有人要阻止搜索引擎?

剛開始時,很多人都不知道如何創建本地開發環境或暫存站點。 如果您以公開訪問的域名開發網站,那麼您可能不希望Google為您的在建或維護模式頁面編制索引。

也有許多人使用WordPress創建私人博客,並且他們不希望將它們編入搜索結果中,因為它們是私人博客。

另外,有些人使用WordPress進行項目管理或Intranet,並且您不希望內部文檔可以公開訪問。

在上述所有情況下,您可能不希望搜索引擎將您的網站編入索引。

一個常見的誤解是,如果我沒有指向我的域的鏈接,那麼搜索引擎可能永遠找不到我的網站。 這不是完全正確的。

搜索引擎可以通過多種方式找到其他地方鏈接的網站。 例如:

  1. 您的域名以前可能是其他人擁有的,但他們現在仍有一些指向您網站的鏈接。
  2. 某些域搜索網站的結果可能會在您的鏈接上被索引。
  3. 從字面上看,有數千個頁面僅列出了域名列表,您的網站可以顯示在其中之一上。

網絡上發生了很多事情,其中​​大多數都不在您的控制之下。 但是,您的網站仍處於您的控制之下,並且您可以指示搜索引擎不要為您的網站編制索引或關注您的網站。

影片教學

訂閱WPBeginner

如果您不喜歡該視頻或需要更多說明,請繼續閱讀。

阻止搜索引擎爬行和索引您的WordPress網站

WordPress具有內置功能,可讓您指示搜索引擎不要為您的網站編制索引。 您需要做的就是訪問 設置»閱讀 並選中“搜索引擎可見性”選項旁邊的框。

WordPress中的搜索引擎可見性設置

選中此框後,WordPress將此行添加到您網站的標題中:

WordPress還修改了您網站的robots.txt文件,並在其中添加了以下幾行:

User-agent: *
Disallow: /

這些行要求漫遊器(網絡搜尋器)不要為您的頁面編制索引。 但是,完全由搜索引擎決定是否接受此請求。 即使大多數搜索引擎都尊重這一點,您網站上的某些頁面或隨機圖像也可能會被索引。

如何確保您的網站沒有出現在搜索結果中?

默認的WordPress可見性設置指示搜索引擎不要為您的網站建立索引。 但是,搜索引擎仍可能最終會爬網和索引您網站上的頁面,文件或圖像。

確保搜索引擎根本不會索引或爬行您的網站的唯一方法是通過密碼保護服務器級別的整個WordPress網站。

這意味著當任何人嘗試訪問您的網站時,甚至在他們到達WordPress之前,都要求他們提供用戶名和密碼。 這也包括搜索引擎。 登錄失敗後,將顯示401錯誤,並且漫遊器會關閉。 這是密碼保護整個WordPress網站的方法。

方法1:使用cPanel密碼保護整個站點

如果您的WordPress託管服務提供商提供cPanel訪問權限來管理您的託管帳戶,那麼您可以使用cPanel保護整個網站。 您所要做的就是登錄到cPanel儀表板,然後單擊“安全”部分下的“密碼保護目錄”圖標。

密碼保護目錄

接下來,您將需要選擇安裝WordPress的文件夾。 通常,它是public_html文件夾。

選擇根文件夾

如果在public_html目錄下安裝了多個WordPress網站,則需要單擊文件夾圖標以瀏覽並選擇要用密碼保護的網站的文件夾。

在下一個屏幕上,您需要輸入受保護目錄的名稱,然後單擊“保存”按鈕。

輸入受保護目錄的名稱

您的信息將被保存,cPanel將重新加載頁面。 之後,您需要輸入用戶名和密碼來添加授權用戶。

添加授權用戶

就是這樣,您已經成功將密碼保護添加到WordPress網站。

現在,每當用戶或搜索引擎訪問您的網站時,都會提示他們輸入您先前創建的用戶名和密碼來查看該網站。

受密碼保護的網站

方法2:使用插件對WordPress進行密碼保護

如果您使用的是託管WordPress託管解決方案,則有時您無權訪問cPanel。

在這種情況下,您可以選擇使用其他WordPress插件來密碼保護您的網站。 以下是兩個最受歡迎的解決方案:

  1. SeedProd –這是即將推出的#1和WordPress維護模式插件,已在超過80萬個網站上使用。 它具有完整的訪問控制和權限功能,可用於對所有人(包括搜索引擎)隱藏您的網站。 我們提供了有關SeedProd的逐步指南。
  2. 密碼保護 –這是一種非常簡單的方法,只需一個密碼即可密碼保護WordPress網站(無需創建用戶)。 請參閱有關如何密碼保護WordPress網站的分步指南。

我們希望本文能幫助您阻止搜索引擎對WordPress網站進行爬網或編制索引。 您可能還想看看我們針對初學者的終極逐步WordPress安全指南。

如果您喜歡這篇文章,請訂閱我們的YouTube頻道WordPress視頻教程。 您也可以在找到我們 推特 和Facebook。