為了發現眾多網站上新發布的頁面，搜索引擎往往需要爬行并渲染上萬個頁面，可能需要幾天到幾周的時間才能發現內容發生了變化，不過這一低效索引問題將有望得到解決。
去年 10 月份，微軟與俄羅斯搜索引擎Yandex一起推出了IndexNow 的新爬蟲協議，目的是提高搜索引擎爬蟲和索引的效率。
IndexNow協議到底是什么呢？
具體來說，IndexNow是由 Microsoft Bing 和 Yandex 創建的新協議，允許網站在創建、更新或刪除其網站內容時，通過使用API輕松通知搜索引擎。
日前，微軟再度宣布，它正在通過確保提交的URL在搜索引擎之間共享，使該協議更容易實施。
這意味著網站管理員只需要一個API接口，所有的URL將被共同分享給支持IndexNow協議的所有搜索引擎。除了為內容發布者節省時間和精力外，這還有助于搜索引擎的內容發現工作，這使網絡在整體上更有效率。
你或許已經覺得這個協議和百度的鏈接提交API很相似了。的確也是這樣，只不過內容提交后并不保證被爬行或收錄，搜索引擎只是會“被通知到”這個變化，并且將這些URL的爬行優先級提升到更高一些。
圖注：推送成功后可以通過Bing站長平臺入口查看到URL
IndexNow帶來了搜索索引的演變
了解完IndexNow協議，可以發現它非常重要，因為帶來了搜索引擎發現更新和新發布網頁的方式的重大變化。
我們知道， 搜索引擎獲取網頁數據有兩種方式：拉取和推送。拉取是指搜索引擎爬蟲訪問網站以請求網頁并從服務器“拉取”數據。這就是搜索引擎傳統上的工作方式。
而IndexNow 所做的是將內容發現更改為推送方法，它使發布者受益于快速索引和更少的服務器負載，因為機器人不需不斷地爬取他們的網頁。主要搜索引擎的采用將是內容發布者和搜索引擎之間關系的演變，這對雙方都有利。
利好內容發布者
對于內容發布者來說，它可以幫助減少對服務器的爬取需求，搜索引擎不需要進行探索性爬取來檢查網頁是否已更新，并且減少了發現和索引內容的時間。
另外，減少服務器負載有助于服務器以最佳方式運行，而不會增加搜索引擎已經擁有的網頁冗余服務的負擔。
最終，它也通過減少爬行和索引的能源需求，可以減少全球變暖壓力造福世界。
已有多個搜索引擎參與，谷歌正在測試
最新數據顯示，IndexNow協議已經被Bing和Yandex等多個搜索引擎采用，并且超過 8 萬個網站開始發布并收獲了更快提交索引的好處。
目前，已經采用IndexNow協議的公司名單包括：
- Wix
- Duda
- Cloudflare
- Akamai
- Botify
- oncrawl
- onely
- Yext
而讓更多人關心的是，未來谷歌是否也會采用IndexNow協議。對此，谷歌發言人在去年 11 月份也發表聲明，確認谷歌將測試新的IndexNow協議。這意味著IndexNow的效能將大幅上升。
另外，占全球最大市場份額的CMS WordPress也正在考慮支持IndexNow協議。不過，目前他們似乎鼓勵插件的開發，而不是急于將其集成到WordPress核心本身。可以說，WordPress仍處于觀望狀態，等待谷歌以及其它搜索引擎等更廣泛的行業認同。
如何部署IndexNow？
對于網站管理者，只需要在網站頁面發生變更時去通過這個協議Ping一下搜索引擎，搜索引擎就會被成功通知到。
圖注：密鑰生成過程，頁面經過機器翻譯
如果你是開發人員，部署 IndexNow具體可以遵循以下步驟：
1）使用在線密鑰生成工具生成協議支持的密鑰。
2）將密鑰托管在網站根目錄的密鑰值命名的文本文件中。
3）添加、更新或刪除 URL 后開始提交 URL。您可以為每個 API 調用提交一個 URL 或一組 URL。
4）提交一個 URL 就像發送一個簡單的 HTTP 請求一樣簡單，其中包含更改的 URL 和您的密鑰，就像下面這樣：
https://www.bing.com/IndexNow?url=url-changed&key=your-key
有關實施的更多詳細信息，可以訪問IndexNow了解。
（網址：https://www.bing.com/indexnow）
關于IndexNow常見問題解答
?搜索引擎提交 URL 的端點是什么？
——啟用 IndexNow 的搜索引擎會立即共享提交給所有其他啟用 IndexNow 的搜索引擎的所有 URL，因此您只需通知一個端點。
?提交了一個 URL會有什么效果？
——如果搜索引擎喜歡您提交的URL內容，搜索引擎將嘗試根據其爬取邏輯和網站的配額對其進行爬取，以快速獲取最新內容。
?一天內提交了一萬個URL，會發生什么？
——如果搜索引擎喜歡這些URL內容，并且站點有足夠的抓取配額，搜索引擎將嘗試抓取部分或所有URL。
?已經提交 URL，卻沒有被編入索引怎么回事？
——使用 IndexNow 可確保搜索引擎了解您的網站更新，但并不保證網頁會立即被搜索引擎抓取或編入索引，可能需要過一段時間才能被索引。
?剛開始使用IndexNow，應該發布去年更改過的URL嗎？
——不需要，只需要發布自您開始使用 IndexNow以來發生變化（添加、更新或刪除）的 URL。
?提交的 URL 是否計入抓取配額？
——會。每次抓取都計入網站的抓取配額。
?為什么沒有看到所有提交的url被搜索引擎索引?
——如果內容不符合搜索引擎選擇標準，則可以選擇不抓取和索引 URL。
?網頁很少的小站點適合使用IndexNow嗎？
——當然。如果您希望內容更改后立即讓搜索引擎發現，那么建議使用 IndexNow。
可以每天多次提交同一個 URL 嗎？
——建議避免一天多次提交相同的 URL。如果頁面經常編輯修改，那么最好在兩次編輯之間等待 10 分鐘，然后再通知搜索引擎。如果頁面不斷更新，最好不要每次更改都使用 IndexNow。
?可以通過 API 提交 404 網址嗎？
——可以。可以提交死鏈（http 404、http 410）頁面來通知搜索引擎有關新的死鏈接。
?可以提交新的重定向嗎？
——可以。可通過提交新重定向的 URL（例如 301 重定向、302 重定向等）通知搜索引擎內容已更改。
?什么時候需要更換密鑰？
——搜索引擎在收到新密鑰時只會嘗試抓取 {key}.txt 文件一次以驗證所有權。此外，不需要經常修改密鑰。
?每個主機可以使用多個密鑰嗎？
——可以。如果您的網站使用不同的內容管理系統，每個內容管理系統都可以使用自己的密鑰；在主機的根目錄發布不同的密鑰文件。
?有sitemap還需要 IndexNow嗎？
——是的。搜索引擎訪問sitemap頻率也可能很低，使用 IndexNow，可以讓網站管理員“不必”等待搜索引擎發現和抓取sitemap，直接通知搜索引擎新內容。
本文為@喵妹原創，運營喵專欄作者。
