IndexNow: entscheidende Änderung der Suchmaschinenindizierung

Copyright © Shutterstock/ silvabom

IndexNow ist ein evolutionäres Indizierungsprotokoll, das die Art und Weise, wie Inhalte von allen Suchmaschinen indiziert werden, grundlegend verändern kann.

IndexNow, was ist das?

Microsoft präsentierte IndexNow, eine bedeutende Entwicklung in der Art und Weise, wie alle Suchmaschinen Inhalte entdecken und indizieren können. IndexNow ist quelloffen und offen für alle teilnehmenden Suchmaschinen. Wenn Inhalte auf einer Website veröffentlicht oder aktualisiert werden, benachrichtigt IndexNow alle teilnehmenden Suchmaschinen, wodurch die Zeit bis zur Indexierung drastisch verkürzt wird.

Die gemeinsame Nutzung von IndexNow durch Suchmaschinen wird im November 2021 beginnen. Es gibt eine Obergrenze von 10.000 URLs pro Tag.

Das IndexNow-Protokoll steht allen Suchmaschinen offen, die in mindestens einem Markt eine nennenswerte Präsenz haben.

Copyright © Shutterstock/ Tetiana Yurchenko

Entwicklung der Suchindizierung von Pull zu Push

Es gibt zwei Möglichkeiten für Suchmaschinen, an Webseitendaten zu gelangen: Pull und Push.
Pull bedeutet, dass ein Suchmaschinen-Crawler eine Website besucht, um Webseiten anzufordern, und die Daten vom Server “abruft”. Das ist die traditionelle Arbeitsweise von Suchmaschinen.

Mit IndexNow wird die Inhaltserfassung auf die Push-Methode umgestellt, bei der ein CMS wie WordPress den Suchmaschinen mitteilt, wann der Inhalt veröffentlicht oder aktualisiert worden ist.
Der Vorteil für die Herausgeber besteht darin, dass sie nicht mehr darauf warten müssen, dass die Suchmaschinen den Inhalt crawlen und entdecken.

Die Suchmaschinen wissen sofort Bescheid und besuchen die Website, um die neuen oder aktualisierten Seiten abzurufen.

Laut der Microsoft Ankündigung:

“…historically one of the biggest pain points for website owners has been to have search engines quickly discover and consider their latest website changes.

It can take days or even weeks for new URLs to be discovered and indexed in search engines, resulting in loss of potential traffic, customers and even sales.

…once search engines are notified of updates they quickly crawl and reflect website changes in their index and search results.”

Wer steht hinter IndexNow

IndexNow wurde von Microsoft und Yandex entwickelt. Das Protokoll ist quelloffen und steht allen Suchmaschinen zur Teilnahme offen.

Wenn eine Suchmaschine über eine aktualisierte oder geänderte Webseite informiert wird, werden alle teilnehmenden Suchmaschinen benachrichtigt.

“IndexNow is a new protocol created by Microsoft Bing and Yandex, allowing websites to easily notify search engines whenever their website content is created, updated, or deleted. Using an API”

Wie nützt IndexNow den Publishern?

IndexNow kommt den Publishern zugute, da die Crawling-Anforderungen an den Server reduziert werden, Suchmaschinen keine explorativen Crawls durchführen müssen, um zu prüfen, ob die Webseiten aktualisiert wurden, und die Zeit für die Erkennung und Indizierung von Inhalten verkürzt wird.

Die Verringerung der Serverlast trägt dazu bei, dass der Server optimal arbeitet, ohne die zusätzliche Belastung durch die redundante Bereitstellung von Webseiten, die Suchmaschinen bereits haben.

Letztendlich kommt dies der Welt zugute, da der Energiebedarf für das Crawling und die Indizierung verringert wird und ein Beitrag zur Verringerung des globalen Erwärmungsdrucks geleistet wird.

Ankündigungsnotizen von Bing:

“IndexNow is an initiative for a more efficient Internet… website owners provide a clear signal helping search engines to prioritize crawl for these URLs, thereby limiting the need for exploratory crawl to test if the content has changed…

In the future, search engines intend to limit crawling of websites adopting IndexNow.”

Akzeptieren die Großunternehmen das neue Protokoll?

Microsoft kündigte an, dass große Unternehmen wie eBay, LinkedIn, MSN, GitHub und Bizapedia” planen, von der Bing-URL-Einreichungs-API zu IndexNow zu migrieren.

Es ist davon auszugehen, dass andere größere Unternehmen diesem Beispiel folgen werden, da die Vorteile des neuen Systems klar auf der Hand liegen.

Aus diesem Grund sollten auch kleinere Unternehmen die Einführung des neuen Protokolls in Erwägung ziehen, um wettbewerbsfähig zu bleiben und ihre Indexierung zu verbessern.

Wie funktioniert das neue Protokoll?

Es gibt drei Möglichkeiten, URLs zu übermitteln.

1. SEO-Integration von IndexNow

Der erste Weg, OnCrawl und Botify haben Pläne, IndexNow zu integrieren.

2. Direkte Übermittlung über API

Der zweite Weg ist die direkte Übermittlung über eine API.

Entwickler können eine API verwenden, um URLs automatisch an IndexNow zu übermitteln.

In der Ankündigung wird dies folgendermaßen beschrieben:

“1. Generate a key supported by the protocol using our online key generation tool.
2. Host the key in text file named with the value of the key at the root of your web site.
3. Start submitting URLs when your URLs are added, updated, or deleted. You can submit one URL or a set of URLs per API call.

Submit one URL is easy as sending a simple HTTP request containing the URL changed and your key.”

3. Integration mit CMS und CDNs

Die dritte Möglichkeit ist jedoch die Art und Weise, wie die meisten Websites mit IndexNow zusammenarbeiten werden: Der Zugriff auf das neue Protokoll erfolgt über eine Funktion, die im Kern des von einem Publisher verwendeten CMS enthalten ist.

Wix und Duda haben die Vorteile für die Nutzer erkannt und planen bereits, die neue Funktion ihren Nutzern zur Verfügung zu stellen.

Cloudflare und Akamai unterstützen das neue IndexNow-Protokoll ebenfalls.

Warten auf WordPress?

Während Konkurrenten wie Wix und Duda die Bedeutung von IndexNow erkannt haben, scheint WordPress das neue Protokoll nur schleppend voranzutreiben.

Vielleicht wird WordPress es übernehmen, aber in den letzten sieben Monaten haben die Kernentwickler den Vorschlag diskutiert, ohne dass eine Lösung erkennbar war.

Laut dem öffentlichen WordPress-Entwicklungsticket scheint es noch keine Entscheidung darüber zu geben.

Nichtsdestotrotz hat Microsoft den Open-Source-Code von IndexNow bei WordPress zur Aufnahme in den Core eingereicht.

Wird er von WordPress übernommen, kann ein Publisher automatisch entscheiden, ob er seine URLs über IndexNow einreichen möchte.

Als Antwort auf eine Frage der WordPress-Kernentwickler teilte Microsoft mit, dass die Herausgeber wählen können, an welche Suchmaschinen sie ihre Änderungen und neuen URLs übermitteln wollen.

Das heißt, sie können bestimmte Suchmaschinen davon abhalten, die Daten über ihre Seiten zu erhalten.

Laut dem WordPress-Entwicklungsticket sagte der Microsoft-Vertreter:

“WordPress and other CMS admins will be able to able to select which actors in the industry they want to notify, including everybody via centralized services if they want to notify all.”

IndexNow ist die Evolution der Suchindizierung

IndexNow ist eine große Sache, denn es ist eine große Veränderung in der Art und Weise, wie Suchmaschinen aktualisierte und neu veröffentlichte Dokumente finden können.

Verlage profitieren von einer schnellen Indizierung und einer geringeren Serverbelastung durch Bots, die ständig ihre Webseiten durchsuchen.

Die Übernahme durch die großen Suchmaschinen wird eine Entwicklung in der Beziehung zwischen Verlagen und Suchmaschinen darstellen, von der beide Seiten profitieren.

Quelle: SearchEngineJournal