Google verlegt IP-Bereichsdateien der Crawler auf neuen Pfad
Google verschiebt die JSON-Dateien mit den IP-Bereichen seiner Crawler von dem bisherigen Verzeichnis /search/apis/ipranges/ auf einen neuen, allgemeineren Pfad: developers.google.com/crawling/ipranges/. Diese Änderung betrifft alle Systeme, die Google-Crawler-IPs prüfen oder filtern. Techniker und SEO-Verantwortliche sollten ihre Konfigurationen zeitnah anpassen, da der alte Pfad innerhalb von sechs Monaten eingestellt wird.
Kernpunkte
- Google verschiebt die JSON-Dateien mit den IP-Bereichen aller Google-Crawler vom Pfad /search/apis/ipranges/ auf den neuen Pfad developers.google.com/crawling/ipranges/.
- Der neue Pfad wurde gewählt, weil die aufgelisteten IP-Bereiche nicht nur den Google Search Crawler betreffen, sondern für eine Vielzahl weiterer Google-Crawler gelten.
- Die offizielle Dokumentation von Google Search Central wurde bereits auf den neuen Pfad aktualisiert.
- Der alte Pfad bleibt für einen Übergangszeitraum von bis zu sechs Monaten weiterhin verfügbar, bevor er deaktiviert und auf den neuen Pfad weitergeleitet wird.
- Google empfiehlt ausdrücklich, so schnell wie möglich auf den neuen Pfad /crawling/ipranges/ umzustellen, anstatt auf die Weiterleitung zu warten.
- Die Ankündigung wurde von Gary (einem bekannten Google Search Advocate) veröffentlicht und gilt als offizielle technische Mitteilung für Entwickler und Webmaster.
Analyse
Hintergrund der Verlagerung: Bisher waren die IP-Bereichsdateien der Google-Crawler unter dem Pfad /search/apis/ipranges/ auf developers.google.com zu finden. Dieser Speicherort legte nahe, dass die Dateien ausschließlich für den Google Search Crawler relevant sind. In der Praxis umfassen die dort aufgelisteten IP-Bereiche jedoch sämtliche Google-Crawler, also auch jene, die für andere Google-Dienste eingesetzt werden. Die neue Verzeichnisstruktur /crawling/ipranges/ spiegelt diesen breiteren Anwendungsbereich korrekt wider und sorgt für mehr Klarheit in der technischen Dokumentation.
Bedeutung für die technische SEO-Praxis: Viele Websites und Server-Konfigurationen stützen sich auf die IP-Bereichsdateien von Google, um Crawler-Zugriffe zu identifizieren, zu erlauben oder zu protokollieren. Firewall-Regeln, CDN-Konfigurationen, Zugriffssteuerungen und Monitoring-Systeme können auf diese Dateien verweisen. Wer den Pfad nicht aktualisiert, riskiert nach Ablauf der Übergangsfrist fehlerhafte Konfigurationen, die im schlimmsten Fall legitime Google-Crawler blockieren und so das Crawl-Budget sowie die Indexierung negativ beeinflussen.
Übergangsfrist und Dringlichkeit: Google räumt einen Zeitraum von bis zu sechs Monaten ein, in dem der alte Pfad noch funktionsfähig bleibt und schließlich auf den neuen Pfad weitergeleitet wird. Diese großzügige Frist soll Unternehmen und Entwicklern ausreichend Zeit geben, ihre Systeme anzupassen. Dennoch mahnt Google ausdrücklich zur zügigen Umstellung, da eine aktive Migration deutlich zuverlässiger ist als das bloße Abwarten auf automatische Weiterleitungen, die in manchen technischen Umgebungen nicht korrekt verarbeitet werden.
Auswirkungen auf automatisierte Systeme: Wer die IP-Dateien automatisch abruft und in eigene Systeme einliest (beispielsweise für Zugriffssteuerung, Bot-Erkennung oder Log-Analyse), muss die URL in seinen Skripten und Konfigurationen anpassen. Automatisierungen, die auf den alten Pfad verweisen, werden nach Ablauf der Frist entweder auf den neuen Pfad weitergeleitet (sofern Weiterleitungen korrekt verarbeitet werden) oder schlicht fehlschlagen. Es empfiehlt sich, alle betroffenen Skripte und Dokumentationen intern zu inventarisieren und strukturiert zu aktualisieren.
Was ist zu tun
- Aktualisieren Sie alle internen Skripte, Cronjobs und Automatisierungen, die die IP-Bereichsdateien von Google abrufen, umgehend auf den neuen Pfad developers.google.com/crawling/ipranges/.
- Überprüfen Sie Firewall-Regeln, CDN-Konfigurationen und Zugriffssteuerungssysteme, die auf den alten /search/apis/ipranges/-Pfad verweisen, und ersetzen Sie diesen durch den neuen Pfad.
- Dokumentieren Sie intern alle Systeme und Stellen, an denen die Google-Crawler-IP-Dateien referenziert werden, um eine vollständige und lückenlose Migration sicherzustellen.
- Setzen Sie sich eine interne Frist von maximal drei Monaten für die Umstellung, um ausreichend Puffer vor dem Ende der sechsmonatigen Übergangsfrist zu haben.
- Informieren Sie alle technisch verantwortlichen Personen im Team (Entwickler, Serveradministratoren, SEO-Techniker) über die bevorstehende Änderung und delegieren Sie die Aufgaben klar.
- Testen Sie nach der Umstellung, ob die neuen Pfade korrekt aufgerufen werden und die zurückgegebenen IP-Bereiche vollständig und aktuell sind, um eine reibungslose Funktion aller betroffenen Systeme zu gewährleisten.
Für Websites, die den Zugriff von Google-Crawlern über IP-Whitelists oder Firewall-Regeln steuern, besteht das Risiko einer fehlerhaften Erkennung oder Blockierung, wenn die Referenz auf die IP-Dateien nicht rechtzeitig aktualisiert wird. Eine verpasste Aktualisierung kann dazu führen, dass legitime Google-Crawler blockiert werden und das Crawling sowie die Indexierung beeinträchtigt werden.