Wie verhindere ich, dass der Googlebot die Website überflutet?

• Registrieren Sie sich bei google webmaster tools, verifizieren Sie Ihre Seite und drosseln Sie den Google Bot nach unten
• reiche eine Sitemap ein
• Lesen Sie die Google Guildlines: (if-Modified-Since HTTP-Header)
• Verwenden Sie robot.txt , um den Zugriff von Bot auf einige Teile der Website einzuschränken
• Erstelle ein Skript, das die robot.txt in jedem $ [Zeitraum] ändert, um sicherzustellen, dass der Bot niemals zu viele Seiten gleichzeitig crawlen kann, während er gleichzeitig den gesamten Inhalt crawlen kann

Sie können festlegen, wie Ihre Website gecrawlt wird, indem Sie die Webmaster-Tools von Google verwenden. Sehen Sie sich speziell diese Seite an: Ändern der Crawling-Rate von Google

Sie können auch die Seiten einschränken, die der Google Bot mit einer robots.txt-Datei durchsucht. Es ist eine Einstellung für crawl-delay verfügbar, es scheint jedoch, dass nicht berücksichtigt wurde von Google.

Registrieren Sie Ihre Website mit den Google Webmaster-Tools, mit denen Sie festlegen können, wie oft und wie viele Anfragen pro Sekunde googlebot versuchen sollte, Ihre Website zu indizieren. Google Webmaster-Tools können Sie auch beim Erstellen einer robots.txt-Datei unterstützen, um die Belastung Ihrer Website zu reduzieren.

Beachten Sie, dass Sie die Crawl-Geschwindigkeit über die Google Webmaster-Tools (unter Site-Einstellungen) festlegen können, aber sie berücksichtigen die Einstellung nur für sechs Monate! Sie müssen sich also alle sechs Monate anmelden, um es erneut einzustellen.

Diese Einstellung wurde in Google geändert. Die Einstellung wird jetzt nur noch für 90 Tage gespeichert (3 Monate, nicht 6).

Sie können die Crawling-Geschwindigkeit in den Webmaster-Tools von Google konfigurieren.