Wie kann ich das Problem "Googlebot kann nicht auf Ihre Website zugreifen" beheben?
Ich bekomme immer eine Nachricht über
"In den letzten 24 Stunden hat der Googlebot beim Versuch, auf Ihre robots.txt zuzugreifen, 1 Fehler festgestellt. Um sicherzustellen, dass wir keine in dieser Datei aufgeführten Seiten crawlen, haben wir unseren Crawl-Vorgang verschoben. Der allgemeine robots.txt-Fehler Ihrer Website Rate beträgt 100,0%. Sie können weitere Details zu diesen Fehlern in den Webmaster-Tools anzeigen. "
Ich habe es durchsucht und mir gesagt, dass ich robots.txt auf meiner Seite hinzufügen soll
Und wenn ich die robots.txt in Google Webmaster-Tools teste, kann die robots.txt einfach nicht abgerufen werden.
Ich dachte, dass robots.txt vielleicht von meiner Seite blockiert wird, aber wenn ich es teste, sagt GWT es erlaubt.
Ссылка ' Und hier ist der Inhalt der robots.txt: User-Agent: * Nicht zulassen:
Warum kann die robots.txt nicht von Google geholt werden? Was habe ich vermisst ... Kann mir jemand helfen ???
3 Antworten
Bevor der Googlebot Ihre Website crawlt, greift er auf Ihre robots.txt-Datei zu Stellen Sie fest, ob Ihre Website das Crawlen von Seiten durch Google blockiert URLs. Wenn Ihre robots.txt-Datei existiert, aber nicht erreichbar ist (in anderen Wenn es keinen HTTP-Statuscode 200 oder 404 zurückgibt, werden wir Verlangsamen Sie unseren Crawlvorgang, anstatt das Crawlen von URLs zu riskieren, die Sie nicht möchten gekrochen. Wenn dies der Fall ist, kehrt der Googlebot zu Ihrer Website zurück crawlen Sie es, sobald wir erfolgreich auf Ihre robots.txt-Datei zugreifen können.
Wie Sie wissen, ist die Verwendung von robots.txt optional, so dass Sie keinen solchen erstellen müssen, stellen Sie nur sicher, dass Ihr Host nur den HTTP-Status 200 oder 404 sendet.
Ich hatte eine Situation, in der Google Bot nicht abgerufen wurde, aber ich konnte eine gültige robots.txt in meinem Browser sehen.
Das Problem stellte sich heraus, dass ich meine gesamte Website (einschließlich robots.txt) auf https umgeleitet hatte, und Google schien das nicht zu mögen. Also habe ich robots.txt von der Weiterleitung ausgeschlossen.
%Vor%Weitere Informationen zu meinem Blog
Tags und Links gwt search robots.txt