Googlebots Ignorieren von robots.txt? [geschlossen]

8

Ich habe eine Site mit der folgenden robots.txt im root:

%Vor%

Und Seiten innerhalb dieser Seite werden von Googlebots den ganzen Tag gescannt. Stimmt etwas nicht mit meiner Datei oder mit Google?

    
Tim Scott 05.12.2008, 18:08
quelle

4 Antworten

23

Es sollte Disallow: , nicht Disabled: sein.

    
Sean Carpenter 05.12.2008, 18:11
quelle
9

Vielleicht sollten Sie den Google robots.txt-Prüfer ausprobieren

    
Marc Novakowski 05.12.2008 18:12
quelle
2

Google hat ein Analyse-Tool zum Überprüfen von robots.txt-Einträgen, lesen darüber hier

Sie sollten auch die IP-Adressen der "Rogue" -Roboter überprüfen, um zu sehen, ob sie wirklich im Besitz von Google sind.

    
Paul Dixon 05.12.2008 18:11
quelle
0

Ich glaube auch, dass der Bot die Seite runtergeht und die erste Direktive anwendet, die darauf zutrifft. In Ihrem Fall würden Googlebot und Googlebot-Image ihre spezifischen Anweisungen niemals sehen, da sie zuerst den "User-Agent: *" respektieren würden.

Ignoriere diese Antwort. Ich habe Informationen gefunden, die darauf hinweisen, dass dies nicht der Fall ist. Der Bot sollte die spezifische Richtlinie finden und respektieren

    
Andrew 20.01.2009 23:26
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Was ist das beste Eclipse GWT Plugin? [geschlossen]