Ich habe:
Ich möchte, dass domain.com von Suchmaschinen gecrawlt und indiziert wird, aber nicht testing.domain.com
Die Testdomäne und die Hauptdomäne teilen sich dasselbe SVN-Repository, daher bin ich mir nicht sicher, ob separate robots.txt-Dateien funktionieren würden ...
1) Erstellen Sie eine separate robots.txt-Datei (nennen Sie sie zum Beispiel robots_testing.txt ).
2) Fügen Sie diese Regel zu Ihrem .htaccess im Stammordner der Website hinzu:
%Vor% Er schreibt (interne Weiterleitung) jede Anfrage für robots.txt nach robots_testing.txt IF Domainname = testing.example.com um.
Alternativ dazu können Sie alle Anfragen für robots.txt auf robots_disabled.txt für alle Domänen mit Ausnahme von example.com :
testing.domain.com sollte wie folgt eine eigene robots.txt Datei haben
%Vor%befindet sich unter Ссылка Dies wird alle Bot-User-Agents verbieten und wenn Google auch den Noindex betrachtet, werden wir es einfach gut machen.
Sie können auch Ihre Subdomain zu den Webmaster-Tools hinzufügen - blocken Sie mit robots.txt und reichen Sie eine Entfernung der Website ein (obwohl dies nur für Google gilt). Für weitere Informationen schauen Sie sich an Ссылка
Tags und Links web-crawler .htaccess mod-rewrite robots.txt google-webmaster-tools