Bestimmte Seitenverzeichnisse nicht zulassen, aber NICHT diese Seite selbst

8

Nehmen wir an, ich habe eine dynamische Seite, die URL's aus Benutzereingaben erstellt. Zum Beispiel: www.XXXXXXX.com/browse & lt; -------- (Durchsuchen der Seite)

Jedes Mal, wenn ein Benutzer eine Abfrage eingibt, werden mehr Seiten generiert. Zum Beispiel: www.XXXXXXX.com/browse/abcd & lt; -------- (abcd ist die neue Seite)

Nun möchte ich, dass Google diese "Durchsuchen" -Seite crawlt, aber nicht die untergeordnete Seiten, die von ihm generiert werden.

Ich denke darüber nach, dies meiner robots.txt Seite hinzuzufügen; "Nicht zulassen: / browse /"

Wäre das richtig? oder wird es auch verhindern Googlebot vom Crawlen der "Durchsuchen" -Seite? Was soll ich tun um das zu bekommen? optimales Ergebnis?

    
Raj Sandhu 25.12.2015, 20:29
quelle

1 Antwort

4

Die URL endet nicht mit einem Schrägstrich:

%Vor%

Daher sollte dieser Code funktionieren:

%Vor%     
znurgl 25.12.2015, 22:40
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Gibt es eine REST-konforme Möglichkeit, Routen für gewöhnlich zu konfigurieren?