robot

Ich habe eine Site mit der folgenden robots.txt im root: %Vor% Und Seiten innerhalb dieser Seite werden von Googlebots den ganzen Tag gescannt. Stimmt etwas nicht mit meiner Datei oder mit Google?     

Gibt es ein billiges und sehr erweiterbares Roboterkit, das mit Microsoft Robotics arbeiten kann? Ich möchte eine große Auswahl an coolen Teilen haben, die ein Roboter kaufen kann. :) Wenn es keinen solchen Roboterkit gibt, der mit MS Robo...