etiquette

Ich habe einen einfachen Web-Crawler, um alle Seiten von der Sitemap einer Website anzufordern, die ich cachen und indizieren muss. Nach mehreren Anfragen beginnt die Website mit dem Versenden leerer Seiten. Es gibt nichts in ihrem robots.tx...