Ich bin glücklich über die Ergebnisse von Ocean's Browsercaps . Es unterstützt Crawler, die von den Konfigurationsdateien von Microsoft nicht entdeckt wurden. Es wird sogar analysieren, welche Version des Crawlers auf Ihrer Site ist, nicht, dass ich diese Detailebene wirklich brauche.
Sie könnten überprüfen (regex) gegen Request.UserAgent
.
Peter Bromberg hat einen schönen Artikel über das Schreiben eines ASP.NET Request Logger und Crawler Killer in ASP.NET.
Hier ist die Methode, die er in seiner Klasse Logger
verwendet:
Tags und Links c# asp.net web-crawler