Wie funktioniert die HttpBrowserCapabilities.Crawler-Eigenschaft ( Ссылка )? Ich muss den benutzerdefinierten Crawler eines Partners erkennen, und diese Eigenschaft gibt false zurück.
Wo / Wie kann ich seinen Benutzeragenten hinzufügen, damit diese Eigenschaft true zurückgibt? Gibt es einen anderen Weg, meinen eigenen User Agent Detecting Mechanismus zu erstellen?
Dies wird durch die Standard-Browsercaps-Deklarationen, die Teil des .NET-Frameworks sind, gesteuert.
Um diesen spezifischen Crawler einzurichten, müssen Sie einen eigenen browserCaps-Abschnitt zu Ihrer web.config hinzufügen, um ihn als Crawler zu identifizieren.
Die MSDN-Dokumentation zur Vorgehensweise ist ziemlich gut dokumentiert, hier ist ein Link.
HttpBrowserCapabilities wird aus einer Reihe von * .browser-Dateien in C: \ WINDOWS \ Microsoft.NET \ Framework \ v2.0.50727 \ CONFIG \ Browsers gefüllt. Sie können Ihre eigene Datei in ~ / App_Browsers / mit den Details Ihres benutzerdefinierten Crawlers hinzufügen. Das Schema ist hier . Im Grunde enthält es einen regulären Ausdruck, der dem User-Agent-Header und einer Sammlung von Eigenschaftswerten entspricht.
Tags und Links .net web-crawler