Ich betreibe eine Website, die verschiedene Daten im Diagramm- / Tabellenformat für die Leser zur Verfügung stellt. Kürzlich habe ich festgestellt, dass die Anfragen an die Website, die von Google Docs stammen, zugenommen haben. Betrachtet man die IPs und den User Agent, scheint es von Google-Servern zu stammen - Beispiel-IP-Lookup hier .
>Die Anzahl der Treffer liegt im Bereich von 2.500 bis 10.000 Anfragen pro Tag.
Ich nehme an, dass jemand ein oder mehrere Google Tabellen erstellt hat, die Daten von meiner Website scrappen (möglicherweise unter Verwendung der IMPORTHTML Funktion oder ähnliches). Ich würde es vorziehen, dass dies nicht passiert ist (weil ich nicht wissen kann, ob die Daten richtig zugeordnet werden).
Gibt es eine bevorzugte Möglichkeit, um den von Google unterstützten / genehmigten Traffic zu blockieren?
Ich möchte lieber nicht basierend auf IP-Adressen blockieren, da sich das Blockieren von Google-Servern falsch anfühlt und zu zukünftigen Problemen oder IPs führen könnte. Im Moment blockiere ich (403 Status zurücksendend) basierend auf User Agent, der GoogleDocs oder docs.google.com enthält.
Der Traffic kommt derzeit hauptsächlich von 66.249.89.221 und 66.249.89.223, immer mit dem User-Agent Mozilla/5.0 (compatible; GoogleDocs; apps-spreadsheets; http://docs.google.com)
Als zweite Frage: Gibt es eine Möglichkeit, das Dokument oder seinen Kontoinhaber zu verfolgen? Ich habe Zugriff auf die URLs, auf die sie zugreifen, aber bei den Anfragen kann kaum etwas anderes passieren Proxy über die Google Docs-Server (kein Referer, Cookies oder andere ähnliche Daten in den HTTP-Protokollen).
Danke.
Das Blockieren auf User-Agent ist eine großartige Lösung, da es scheinbar keine Möglichkeit gibt, einen anderen User-Agent zu setzen und trotzdem die INPUTHTML-Funktion zu verwenden - und da Sie gerne alle Anwendungen von Blätter, das ist perfekt.
Zusätzliche Gedanken, obwohl, wenn das Verbot voll ist, unangenehm erscheint:
Rate limit es: wie Sie sagen, Sie erkennen, dass es hauptsächlich von zwei IP und immer mit dem gleichen Benutzer-Agent kommt, nur verlangsamen Sie Ihre Antwort. Solange die Anfragen seriell sind, können Sie Daten zur Verfügung stellen, und zwar bei einem Durchlauf, der ausreichen kann, um das Scraping zu verhindern. Verzögern Sie Ihre Antwort (auf vermutete Schaber) um 20 oder 30 Sekunden.
Weiterleitung zum Bildschirm "Sie sind blockiert" oder Bildschirm mit "Standard" -Daten (d. h. scrapable, aber nicht mit aktuellen Daten). Besser als Basic 403, weil es dem Menschen sagt, dass es nicht zum Scraping ist, und dann können Sie sie zum Kauf von Zugriffen veranlassen (oder zumindest einen Schlüssel von Ihnen anfordern).
Das Blockieren auf User-Agent ist eine großartige Lösung, da es scheinbar keine Möglichkeit gibt, einen anderen User-Agent zu setzen und trotzdem die INPUTHTML-Funktion zu verwenden - und da Sie gerne alle Anwendungen von Blätter, das ist perfekt.
Zusätzliche Gedanken, obwohl, wenn das Verbot voll ist, unangenehm erscheint:
Rate limit es: wie Sie sagen, Sie erkennen, dass es hauptsächlich von zwei IP und immer mit dem gleichen Benutzer-Agent kommt, nur verlangsamen Sie Ihre Antwort. Solange die Anfragen seriell sind, können Sie Daten zur Verfügung stellen, und zwar bei einem Durchlauf, der ausreichen kann, um das Scraping zu verhindern. Verzögern Sie Ihre Antwort (auf vermutete Schaber) um 20 oder 30 Sekunden.
Weiterleitung zum Bildschirm "Sie sind blockiert" oder Bildschirm mit "Standard" -Daten (d. h. scrapable, aber nicht mit aktuellen Daten). Besser als Basic 403, weil es dem Menschen sagt, dass es nicht zum Scraping ist, und dann können Sie sie zum Kauf von Zugriffen veranlassen (oder zumindest einen Schlüssel von Ihnen anfordern).
Ich betreibe eine Website, die verschiedene Daten im Diagramm- / Tabellenformat für die Leser zur Verfügung stellt. Kürzlich habe ich festgestellt, dass die Anfragen an die Website, die von Google Docs stammen, zugenommen haben. Betrachtet man die IPs und den User Agent, scheint es von Google-Servern zu stammen - Beispiel-IP-Lookup hier .
>Die Anzahl der Treffer liegt im Bereich von 2.500 bis 10.000 Anfragen pro Tag.
Ich nehme an, dass jemand ein oder mehrere Google Tabellen erstellt hat, die Daten von meiner Website scrappen (möglicherweise unter Verwendung der IMPORTHTML Funktion oder ähnliches). Ich würde es vorziehen, dass dies nicht passiert ist (weil ich nicht wissen kann, ob die Daten richtig zugeordnet werden).
Gibt es eine bevorzugte Möglichkeit, um den von Google unterstützten / genehmigten Traffic zu blockieren?
Ich möchte lieber nicht basierend auf IP-Adressen blockieren, da sich das Blockieren von Google-Servern falsch anfühlt und zu zukünftigen Problemen oder IPs führen könnte. Im Moment blockiere ich (403 Status zurücksendend) basierend auf User Agent, der %code% oder %code% enthält.
Der Traffic kommt derzeit hauptsächlich von 66.249.89.221 und 66.249.89.223, immer mit dem User-Agent %code%
Als zweite Frage: Gibt es eine Möglichkeit, das Dokument oder seinen Kontoinhaber zu verfolgen? Ich habe Zugriff auf die URLs, auf die sie zugreifen, aber bei den Anfragen kann kaum etwas anderes passieren Proxy über die Google Docs-Server (kein Referer, Cookies oder andere ähnliche Daten in den HTTP-Protokollen).
Danke.
Sie können das Problem erzwingen, indem Sie beim ersten Versuch einen Cookie setzen und nur dann eine Antwort ausliefern, wenn der Cookie vorhanden ist. Auf diese Weise funktionieren "einfache" Importe nicht wie in der ersten Anfrage, da der Cookie nicht vorhanden ist. Es ist also nichts, was von Dritten gelesen werden kann.
Tags und Links google-spreadsheet web-scraping google-docs