Wie kann Twitter-Tweet-Information ohne OAuth-Authentifizierung gecrawlt werden?

8

Ich bin gezwungen, Twitter zu crawlen und die Tweets zu analysieren. Ich dachte mir, der beste Weg wäre, die Such-API zu verwenden, aber anscheinend benötigt die API die OAuth-Authentifizierung. Wäre die Registrierung als Entwickler der einzige Weg? Gibt es Alternativen?

    
goh 22.12.2010, 11:12
quelle

5 Antworten

4

Hier gibt es viele Fehlinformationen. Sie müssen nicht scrape screenen. Sie müssen dazu keine App registrieren. Es gibt keine API-Schlüssel in Twitter. Sie müssen keine Berechtigung zum Lesen von Daten aus der Such-API verwenden. Der Rest der API benötigt OAuth, aber keine Suche.

Um die Such-API zu verwenden, können Sie einfach eine Anfrage an folgende URL stellen: Ссылка

Zum Beispiel nach Pizza suchen: Ссылка

Sie erhalten JSON-Daten zurück, die Sie in jedem Programm lesen können. Wenn Sie PHP verwenden, können Sie cURL verwenden, um die Anforderung zu erstellen, und json_decode (), um das Ergebnis in ein Objekt zu konvertieren, das Sie in einer foreach () - Schleife durchlaufen können.

    
Adam Green 22.12.2010, 14:09
quelle
14

Die (gewählte) Antwort von Adam Green funktioniert nicht mehr seit Twitter geschlossen hat REST API v1.0.

Wenn Sie das angegebene Beispiel aufrufen, um nach Pizza zu fragen:

Ссылка

Sie erhalten folgende Fehlermeldung: (in json, obwohl;)

%Vor%

Sie können die API 1.1-Suchspezifikation hier

überprüfen

Eine weitere Änderung von 1.0 zu 1.1 besteht darin, dass alle 1.1 API-Aufrufe eine Authentifizierung erfordern einschließlich Suche.

    
klaas 10.07.2013 13:49
quelle
2

Wenn Sie große Mengen an Tweets analysieren möchten, sollten Sie die Streaming-API verwenden. Sie müssen sich registrieren, um darauf zugreifen zu können.

Sie können auch die Such-API verwenden, für die Sie sich nicht registrieren müssen. Aber das ist Rate begrenzt.

    
vsr 22.12.2010 18:05
quelle
1

Sie könnten Python oder cURL .

>     
radek 03.11.2011 15:01
quelle
0

es ist schmutzig *, aber Sie könnten PHP DOM , um in regelmäßigen Abständen die Twitter-Homepage zu scrappen.

* twitters Such-API ist nicht komplex, daher nehme ich an, dass Sie bereit sind, einen schnellen Hack zu verwenden.

    
Ross 22.12.2010 11:37
quelle

Tags und Links