Wie erstellt man ein Wissensdiagramm?

8

Ich habe eine winzige Suchmaschine mit PageRank entwickelt, die auf meinem Computer funktioniert. Ich bin daran interessiert, darüber hinaus ein Wissensdiagramm zu erstellen, und es sollten nur abgefragte Webseiten zurückgegeben werden, die sich im richtigen Kontext befinden, ähnlich wie Google relevante Antworten auf Suchfragen gefunden hat. Ich sah viel Publicity um Wissen Graph, aber nicht viel Literatur und fast keine Pseudocode wie Leitlinie des Aufbaus. Kennt jemand gute Referenzen darüber, wie ein solches Wissensdiagramm intern funktioniert, so dass es nicht notwendig ist, Modelle über ein Wissensdiagramm zu erstellen?

    
Pippi 05.04.2015, 19:02
quelle

1 Antwort

25

Wissensgrafik ist ein Schlagwort. Es ist eine Summe von Modellen und Technologien, um ein Ergebnis zu erzielen. Die erste Station Ihrer Reise beginnt mit Verarbeitung natürlicher Sprache , Ontologien und Text-Mining . Es ist ein weites Feld künstlicher Intelligenz, gehen Sie hier für eine Forschungsstudie auf dem Gebiet.

Bevor Sie Ihre eigenen Modelle erstellen, sollten Sie verschiedene Standardalgorithmen mit speziellen Toolboxen wie Gensim ausprobieren. Sie werden über Tf-IDF, LDA, Dokument-Merkmalsvektoren usw. erfahren.

Ich gehe davon aus, dass Sie mit Textdaten arbeiten möchten, wenn Sie die Bildsuche mit anderen Bildern durchführen möchten, ist dies anders. Das Gleiche gilt für den Audioteil.

Das Erstellen von Modellen ist nur der erste Schritt, der schwierigste Teil von Googles Wissensgrafik ist es, jeden Tag Milliarden von Anfragen zu skalieren ...

Eine gute Verarbeitungspipeline kann "leicht" auf Apache Spark , dem "aktuellen Hadoop", erstellt werden. Es bietet einen stabilen verteilten Datenspeicher, der obligatorisch ist, wenn Sie skalieren möchten.

Wenn Sie Ihre Daten als Grafik, wie in der Graphentheorie (wie zum Beispiel pagerank), für Live-Abfragen aufbewahren möchten, sollten Sie Glühbirnen das ist Framework, das "Wie ein ORM für Graphen, aber statt SQL, verwenden Sie die Graph-Traveler Sprache Gremlin, um die Datenbank abzufragen". Sie können beispielsweise Backend von Neo4j auf OpenRDF umstellen (nützlich, wenn Sie Ontologien verwenden).

Für Grafikanalysen können Sie Spark, GraphX ​​ oder GraphLab .

Ich hoffe, es hilft.

    
Kikohs 05.04.2015, 21:36
quelle