Unterschiede zwischen Hadoop-common, Hadoop-core und Hadoop-client?

8

Ich bin neuer als Hadoop und möchte wissen, welche Unterschiede zwischen Hadoop-häufig , Hadoop-Kern und bestehen Hadoop-Client ?

Woher weiß ich übrigens für eine bestimmte Klasse, welches Artefakt es in Maven enthält? Zum Beispiel, welches enthält den org.apache.hadoop.io.Text ?

    
chenzhongpu 04.03.2015, 13:47
quelle

3 Antworten

6

Um zusätzliche Details zu den Unterschieden zwischen Hadoop-common, Hadoop-core und Hadoop-client aus einer übergeordneten Perspektive bereitzustellen:

  • Hadoop-common bezieht sich auf die häufig verwendeten Dienstprogramme und Bibliotheken, die die Hadoop-Module unterstützen.
  • Hadoop-core ist dasselbe wie Hadoop-common; Es wurde im Juli 2009 umbenannt in Hadoop-common, nach Ссылка .
  • Hadoop-Client bezieht sich auf die Client-Bibliotheken, die für die Kommunikation mit den gemeinsamen Komponenten von Hadoop verwendet werden (HDFS, MapReduce, YARN), einschließlich, aber nicht beschränkt auf, beispielsweise Protokollierung und Codecs.

Im Allgemeinen können Entwickler, die Apps erstellen, die an YARN senden, einen MR-Job ausführen oder auf Dateien von HDFS zugreifen, Hadoop-Client-Bibliotheken verwenden.

    
Anthony R. 11.12.2015 17:50
quelle
1

Um eine Hadoop map-reduce-Anwendung zu erstellen, benötigen Sie nur die Abhängigkeit vom Hadoop-Client. (Verwenden Sie eine neue API). Abhängigkeiten wie Hadoop-hdfs, Hadoop-common, Hadoop-Clientapp, Hadoop-Garn-api sind davon gelöst.

    
Sachin 06.03.2015 04:00
quelle
0

Von techopedia

  

Hadoop Common bezieht sich auf die Sammlung gängiger Dienstprogramme und Bibliotheken, die andere Hadoop-Module unterstützen. Es ist ein wesentlicher Bestandteil des Apache Hadoop Framework, zusammen mit dem Hadoop Distributed File System (HDFS), Hadoop YARN und Hadoop MapReduce.

Wie alle anderen Module geht Hadoop Common davon aus, dass Hardwarefehler häufig auftreten und dass diese vom Hadoop Framework automatisch in Software behandelt werden sollten.

Hadoop Common wird auch als Hadoop Core bezeichnet.

Hadoop Client libraries hilft beim Laden von Daten in den Cluster, Übermitteln von Map Reduce-Jobs, in denen beschrieben wird, wie diese Daten verarbeitet werden sollen, und anschließend Abrufen oder Anzeigen der Ergebnisse des Jobs, wenn dieser abgeschlossen ist. Werfen Sie einen Blick auf diesen Artikel

Dieser Apache Link stellt die Liste der Abhängigkeiten der Hadoop Client-Bibliothek.

    
Ravindra babu 12.12.2015 10:03
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Wie vermeidet man das Hinzufügen der Abhängigkeiten zu config.js bei der Installation von JSPM-Plugins?