Auf HDP 2.3.2 mit Sqoop 1.4.6 versuche ich Tabellen aus SQL Server 2008 zu importieren.
Ich kann erfolgreich eine Verbindung zum SQL Server herstellen, weil ich Datenbanken und Tabellen usw. auflisten kann.
Allerdings kommt es jedes Mal während des Imports zu folgendem Fehler:
Fehler: java.lang.RuntimeException: java.lang.RuntimeException: com.microsoft.sqlserver.jdbc.SQLServerException: Die TCP / IP-Verbindung Zum Host x.x.x.x ist Port 1433 fehlgeschlagen. Fehler: "zeitgesteuert verbinden aus. Überprüfen Sie die Verbindungseigenschaften. Stellen Sie sicher, dass eine Instanz von SQL Server wird auf dem Host ausgeführt und akzeptiert TCP / IP-Verbindungen bei der Hafen. Stellen Sie sicher, dass TCP-Verbindungen zum Port nicht blockiert sind durch eine Firewall. ".
Auch hier kann ich erfolgreich von SQL Server importieren, aber nur nach ein paar Wiederholungen. Unabhängig davon, ob der Import erfolgreich oder fehlgeschlagen ist, erhalte ich immer den oben genannten Fehler und ich frage mich, was das Problem verursachen könnte. Es ist ziemlich umständlich, die Importe immer dann wiederholen zu müssen, wenn sie scheitern.
Ich habe das Verbindungstimeout auf dem SQL Server bereits deaktiviert, und obwohl die Verbindung vom Hadoop-Cluster und dem SQL Server unsere Unternehmensfirewall passiert, sagen uns unsere Administratoren, dass die Zeitüberschreitung auf der Firewall 3600 Sekunden beträgt . Die Importe scheitern, bevor sie in die Nähe dieser Marke gelangen.
Nur ein Beispiel für einen der sqoop-Befehle, die ich verwende:
%Vor%Aktualisierung:
Nach dem Kontakt mit unserem Netzwerk-Team scheint dies definitiv ein Netzwerkproblem zu sein. Um einen Kontext hinzuzufügen, befindet sich der Hadoop-Cluster in einem anderen VLAN als der SQL Server und durchläuft eine Reihe von Firewalls. Zum Testen habe ich versucht, von einem anderen SQL Server im selben VLAN wie der Hadoop-Cluster zu importieren, und ich habe diese Ausnahme überhaupt nicht gefunden.
Hier als Referenz eintragen:
Ich habe nie von unserem Netzwerk-Team bezüglich Firewall-Logs gehört, aber das Betriebssystem unseres NameNode wurde beschädigt und musste neu formatiert und HDP neu installiert werden. Aus irgendeinem Grund stoßen wir nicht mehr auf diesen Fehler.
Ein Unterschied zwischen dem ursprünglichen Cluster und der neuen Installation besteht darin, dass wir 4 Knoten (1 Namensknoten und 3 Datenknoten) hatten, die auf einem einzigen Server virtualisiert wurden. Jetzt führen wir einen einzelnen Knotencluster (HDP 2.3.4) ohne Virtualisierung auf dem Server aus.
Tags und Links sql-server-2008 hortonworks-data-platform sqoop