Hbase über Thrift-Verbindungstimeout bei Amazon EMR

8

Ich schreibe auf HBase mit TThreadPoolServer Thrift-Server, ich habe die folgenden HBase-Einstellungen für max Worker-Threads:

hbase-site.xml

%Vor%

Dies ist das Skript, das ich für gleichzeitige Schreibvorgänge verwende:

test.py

%Vor%

Wenn ich jetzt 25 Instanzen von test.py gleichzeitig ausführe, nach dem Erstellen von 18-20 Verbindungen können alle anderen Verbindungen wegen Timeout-Fehler keine Verbindung herstellen, habe ich auf hbase Server überprüft, kann die Sparsamkeit nur 300 Threads erstellen und wann Dieses Limit wird erreicht. Neue Verbindungen werden nicht akzeptiert und das Zeitlimit überschritten.

Es gibt keine Belastung für das System auch bei 300 Threads, der CPU- und Speicherverbrauch ist sehr gering, daher denke ich, dass es an einer gewissen Konfiguration liegt.

Kann mir jemand sagen, warum die Sparsamkeit nicht mehr Threads erzeugt, wenn in meiner HBase-Konfiguration die Thrift Max-Thread-Anzahl viel mehr ist?

    
rajat 28.09.2016, 01:05
quelle

0 Antworten

Tags und Links