Parallelisieren von pandas pyodbc SQL-Datenbankaufrufen

8

Ich frage derzeit Daten über den Befehl pandas.io.sql.read_sql() in den Datenframe ab. Ich wollte die Aufrufe parallelisieren, die denen ähneln, die diese Leute befürworten: ( Peinlich peinliche Datenbankaufrufe mit Python (PyData Paris 2015) )

So etwas wie (sehr allgemein):

%Vor%

Ist so etwas möglich?

    
user1129988 21.08.2015, 08:56
quelle

1 Antwort

1

Ja, das sollte funktionieren, aber mit dem Vorbehalt, dass du parallel_connection.py in der Diskussion, die du aufrufst, ändern musst. In diesem Code gibt es eine fetchall -Funktion, die jeden der Cursor parallel ausführt und dann die Ergebnisse kombiniert. Dies ist der Kern dessen, was Sie ändern werden:

Alter Code:

%Vor%

Neuer Code:

%Vor%

Repo: Ссылка

    
Tristan Reid 10.09.2015 16:41
quelle