Pandas Merge Fehler: MemoryError

8

Problem:

Ich versuche zwei relativ kleine Datensätze zusammen, aber die Zusammenführung erhöht MemoryError . Ich habe zwei Datensätze von Aggregaten von Länderhandelsdaten, die ich versuche, auf den Schlüsseln Jahr und Land zusammenzufassen, also müssen die Daten besonders platziert werden. Dies macht leider die Verwendung von concat und seine Leistungsvorteile unmöglich, wie in der Antwort auf diese Frage gesehen: MemoryError bei großen Zusammenführungen mit Pandas in Python .

Hier ist das Setup:

Die versuchte Zusammenführung:

%Vor%

Grundlegende Datenstruktur:

i:

%Vor%

df:

%Vor%

Fehlerverfolgung:

%Vor%

Danke für Ihre Gedanken!

    
agconti 30.09.2013, 01:39
quelle

1 Antwort

2

Falls jemand mit dieser Frage immer noch Probleme mit merge hat, können Sie concat wahrscheinlich verwenden, indem Sie die relevanten Spalten in den beiden Datenrahmen in die gleichen Namen umbenennen und als MultiIndex ( zB df = dv.set_index(['A','B']) ) und dann concat verwenden, um sie zu verbinden.

    
Gordon Bean 13.04.2017 17:04
quelle

Tags und Links