Was ist der effizienteste Weg, um ein Verzeichnis zu iterieren?

9

Angenommen, ich habe ein Verzeichnis foo mit einigen Unterverzeichnissen. Jedes dieser Unterverzeichnisse hat zwischen 0 und 5 Dateien variabler Länge, die ich verarbeiten möchte. Mein Anfangscode sieht so aus:

%Vor%

Dies funktioniert meistens, aber es muss auf die längste Datei warten, die in jedem Unterverzeichnis vollständig verarbeitet wird, was zur Folge hat, dass immer nur eine Verbindung zur Datenbank besteht.

Gibt es eine Möglichkeit, dies neu zu gestalten, um meine Computerressourcen besser zu nutzen und gleichzeitig die Anzahl aktiver Postgres-Verbindungen zu begrenzen und Code zu warten, bis Verbindungen verfügbar werden? (Ich habe sie in pg poolConfig für node-postgres auf 20 gesetzt) ​​

    
Abraham P 18.06.2017, 20:52
quelle

2 Antworten

-1

Wenn Sie Ihre Dateien für eine bestimmte Zeit nacheinander verarbeiten müssen, können Sie Streams verwenden. Timer (für die Planung) und process.nextTick (). Es gibt ein großes Handbuch zum Verständnis von Streams in nodejs.

    
Nurik Nurmetov 18.06.2017 21:26
quelle
-2

Hier finden Sie ein Beispiel für das Abrufen von Verzeichnisinhalten mithilfe von Generatoren. Sie können sofort mit den ersten paar Dateien beginnen und danach asynchronen Code verwenden, um Dateien parallel zu verarbeiten.

%Vor%

Verwendung:

%Vor%     
TxRegex 26.06.2017 18:12
quelle