Optimale Anzahl der Dateien pro Verzeichnis gegenüber der Anzahl der Verzeichnisse für EXT4

8

Ich habe ein Programm, das eine große Anzahl von kleinen Dateien (etwa 10.000 Dateien) erzeugt. Nachdem sie erstellt wurden, greift ein anderes Skript auf sie zu und verarbeitet sie einzeln.

Fragen:

  • spielt es in Bezug auf die Leistung eine Rolle, wie die Dateien organisiert sind (alles in einem Verzeichnis oder in mehreren Verzeichnissen)
  • Wenn ja, wie lautet die optimale Anzahl von Verzeichnissen und Dateien pro Verzeichnis?

Ich betreibe Debian mit ext4 Dateisystem

Zugehörige

Jakub M. 24.10.2012, 09:48
quelle

1 Antwort

8

10k Dateien in einem einzelnen Ordner sind kein Problem für Ext4. Es sollte standardmäßig die Option dir_index aktiviert sein, die Verzeichnisinhalte mithilfe einer btree-ähnlichen Struktur indiziert, um Leistungsprobleme zu vermeiden.

Zusammenfassend: Wenn Sie nicht Millionen von Dateien erstellen oder ext2 / ext3 verwenden, sollten Sie sich keine Gedanken über System- oder FS-Leistungsprobleme machen.

Shell-Tools und -Befehle möchten nicht mit vielen Dateien als Parameter aufgerufen werden (zB rm * ) und geben Ihnen möglicherweise eine Fehlermeldung zurück, die etwas wie "zu viele Argumente" sagt. Schau dir bei dieser Antwort an für was dann passiert.

    
mbarthelemy 24.10.2012, 16:14
quelle

Tags und Links

Django: Verwenden von Annotate, Count und Distinct in einem Queryset Wie speichert Symfony2 "access_control" Informationen in der Datenbank?