Die beste Möglichkeit, aus einer großen CSV-Datei zu lesen, ohne alles mit Javascript in den Speicher zu laden

Nach meinem Kommentar scheint Sqlite das zu sein, wonach du suchst. Es ist vielleicht nicht Ihre dauerhafte Lösung auf lange Sicht, aber es wird sicherlich vorläufig funktionieren, während Sie entschieden haben, ob Sie dabei bleiben oder Ihre eigene Lösung programmieren wollen.

Innere Funktionsweise von Sqlite

Sqlite ist auf den Kern optimiert, hat aber drei Hauptmerkmale, die dazu führen, dass es schneller als normale Plattenlesevorgänge ausgeführt wird, insbesondere CSV-Dateien:

1. Die gesamte Datenbank (jede von Ihnen erstellte Datenbank) wird in einer einzigen Datei gespeichert, nicht in mehreren Dateien oder Datensätzen.
2. Diese Datei wird in 1024-Byte-Blöcke (1K) ausgelagert, so dass Sie leicht um die Daten herumspringen können.
3. (Wirklich Teil von 2) Das gesamte Datenbank- und Paging-System ist ein riesiger binärer Baum, der normalerweise weniger als 10 Sprünge benötigt, um irgendwelche Daten zu finden. Also in Laien ausgedrückt, extrem schnell!

Wenn Sie wirklich daran interessiert sind, den vollen Umfang von all dem zu verstehen, habe ich keine bessere Erklärung gefunden als diesen tollen Blogpost von Julia Evans .

Mögliche Nachteile

Sqlite ist neben den internen Funktionen als Client-Seite gedacht, die auf dem Benutzercomputer arbeitet. Wenn dies keine praktikable Lösung ist, gibt es Workarounds, die durchgeführt werden können. Sqlite kann zum Beispiel als Webserver verwendet werden, aber es gedeiht am besten in einer eigenständigen oder gemischten Installation. Denken Sie auch daran, dass jeder Clientcomputer anders ist. Ein Computer verarbeitet möglicherweise Datensätze schneller als die nächste, aber im Allgemeinen müssen Sie sich keine Sorgen machen, da clientseitige Computer normalerweise nur wenig belastet werden.

• Standalone würde alles auf der Clientseite erfordern. Dies ist typischerweise, wie Sqlite verwendet wird. Ich habe es in der Vergangenheit für Spiele verwendet und dabei die API von sqlite4java verwendet, um mit Java eine Verbindung zur Datenbank herzustellen. Die API hat die ganze Erfahrung wie PHP und MySQL auf einem Server empfunden. Möglicherweise müssen Sie andere APIs finden, da Sqlite in C geschrieben ist.
• Mixed Instillation wird genauso durchgeführt wie Standalone, aber Sie programmieren in Ihrem Programm einen Link zu einem tatsächlichen Server. Bei den Spielen half ich dabei, Dinge wie Spielstände und Benutzerdaten zu verfolgen und diese dann periodisch im Hintergrund an einen tatsächlichen Server weiterzugeben, wenn wir eine Verbindung herstellen konnten. Dies funktioniert auch umgekehrt. Sie können den Benutzer mit nichts anfangen, aber beim ersten Lauf kann er alles herunterladen, was Sie brauchen, und von diesem Moment an bleibt er auf dem neuesten Stand mit dem, was auf dem Server ist.

Zusammenfassung

Sqlite wird für das funktionieren, was Sie brauchen, aber vielleicht benötigen Sie ein paar Hausaufgaben, um es auf die von Ihnen benötigte Weise einzurichten. Sqlite4java zum Beispiel ist einfach zu installieren, aber verwirrend zu lernen, da ihre Dokumentation so schlecht ist; Stack Overflow hat mich aber durchgebracht. Sqlite ist auch eine Verwendung und vergessen Sie es Art der Installation, um Ihre Frage zu beantworten, wird es 25 Zeilen pro Sekunde wie Kuchen behandeln, müssen Sie sich keine Sorgen über die Optimierung nur Ihren eigenen Code.