1 Repo
Awesome GitHub RepositoriesBatch Statement Generation
Generates SQL statements in chunks to optimize memory and avoid database packet size limits.
Distinct from Batch Statement Execution: Distinct from Batch Statement Execution: focuses on the generation of the batch rather than the sequential execution of an existing string.
Explore 1 awesome GitHub repository matching data & databases · Batch Statement Generation. Refine with filters or upvote what's useful.
Awesome Batch Statement Generation GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- zdennis/activerecord-import
zdennis/activerecord-import
4,151Auf GitHub ansehenActiveRecord Import ist eine Bibliothek zum Einfügen großer Datensätze in eine Datenbank mittels ActiveRecord durch einzelne oder gebündelte Abfragen. Es fungiert als Bulk-Daten-Importer und SQL-Bulk-Insert-Tool, das darauf ausgelegt ist, den Abfrage-Overhead zu minimieren und die Schreibleistung zu erhöhen. Das Projekt enthält eine Upsert-Engine, um Konflikte bei eindeutigen Constraints durch das Aktualisieren bestehender Datensätze oder das Ignorieren von Duplikaten zu behandeln. Es bietet zudem einen rekursiven Assoziations-Importer, der es ermöglicht, Eltern-Datensätze und deren verschachtelte Kind-Assoziationen in einem einzigen Vorgang einzufügen. Die Bibliothek bietet eine Validierungsschicht vor dem Einfügen, um die Gültigkeit der Datensätze zu prüfen und Fehler zu melden, bevor Daten festgeschrieben werden. Sie verwaltet die groß angelegte Datenmigration durch Aufteilen der Datensätze in Batches, um den Speicherverbrauch zu kontrollieren und Limits für die Datenbank-Paketgröße zu vermeiden. Das Tool bietet Ergebniszusammenfassungen mit Erfolgszählern und Datensatz-Identifikatoren sowie eine Fortschrittsverfolgung für Daten-Batches.
Chunks large datasets into smaller groups to prevent database packet size errors and manage memory usage.
Ruby
