1 dépôt
Awesome GitHub RepositoriesBatch Statement Generation
Generates SQL statements in chunks to optimize memory and avoid database packet size limits.
Distinct from Batch Statement Execution: Distinct from Batch Statement Execution: focuses on the generation of the batch rather than the sequential execution of an existing string.
Explore 1 awesome GitHub repository matching data & databases · Batch Statement Generation. Refine with filters or upvote what's useful.
Awesome Batch Statement Generation GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- zdennis/activerecord-import
zdennis/activerecord-import
4,151Voir sur GitHubActiveRecord Import est une bibliothèque pour insérer de grands jeux de données dans une base de données en utilisant ActiveRecord via des requêtes uniques ou par lots. Il fonctionne comme un importateur de données en masse et un outil d'insertion SQL en masse conçu pour minimiser la surcharge des requêtes et augmenter les performances d'écriture. Le projet inclut un moteur d'upsert pour gérer les conflits de contraintes uniques en mettant à jour les enregistrements existants ou en ignorant les doublons. Il dispose également d'un importateur d'associations récursives qui permet aux enregistrements parents et à leurs associations enfants imbriquées d'être insérés en une seule opération. La bibliothèque fournit une couche de validation pré-insertion pour vérifier la validité des enregistrements et signaler les échecs avant de valider les données. Elle gère la migration de données à grande échelle en divisant les jeux de données en lots pour contrôler l'utilisation de la mémoire et éviter les limites de taille de paquet de la base de données. L'outil fournit des résumés de résultats contenant les comptes de succès et les identifiants d'enregistrements, ainsi qu'un suivi de progression pour les lots de données.
Chunks large datasets into smaller groups to prevent database packet size errors and manage memory usage.
Ruby
