1 dépôt
Awesome GitHub RepositoriesBatch Size Management
Techniques for splitting large datasets into smaller chunks to manage memory usage and avoid database packet size limits.
Distinguishing note: The candidates are focused on AI model training or UI/HTTP constraints, not database bulk insertion limits.
Explore 1 awesome GitHub repository matching data & databases · Batch Size Management. Refine with filters or upvote what's useful.
Awesome Batch Size Management GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- zdennis/activerecord-import
zdennis/activerecord-import
4,151Voir sur GitHubActiveRecord Import est une bibliothèque pour insérer de grands jeux de données dans une base de données en utilisant ActiveRecord via des requêtes uniques ou par lots. Il fonctionne comme un importateur de données en masse et un outil d'insertion SQL en masse conçu pour minimiser la surcharge des requêtes et augmenter les performances d'écriture. Le projet inclut un moteur d'upsert pour gérer les conflits de contraintes uniques en mettant à jour les enregistrements existants ou en ignorant les doublons. Il dispose également d'un importateur d'associations récursives qui permet aux enregistrements parents et à leurs associations enfants imbriquées d'être insérés en une seule opération. La bibliothèque fournit une couche de validation pré-insertion pour vérifier la validité des enregistrements et signaler les échecs avant de valider les données. Elle gère la migration de données à grande échelle en divisant les jeux de données en lots pour contrôler l'utilisation de la mémoire et éviter les limites de taille de paquet de la base de données. L'outil fournit des résumés de résultats contenant les comptes de succès et les identifiants d'enregistrements, ainsi qu'un suivi de progression pour les lots de données.
The project limits the number of rows processed per single statement to optimize memory and avoid database packet size limits.
Ruby
