1 repository
Awesome GitHub RepositoriesBatch Statement Generation
Generates SQL statements in chunks to optimize memory and avoid database packet size limits.
Distinct from Batch Statement Execution: Distinct from Batch Statement Execution: focuses on the generation of the batch rather than the sequential execution of an existing string.
Explore 1 awesome GitHub repository matching data & databases · Batch Statement Generation. Refine with filters or upvote what's useful.
Awesome Batch Statement Generation GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- zdennis/activerecord-import
zdennis/activerecord-import
4,151Vezi pe GitHubActiveRecord Import este o bibliotecă pentru inserarea seturilor mari de date într-o bază de date folosind ActiveRecord prin interogări unice sau grupate. Funcționează ca un importator de date în masă și instrument de inserare SQL în masă conceput pentru a minimiza overhead-ul interogărilor și a crește performanța de scriere. Proiectul include un motor de upsert pentru a gestiona conflictele de constrângeri unice prin actualizarea înregistrărilor existente sau ignorarea duplicatelor. De asemenea, dispune de un importator de asocieri recursiv care permite inserarea înregistrărilor părinte și a asocierilor copil imbricate într-o singură operațiune. Biblioteca oferă un strat de validare pre-inserare pentru a verifica validitatea înregistrărilor și a raporta eșecurile înainte de a comite datele. Gestionează migrarea datelor la scară largă prin împărțirea seturilor de date în loturi pentru a controla utilizarea memoriei și a evita limitele de dimensiune a pachetelor bazei de date. Instrumentul oferă rezumate ale rezultatelor care conțin numărul de succese și identificatorii înregistrărilor, alături de urmărirea progresului pentru loturile de date.
Chunks large datasets into smaller groups to prevent database packet size errors and manage memory usage.
Ruby
