1 repository
Awesome GitHub RepositoriesBatch Size Management
Techniques for splitting large datasets into smaller chunks to manage memory usage and avoid database packet size limits.
Distinguishing note: The candidates are focused on AI model training or UI/HTTP constraints, not database bulk insertion limits.
Explore 1 awesome GitHub repository matching data & databases · Batch Size Management. Refine with filters or upvote what's useful.
Awesome Batch Size Management GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- zdennis/activerecord-import
zdennis/activerecord-import
4,151Vezi pe GitHubActiveRecord Import este o bibliotecă pentru inserarea seturilor mari de date într-o bază de date folosind ActiveRecord prin interogări unice sau grupate. Funcționează ca un importator de date în masă și instrument de inserare SQL în masă conceput pentru a minimiza overhead-ul interogărilor și a crește performanța de scriere. Proiectul include un motor de upsert pentru a gestiona conflictele de constrângeri unice prin actualizarea înregistrărilor existente sau ignorarea duplicatelor. De asemenea, dispune de un importator de asocieri recursiv care permite inserarea înregistrărilor părinte și a asocierilor copil imbricate într-o singură operațiune. Biblioteca oferă un strat de validare pre-inserare pentru a verifica validitatea înregistrărilor și a raporta eșecurile înainte de a comite datele. Gestionează migrarea datelor la scară largă prin împărțirea seturilor de date în loturi pentru a controla utilizarea memoriei și a evita limitele de dimensiune a pachetelor bazei de date. Instrumentul oferă rezumate ale rezultatelor care conțin numărul de succese și identificatorii înregistrărilor, alături de urmărirea progresului pentru loturile de date.
The project limits the number of rows processed per single statement to optimize memory and avoid database packet size limits.
Ruby
