1 repositorio
Awesome GitHub RepositoriesBatch Statement Generation
Generates SQL statements in chunks to optimize memory and avoid database packet size limits.
Distinct from Batch Statement Execution: Distinct from Batch Statement Execution: focuses on the generation of the batch rather than the sequential execution of an existing string.
Explore 1 awesome GitHub repository matching data & databases · Batch Statement Generation. Refine with filters or upvote what's useful.
Awesome Batch Statement Generation GitHub Repositories
Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
- zdennis/activerecord-import
zdennis/activerecord-import
4,151Ver en GitHubActiveRecord Import es una biblioteca para insertar grandes conjuntos de datos en una base de datos utilizando ActiveRecord a través de consultas únicas o por lotes. Funciona como un importador de datos masivos y herramienta de inserción masiva SQL diseñada para minimizar la sobrecarga de consultas y aumentar el rendimiento de escritura. El proyecto incluye un motor de upsert para manejar conflictos de restricciones únicas actualizando registros existentes o ignorando duplicados. También cuenta con un importador de asociaciones recursivas que permite insertar registros padre y sus asociaciones hijas anidadas en una sola operación. La biblioteca proporciona una capa de validación previa a la inserción para verificar la validez de los registros e informar fallos antes de confirmar los datos. Gestiona la migración de datos a gran escala dividiendo los conjuntos de datos en lotes para controlar el uso de memoria y evitar los límites de tamaño de paquete de la base de datos. La herramienta proporciona resúmenes de resultados que contienen recuentos de éxito e identificadores de registros, junto con el seguimiento del progreso para los lotes de datos.
Chunks large datasets into smaller groups to prevent database packet size errors and manage memory usage.
Ruby
