Awesome GitHub RepositoriesBatch Size Management

ActiveRecord Import es una biblioteca para insertar grandes conjuntos de datos en una base de datos utilizando ActiveRecord a través de consultas únicas o por lotes. Funciona como un importador de datos masivos y herramienta de inserción masiva SQL diseñada para minimizar la sobrecarga de consultas y aumentar el rendimiento de escritura. El proyecto incluye un motor de upsert para manejar conflictos de restricciones únicas actualizando registros existentes o ignorando duplicados. También cuenta con un importador de asociaciones recursivas que permite insertar registros padre y sus asociaciones hijas anidadas en una sola operación. La biblioteca proporciona una capa de validación previa a la inserción para verificar la validez de los registros e informar fallos antes de confirmar los datos. Gestiona la migración de datos a gran escala dividiendo los conjuntos de datos en lotes para controlar el uso de memoria y evitar los límites de tamaño de paquete de la base de datos. La herramienta proporciona resúmenes de resultados que contienen recuentos de éxito e identificadores de registros, junto con el seguimiento del progreso para los lotes de datos.