Awesome GitHub RepositoriesBulk Record Insertions

Tortoise ORM is an asynchronous object-relational mapper for Python that mirrors Django's model and queryset API while running on asyncio. It defines database tables as Python classes with typed fields and supports foreign key, many-to-many, and one-to-one relations, providing a chainable query API for filtering, annotating, grouping, and prefetching related objects without blocking the event loop. The ORM includes a built-in migration engine that detects model changes, generates migration files, and applies or reverts schema changes through a command-line tool. It connects to PostgreSQL, MyS

River es una cola de trabajos transaccional y programador de trabajos distribuido para Go que utiliza PostgreSQL para la persistencia y gestión de estado. Funciona como un framework de tareas reanudables, permitiendo que el trabajo en segundo plano de larga duración se divida en pasos persistidos que pueden reanudarse desde el último punto de control guardado después de un fallo. El sistema asegura una estricta consistencia de datos permitiendo que las tareas en segundo plano sean encoladas y completadas dentro de la misma transacción de base de datos que los datos principales de la aplicación. Se distingue por un modelo de coordinador que emplea elección de líder para gestionar tareas periódicas y retrasadas a través de un clúster de nodos trabajadores. La plataforma cubre un amplio conjunto de capacidades, incluyendo procesamiento de tareas asíncronas, configuración de políticas de reintento con retroceso exponencial y aislamiento de carga de trabajo a través de colas con nombre. También proporciona herramientas para monitoreo mediante una interfaz de gestión web, telemetría de ejecución y un sistema de middleware para inyectar preocupaciones transversales como el registro (logging). Las migraciones de esquema de base de datos pueden gestionarse a través de una interfaz de línea de comandos o directamente mediante código.

Slonik es un cliente de PostgreSQL con seguridad de tipos para Node.js que utiliza tagged template literals para asegurar que los parámetros estén vinculados y protegidos contra ataques de inyección. Proporciona un framework para conectar aplicaciones a PostgreSQL con verificación de tipos automática para consultas y esquemas de base de datos. El proyecto se distingue por un linter de consultas SQL especializado que detecta columnas inválidas y discrepancias de tipos verificando el código contra un esquema de base de datos en vivo durante el proceso de desarrollo. También incluye un insertador de datos masivos binario de alto rendimiento para cargar grandes datasets usando serialización binaria nativa y un gestor de pool de conexiones capaz de enrutamiento dinámico de consultas entre nodos primarios y réplicas. La librería cubre un amplio conjunto de capacidades de base de datos, incluyendo gestión de transacciones atómicas, construcción dinámica de consultas SQL y procesamiento de grandes conjuntos de resultados mediante streaming async-iterable. Además, proporciona interceptores de middleware para logging y benchmarking, parseo de tipos personalizado y mecanismos de callback asíncronos para refrescar credenciales de autenticación de base de datos.

ActiveAndroid es un framework de persistencia para gestionar bases de datos SQLite locales en Android. Proporciona un sistema de mapeo objeto-relacional (ORM) de tipo active record que vincula tablas de bases de datos con clases, permitiendo la persistencia y recuperación de datos sin escribir SQL manualmente. El proyecto se distingue por una herramienta dedicada de migración de esquemas que actualiza las estructuras de la base de datos utilizando scripts versionados cargados desde los assets de la aplicación. También incluye un framework para compartir contenido de bases de datos entre diferentes aplicaciones de Android mediante una interfaz estándar de content provider basada en URI. La librería cubre áreas de capacidad amplias, incluyendo mapeo objeto-relacional para gestionar relaciones de tablas y tipos de datos personalizados, procesamiento de transacciones en bloque para la ingesta de datos e inicialización automatizada de bases de datos desde archivos de assets pre-poblados. Además, proporciona utilidades para consultas programáticas e indexación de columnas para gestionar la búsqueda y recuperación de datos.

H2 es un sistema de gestión de bases de datos relacionales compatible con JDBC, escrito en Java. Funciona como una base de datos SQL embebible que puede ejecutarse directamente dentro de un proceso de aplicación para eliminar la latencia de red, o como una base de datos en memoria para almacenamiento volátil de alto rendimiento. También incluye una consola basada en web para ejecutar comandos SQL y administrar esquemas. El sistema se caracteriza por sus modos de despliegue flexibles, incluyendo un modo servidor independiente para acceso remoto TCP/IP y un modo mixto para conectividad local y remota simultánea. Cuenta con una capa de emulación de dialectos y modos de compatibilidad que permiten imitar el comportamiento y la sintaxis de otros sistemas de bases de datos. El motor proporciona un amplio conjunto de capacidades que cubren transacciones ACID con control de concurrencia multiversión, soporte para datos geoespaciales y JSON, y funciones avanzadas de ventana analítica. Incluye herramientas para la preservación de datos mediante copias de seguridad comprimidas, restauración de scripts SQL y gestión de memoria fuera del heap (off-heap) para manejar grandes datasets. La base de datos se integra con aplicaciones utilizando controladores estándar de Java Database Connectivity y URLs de conexión.

PostgREST es una herramienta que transforma automáticamente un esquema de base de datos PostgreSQL en una API RESTful lista para producción. Sirve como capa de acceso a base de datos y motor de consultas que mapea solicitudes HTTP directamente a consultas SQL, proporcionando una interfaz low-code para ejecutar operaciones de creación, lectura, actualización y eliminación (CRUD) sin requerir código boilerplate manual. El proyecto se distingue por utilizar la generación de API basada en esquemas y el descubrimiento basado en metadatos para exponer las tablas de la base de datos como recursos navegables. Extiende las capacidades CRUD estándar mediante la ejecución de SQL personalizado y con plantillas, un sistema de middleware basado en plugins para inyectar lógica de negocio y la capacidad de cargar librerías compartidas externas en tiempo de ejecución. El sistema cubre una amplia gama de capacidades, incluyendo consultas de datos complejas con joins de tablas, agregaciones y búsqueda de texto completo. Implementa un framework de seguridad integral que incluye autenticación basada en tokens, permisos granulares a nivel de tabla y gestión de CORS. Las características operativas adicionales incluyen caché de resultados local, monitoreo de salud del servidor y conectividad para SQL distribuido y Amazon Redshift. La instalación es compatible con múltiples entornos, incluyendo como binario independiente o mediante plantillas de automatización de Docker Compose y Heroku.

FreeSql es un mapeador objeto-relacional (ORM) y capa de acceso a datos para .NET que traduce código orientado a objetos a SQL para múltiples proveedores de bases de datos relacionales. Funciona como un constructor de consultas SQL fluido y sincronizador de esquemas de base de datos, permitiendo a los desarrolladores alinear las estructuras de tablas e índices de la base de datos con las definiciones de clases de entidad. El framework está optimizado específicamente para .NET Native AOT para garantizar huellas de memoria reducidas y tiempos de inicio más rápidos. Incluye un gestor de tráfico de base de datos para distribuir la carga a través de división de lectura-escritura, fragmentación de tablas dinámica y aislamiento de datos basado en inquilinos. Las capacidades amplias incluyen ingesta de datos de alto rendimiento utilizando mecanismos de copia masiva específicos del proveedor, consultas avanzadas con funciones de ventana y CTEs recursivos, y monitoreo basado en AOP para auditar cambios de datos. El sistema también proporciona herramientas de gestión de esquemas para migraciones automatizadas y utilidades de desarrollo para generar clases de entidad a partir de metadatos de base de datos.

TypeDB es una base de datos de grafos fuertemente tipada y un sistema de gestión de grafos de conocimiento. Sirve como un almacén de datos multimodelo que unifica estructuras relacionales, de documentos y de grafos en un solo entorno, funcionando tanto como una base de datos compatible con ACID como un motor de consultas declarativo. El sistema se distingue por el uso de modelado de hipergrafos n-arios y jerarquías de tipos polimórficos. Emplea un esquema fuertemente tipado para imponer reglas estructurales y validar la integridad de los datos, permitiendo la inferencia polimórfica basada en tipos y el polimorfismo de interfaz basado en roles para resolver relaciones complejas automáticamente durante la ejecución de consultas. La plataforma cubre una amplia gama de capacidades, incluyendo el cálculo de relaciones recursivas mediante tabulación, transacciones con aislamiento de instantáneas y recuperación declarativa de datos. También admite alta disponibilidad mediante replicación de clúster basada en consenso, control de acceso basado en roles e integración con agentes de IA para la recuperación de datos estructurados. La gestión se realiza a través de una interfaz de línea de comandos, y el sistema proporciona herramientas para visualizar esquemas de grafos y auditar la actividad administrativa.

ActiveRecord Import es una biblioteca para insertar grandes conjuntos de datos en una base de datos utilizando ActiveRecord a través de consultas únicas o por lotes. Funciona como un importador de datos masivos y herramienta de inserción masiva SQL diseñada para minimizar la sobrecarga de consultas y aumentar el rendimiento de escritura. El proyecto incluye un motor de upsert para manejar conflictos de restricciones únicas actualizando registros existentes o ignorando duplicados. También cuenta con un importador de asociaciones recursivas que permite insertar registros padre y sus asociaciones hijas anidadas en una sola operación. La biblioteca proporciona una capa de validación previa a la inserción para verificar la validez de los registros e informar fallos antes de confirmar los datos. Gestiona la migración de datos a gran escala dividiendo los conjuntos de datos en lotes para controlar el uso de memoria y evitar los límites de tamaño de paquete de la base de datos. La herramienta proporciona resúmenes de resultados que contienen recuentos de éxito e identificadores de registros, junto con el seguimiento del progreso para los lotes de datos.

EFCore.BulkExtensions es una biblioteca para ejecutar operaciones de inserción, actualización y eliminación por lotes de alto rendimiento dentro del ecosistema de Entity Framework Core. Funciona como un kit de herramientas de procesamiento por lotes de bases de datos y un wrapper para SQL Bulk Copy nativo para permitir una ingesta y sincronización de datos más rápida a través de múltiples proveedores de bases de datos. La biblioteca proporciona capacidades especializadas para la sincronización de datos relacionales, permitiendo a los usuarios alinear tablas de bases de datos con listas de entidades locales mediante upserts masivos y sincronización condicional. También soporta inserciones de grafos de datos relacionales, que permiten la adición de grandes conjuntos de registros padres e hijos a través de múltiples tablas mientras se mantienen las relaciones de clave foránea. La herramienta cubre una amplia gama de operaciones de datos masivos, incluyendo procesamiento CRUD general, truncamiento de tablas y copia de datos directa de tabla a tabla. Además, incluye utilidades para actualizaciones por lotes del lado del servidor y migración de bases de datos de alto rendimiento para mover grandes volúmenes de datos sin cargar entidades en la memoria de la aplicación.

nano-graphrag is a retrieval system that uses knowledge graphs to provide structured context for large language model responses. It functions as a knowledge graph indexer that transforms unstructured text into a network of entities and relationships, as well as a hybrid graph retrieval system. The project differentiates itself by combining local neighborhood searches with global community summaries to answer complex natural language questions. It includes a knowledge graph visualizer that generates HTML representations of entities and their relationships to map indexed knowledge. The framewo

Trillian is a distributed, multi-tenant verifiable data store that maintains cryptographically verifiable logs and maps using Merkle tree structures. It functions as a scalable backend for transparency logs, providing a system where data integrity is ensured through append-only records and mathematical proofs of inclusion and consistency. The system distinguishes itself by decoupling core storage from application-specific logic through a personality layer, which handles admission criteria and data canonicalization. It employs a consensus-based leader election mechanism for high availability a

Jet is a schema-driven code generation tool and type-safe SQL builder for Go. It introspects database schemas to automatically generate builders and data models, enabling compile-time type checking for table and column references to prevent runtime errors. The project distinguishes itself through a fluent interface that mirrors native SQL syntax, allowing for the orchestration of complex queries including common table expressions, recursive queries, and nested JSON structures. It further optimizes data retrieval by binding query outputs directly into generated Go structures or raw byte slices

Good Job es un procesador de trabajos en segundo plano para Ruby on Rails que utiliza una base de datos PostgreSQL como su motor de almacenamiento principal. Al aprovechar las transacciones de bases de datos relacionales, garantiza una ejecución de tareas persistente y confiable, integrándose directamente con el framework Active Job para manejar operaciones asíncronas y la programación de trabajos recurrentes dentro de entornos de aplicación existentes. El sistema se distingue por un modelo de ejecución en proceso que permite que los trabajadores en segundo plano se ejecuten dentro del mismo proceso que el servidor web, simplificando el despliegue al eliminar la necesidad de servicios de trabajo separados. Emplea la ejecución de trabajadores multihilo y bloqueos de asesoramiento a nivel de base de datos para coordinar tareas a través de procesos distribuidos, asegurando una ejecución única para trabajos recurrentes y una utilización eficiente de los recursos. La biblioteca ofrece controles operativos integrales, incluyendo la capacidad de agrupar tareas relacionadas en lotes para el seguimiento colectivo del ciclo de vida y el uso de inserción masiva para optimizar la ingesta de tareas de alta frecuencia. Los administradores pueden gestionar límites de concurrencia, asignar pools de hilos dedicados para colas específicas y monitorear la salud del sistema a través de un dashboard web integrado y personalizable. El proyecto incluye una interfaz incorporada para inspeccionar, pausar y solucionar problemas de tareas en tiempo real, junto con la retención de historial configurable para auditoría y análisis de rendimiento.