Awesome GitHub RepositoriesBulk Record Insertions

Tortoise ORM is an asynchronous object-relational mapper for Python that mirrors Django's model and queryset API while running on asyncio. It defines database tables as Python classes with typed fields and supports foreign key, many-to-many, and one-to-one relations, providing a chainable query API for filtering, annotating, grouping, and prefetching related objects without blocking the event loop. The ORM includes a built-in migration engine that detects model changes, generates migration files, and applies or reverts schema changes through a command-line tool. It connects to PostgreSQL, MyS

River ist ein transaktionaler Job-Queue- und verteilter Job-Scheduler für Go, der PostgreSQL für Persistenz und State-Management nutzt. Es fungiert als Framework für fortsetzbare Tasks, wodurch lang laufende Hintergrundprozesse in persistierte Schritte unterteilt werden können, die nach einem Fehler vom letzten gespeicherten Checkpoint aus fortgesetzt werden können. Das System stellt eine strikte Datenkonsistenz sicher, indem Hintergrund-Tasks innerhalb derselben Datenbanktransaktion wie die primären Anwendungsdaten in die Warteschlange eingereiht und abgeschlossen werden können. Es zeichnet sich durch ein Koordinator-Modell aus, das Leader-Election nutzt, um periodische und verzögerte Tasks über einen Cluster von Worker-Nodes hinweg zu verwalten. Die Plattform deckt eine breite Palette an Funktionen ab, darunter asynchrone Task-Verarbeitung, Retry-Policy-Konfiguration mit Exponential-Backoff und Workload-Isolation durch benannte Queues. Zudem bietet sie Tools für das Monitoring via Web-Management-Interface, Execution-Telemetry und ein Middleware-System zur Injektion von Cross-Cutting-Concerns wie Logging. Datenbank-Schema-Migrationen können über ein Command-Line-Interface oder direkt per Code verwaltet werden.

Slonik ist ein typsicherer PostgreSQL-Client für Node.js, der Tagged Template Literals verwendet, um sicherzustellen, dass Parameter gebunden und gegen Injection-Angriffe geschützt sind. Er bietet ein Framework für die Verbindung von Anwendungen mit PostgreSQL mit automatischer Typüberprüfung für Abfragen und Datenbankschemata. Das Projekt zeichnet sich durch einen spezialisierten SQL-Abfrage-Linter aus, der ungültige Spalten und Typ-Fehlanpassungen erkennt, indem er Code während des Entwicklungsprozesses gegen ein Live-Datenbankschema verifiziert. Es enthält zudem einen hochperformanten binären Bulk-Daten-Inserter zum Laden großer Datensätze mittels nativer binärer Serialisierung sowie einen Connection-Pool-Manager, der dynamisches Query-Routing zwischen Primär- und Replika-Knoten ermöglicht. Die Bibliothek deckt ein breites Set an Datenbankfähigkeiten ab, einschließlich atomarem Transaktionsmanagement, dynamischem SQL-Abfragebau und der Verarbeitung großer Ergebnismengen mittels async-iterable Streaming. Sie bietet zudem Middleware-Interzeptoren für Logging und Benchmarking, benutzerdefiniertes Typ-Parsing und asynchrone Callback-Mechanismen zur Aktualisierung von Datenbank-Authentifizierungsdaten.

ActiveAndroid ist ein Persistenz-Framework zur Verwaltung lokaler SQLite-Datenbanken unter Android. Es bietet ein Active-Record-Object-Relational-Mapping-System, das Datenbanktabellen an Klassen bindet und so die Datenpersistenz und den Abruf ohne manuelles Schreiben von SQL ermöglicht. Das Projekt zeichnet sich durch ein dediziertes Schema-Migrationstool aus, das Datenbankstrukturen mithilfe versionierter Skripte aktualisiert, die aus den Anwendungs-Assets geladen werden. Es enthält zudem ein Framework für den Austausch von Datenbankinhalten zwischen verschiedenen Android-Anwendungen über eine standardisierte URI-basierte Content-Provider-Schnittstelle. Die Bibliothek deckt breite Funktionsbereiche ab, darunter Object-Relational-Mapping zur Verwaltung von Tabellenbeziehungen und benutzerdefinierten Datentypen, Bulk-Transaktionsverarbeitung für die Datenaufnahme sowie automatisierte Datenbankinitialisierung aus vorbefüllten Asset-Dateien. Sie bietet zudem Dienstprogramme für programmatische Abfragen und Spaltenindizierung zur Verwaltung von Datensuche und -abruf.

H2 ist ein JDBC-konformes relationales Datenbankmanagementsystem, das in Java geschrieben ist. Es fungiert als einbettbare SQL-Datenbank, die direkt innerhalb eines Anwendungsprozesses ausgeführt werden kann, um Netzwerklatenz zu eliminieren, oder als In-Memory-Datenbank für performante, flüchtige Speicherung. Es enthält zudem eine webbasierte Konsole zur Ausführung von SQL-Befehlen und zur Verwaltung von Schemata. Das System zeichnet sich durch flexible Bereitstellungsmodi aus, einschließlich eines Standalone-Server-Modus für Remote-TCP/IP-Zugriffe und eines gemischten Modus für gleichzeitige lokale und Remote-Konnektivität. Es verfügt über eine Dialekt-Emulationsschicht und Kompatibilitätsmodi, die es ermöglichen, das Verhalten und die Syntax anderer Datenbanksysteme nachzuahmen. Die Engine bietet ein breites Spektrum an Funktionen, darunter ACID-Transaktionen mit Multi-Version Concurrency Control (MVCC), Unterstützung für Geodaten und JSON sowie fortgeschrittene analytische Fensterfunktionen. Es enthält Tools zur Datensicherung durch komprimierte Backups, SQL-Skript-Wiederherstellung und Off-Heap-Speicherverwaltung für große Datensätze. Die Datenbank lässt sich über Standard-JDBC-Treiber und Verbindungs-URLs in Anwendungen integrieren.

PostgREST ist ein Tool, das automatisch ein PostgreSQL-Datenbankschema in eine produktionsreife RESTful-API transformiert. Es dient als Datenbankzugriffsschicht und Abfrage-Engine, die HTTP-Anfragen direkt auf SQL-Abfragen abbildet und eine Low-Code-Schnittstelle für die Ausführung von Create-, Read-, Update- und Delete-Operationen bietet, ohne dass manueller Boilerplate-Code erforderlich ist. Das Projekt zeichnet sich durch schema-gesteuerte API-Generierung und metadatenbasierte Erkennung aus, um Datenbanktabellen als navigierbare Ressourcen offenzulegen. Es erweitert Standard-CRUD-Funktionen durch die Ausführung von benutzerdefiniertem und templated SQL, ein Plugin-basiertes Middleware-System zur Injektion von Geschäftslogik und die Möglichkeit, externe Shared Libraries zur Laufzeit zu laden. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich komplexer Datenabfragen mit Tabellen-Joins, Aggregationen und Volltextsuche. Es implementiert ein umfassendes Sicherheits-Framework mit tokenbasierter Authentifizierung, granularen Berechtigungen auf Tabellenebene und CORS-Management. Zusätzliche operative Funktionen umfassen lokales Result-Caching, Server-Health-Monitoring und Konnektivität für verteilte SQL-Datenbanken und Amazon Redshift. Die Installation wird über mehrere Umgebungen hinweg unterstützt, einschließlich als eigenständige Binärdatei oder über Docker Compose- und Heroku-Automatisierungstemplates.

FreeSql is a .NET object-relational mapper and data access layer that translates object-oriented code into SQL for multiple relational database providers. It functions as a fluent SQL query builder and database schema synchronizer, allowing developers to align database table and index structures with entity class definitions. The framework is specifically optimized for .NET Native AOT to ensure reduced memory footprints and faster startup times. It includes a database traffic manager to distribute load through read-write splitting, dynamic table sharding, and tenant-based data isolation. Bro

TypeDB ist eine stark typisierte Graphdatenbank und ein Knowledge-Graph-Managementsystem. Es dient als Multi-Modell-Datenspeicher, der relationale, Dokument- und Graphstrukturen in einer einzigen Umgebung vereint und sowohl als ACID-konforme Datenbank als auch als deklarative Abfrage-Engine fungiert. Das System zeichnet sich durch die Verwendung von n-ären Hypergraph-Modellen und polymorphen Typ-Hierarchien aus. Es verwendet ein stark typisiertes Schema, um strukturelle Regeln durchzusetzen und die Datenintegrität zu validieren, was typbasierte polymorphe Inferenz und rollenbasierte Interface-Polymorphie ermöglicht, um komplexe Beziehungen während der Abfrageausführung automatisch aufzulösen. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich der Berechnung rekursiver Beziehungen mittels Tabling, Snapshot-Isolation-Transaktionen und deklarativem Datenabruf. Sie unterstützt zudem Hochverfügbarkeit durch konsensbasierte Cluster-Replikation, rollenbasierte Zugriffskontrolle und die Integration mit KI-Agenten für den strukturierten Datenabruf. Die Verwaltung wird über eine Kommandozeilenschnittstelle unterstützt, und das System bietet Tools zur Visualisierung von Graph-Schemata sowie zur Prüfung administrativer Aktivitäten.

ActiveRecord Import ist eine Bibliothek zum Einfügen großer Datensätze in eine Datenbank mittels ActiveRecord durch einzelne oder gebündelte Abfragen. Es fungiert als Bulk-Daten-Importer und SQL-Bulk-Insert-Tool, das darauf ausgelegt ist, den Abfrage-Overhead zu minimieren und die Schreibleistung zu erhöhen. Das Projekt enthält eine Upsert-Engine, um Konflikte bei eindeutigen Constraints durch das Aktualisieren bestehender Datensätze oder das Ignorieren von Duplikaten zu behandeln. Es bietet zudem einen rekursiven Assoziations-Importer, der es ermöglicht, Eltern-Datensätze und deren verschachtelte Kind-Assoziationen in einem einzigen Vorgang einzufügen. Die Bibliothek bietet eine Validierungsschicht vor dem Einfügen, um die Gültigkeit der Datensätze zu prüfen und Fehler zu melden, bevor Daten festgeschrieben werden. Sie verwaltet die groß angelegte Datenmigration durch Aufteilen der Datensätze in Batches, um den Speicherverbrauch zu kontrollieren und Limits für die Datenbank-Paketgröße zu vermeiden. Das Tool bietet Ergebniszusammenfassungen mit Erfolgszählern und Datensatz-Identifikatoren sowie eine Fortschrittsverfolgung für Daten-Batches.

EFCore.BulkExtensions ist eine Bibliothek zur Ausführung hochperformanter Batch-Insert-, Update- und Delete-Operationen innerhalb des Entity-Framework-Core-Ökosystems. Sie fungiert als Toolkit für die Batch-Verarbeitung von Datenbanken und als Wrapper für natives SQL Bulk Copy, um eine schnellere Datenaufnahme und Synchronisierung über mehrere Datenbankanbieter hinweg zu ermöglichen. Die Bibliothek bietet spezialisierte Funktionen für die Synchronisierung relationaler Daten, die es Benutzern ermöglichen, Datenbanktabellen mit lokalen Entitätslisten durch Bulk-Upserts und bedingte Synchronisierung abzugleichen. Sie unterstützt zudem das Einfügen relationaler Datengraphen, was das Hinzufügen großer Mengen von Eltern- und Kinddatensätzen über mehrere Tabellen hinweg unter Wahrung von Fremdschlüsselbeziehungen ermöglicht. Das Tool deckt ein breites Spektrum an Bulk-Datenoperationen ab, einschließlich allgemeiner CRUD-Verarbeitung, Tabellen-Truncation und direktem Kopieren von Daten von Tabelle zu Tabelle. Es enthält zudem Dienstprogramme für serverseitige Batch-Updates und hochperformante Datenbankmigrationen, um große Datenmengen zu verschieben, ohne Entitäten in den Anwendungsspeicher zu laden.

nano-graphrag ist ein Retrieval-System, das Wissensgraphen nutzt, um strukturierten Kontext für Antworten von Large Language Models (LLMs) bereitzustellen. Es fungiert als Wissensgraph-Indexer, der unstrukturierten Text in ein Netzwerk aus Entitäten und Beziehungen transformiert, sowie als hybrides Graph-Retrieval-System. Das Projekt unterscheidet sich durch die Kombination von lokalen Nachbarschaftssuchen mit globalen Community-Zusammenfassungen, um komplexe Fragen in natürlicher Sprache zu beantworten. Es enthält einen Wissensgraph-Visualisierer, der HTML-Repräsentationen von Entitäten und deren Beziehungen generiert, um indiziertes Wissen abzubilden. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich Entitäts-Beziehungs-Extraktion, Community-basiertem Graph-Clustering und Hash-basiertem inkrementellem Indexing. Es bietet eine Integrationsschicht zur Anbindung von Open-Source-Modellen und lokalen Embedding-Providern, unterstützt durch austauschbare Storage-Backends für Key-Value-, Vektor- und Graph-Daten. Zusätzlicher Nutzen entsteht durch argumentbasierte Antwort-Cachings und Post-Processing-Funktionen zur Reparatur instabiler JSON-Ausgaben von Sprachmodellen.

Trillian is a distributed, multi-tenant verifiable data store that maintains cryptographically verifiable logs and maps using Merkle tree structures. It functions as a scalable backend for transparency logs, providing a system where data integrity is ensured through append-only records and mathematical proofs of inclusion and consistency. The system distinguishes itself by decoupling core storage from application-specific logic through a personality layer, which handles admission criteria and data canonicalization. It employs a consensus-based leader election mechanism for high availability a

Jet is a schema-driven code generation tool and type-safe SQL builder for Go. It introspects database schemas to automatically generate builders and data models, enabling compile-time type checking for table and column references to prevent runtime errors. The project distinguishes itself through a fluent interface that mirrors native SQL syntax, allowing for the orchestration of complex queries including common table expressions, recursive queries, and nested JSON structures. It further optimizes data retrieval by binding query outputs directly into generated Go structures or raw byte slices

Good Job ist ein Hintergrund-Job-Prozessor für Ruby on Rails, der eine PostgreSQL-Datenbank als primäre Speicher-Engine nutzt. Durch die Nutzung relationaler Datenbanktransaktionen stellt er eine persistente und zuverlässige Aufgabenausführung sicher und integriert sich direkt in das Active-Job-Framework, um asynchrone Operationen und wiederkehrende Job-Zeitpläne innerhalb bestehender Anwendungsumgebungen zu handhaben. Das System zeichnet sich durch ein In-Process-Ausführungsmodell aus, das es Hintergrund-Workern ermöglicht, im selben Prozess wie der Webserver zu laufen, was die Bereitstellung durch den Wegfall separater Worker-Dienste vereinfacht. Es nutzt multithreaded Worker-Ausführung und datenbankbasierte Advisory-Locks, um Aufgaben über verteilte Prozesse hinweg zu koordinieren, was eine eindeutige Ausführung für wiederkehrende Jobs und eine effiziente Ressourcennutzung sicherstellt. Die Bibliothek bietet umfassende betriebliche Kontrollen, einschließlich der Möglichkeit, verwandte Aufgaben in Batches für die kollektive Lebenszyklusverfolgung zu gruppieren und Masseneinfügungen zur Optimierung hochfrequenter Aufgabenaufnahmen zu nutzen. Administratoren können Nebenläufigkeitslimits verwalten, dedizierte Thread-Pools für spezifische Warteschlangen zuweisen und den Systemzustand über ein integriertes, anpassbares webbasiertes Dashboard überwachen. Das Projekt enthält ein integriertes Interface zum Inspizieren, Pausieren und Troubleshooting von Aufgaben in Echtzeit, neben konfigurierbarer Historienaufbewahrung für Auditing und Performance-Analysen.