Awesome GitHub RepositoriesBulk Record Insertions

Tortoise ORM is an asynchronous object-relational mapper for Python that mirrors Django's model and queryset API while running on asyncio. It defines database tables as Python classes with typed fields and supports foreign key, many-to-many, and one-to-one relations, providing a chainable query API for filtering, annotating, grouping, and prefetching related objects without blocking the event loop. The ORM includes a built-in migration engine that detects model changes, generates migration files, and applies or reverts schema changes through a command-line tool. It connects to PostgreSQL, MyS

River este o coadă de joburi tranzacțională și un scheduler de joburi distribuit pentru Go care utilizează PostgreSQL pentru persistență și gestionarea stării. Acesta funcționează ca un framework de task-uri reluabile, permițând ca munca de fundal de lungă durată să fie împărțită în pași persistenți care pot fi reluați de la ultimul checkpoint salvat după o eroare. Sistemul asigură o consistență strictă a datelor permițând ca task-urile de fundal să fie puse în coadă și finalizate în cadrul aceleiași tranzacții de bază de date ca și datele principale ale aplicației. Se distinge printr-un model de coordonator care utilizează alegerea liderului pentru a gestiona task-urile periodice și întârziate într-un cluster de noduri worker. Platforma acoperă un set larg de capabilități, inclusiv procesarea asincronă a task-urilor, configurarea politicii de reîncercare cu backoff exponențial și izolarea sarcinilor de lucru prin cozi numite. Oferă, de asemenea, instrumente pentru monitorizare printr-o interfață de gestionare web, telemetrie de execuție și un sistem middleware pentru injectarea preocupărilor transversale precum logarea. Migrările schemei bazei de date pot fi gestionate printr-o interfață în linie de comandă sau direct prin cod.

Slonik este un client PostgreSQL type-safe pentru Node.js care utilizează tagged template literals pentru a asigura că parametrii sunt legați și protejați împotriva atacurilor de tip injecție. Oferă un framework pentru conectarea aplicațiilor la PostgreSQL cu verificare automată a tipurilor pentru interogări și scheme de baze de date. Proiectul se distinge printr-un linter de interogări SQL specializat care detectează coloanele invalide și nepotrivirile de tip prin verificarea codului față de o schemă de bază de date live în timpul procesului de dezvoltare. Include, de asemenea, un inserator binar de date în masă de înaltă performanță pentru încărcarea seturilor mari de date folosind serializarea binară nativă și un manager de pool de conexiuni capabil de rutare dinamică a interogărilor între nodurile primare și cele secundare. Biblioteca acoperă un set larg de capabilități de baze de date, inclusiv gestionarea tranzacțiilor atomice, construirea dinamică a interogărilor SQL și procesarea seturilor mari de rezultate prin streaming async-iterable. Oferă în continuare interceptori de middleware pentru logare și benchmarking, parsarea tipurilor personalizate și mecanisme de callback asincrone pentru reîmprospătarea credențialelor de autentificare la baza de date.

ActiveAndroid este un framework de persistență pentru gestionarea bazelor de date SQLite locale pe Android. Oferă un sistem de mapare obiect-relațională (ORM) de tip active record care leagă tabelele bazei de date de clase, permițând persistența și recuperarea datelor fără a scrie SQL manual. Proiectul se distinge printr-un instrument dedicat de migrare a schemei care actualizează structurile bazei de date folosind scripturi versionate încărcate din resursele aplicației. Include, de asemenea, un framework pentru partajarea conținutului bazei de date între diferite aplicații Android printr-o interfață standard de tip content provider bazată pe URI. Biblioteca acoperă domenii largi de capabilități, inclusiv maparea obiect-relațională pentru gestionarea relațiilor dintre tabele și a tipurilor de date personalizate, procesarea tranzacțiilor în masă pentru ingestia de date și inițializarea automatizată a bazei de date din fișiere de resurse pre-populate. Oferă în plus utilitare pentru interogări programatice și indexarea coloanelor pentru a gestiona căutarea și recuperarea datelor.

H2 este un sistem de gestionare a bazelor de date relaționale compatibil JDBC, scris în Java. Funcționează ca o bază de date SQL embeddable care poate rula direct în procesul unei aplicații pentru a elimina latența rețelei, sau ca o bază de date în memorie pentru stocare volatilă de înaltă performanță. Include, de asemenea, o consolă bazată pe web pentru executarea comenzilor SQL și administrarea schemelor. Sistemul se caracterizează prin moduri de implementare flexibile, inclusiv un mod server standalone pentru acces TCP/IP la distanță și un mod mixt pentru conectivitate locală și la distanță simultană. Dispune de un strat de emulare a dialectelor și moduri de compatibilitate care îi permit să imite comportamentul și sintaxa altor sisteme de baze de date. Motorul oferă un set larg de capabilități, acoperind tranzacții ACID cu controlul concurenței multi-versiune (MVCC), suport pentru date geospațiale și JSON, precum și funcții analitice avansate de tip window. Include instrumente pentru conservarea datelor prin backup-uri comprimate, restaurarea scripturilor SQL și gestionarea memoriei off-heap pentru a manipula seturi mari de date. Baza de date se integrează cu aplicațiile folosind drivere standard Java Database Connectivity și URL-uri de conexiune.

PostgREST este un instrument care transformă automat o schemă de bază de date PostgreSQL într-un API RESTful gata de producție. Servește drept strat de acces la baza de date și motor de interogare care mapează cererile HTTP direct în interogări SQL, oferind o interfață low-code pentru executarea operațiunilor de creare, citire, actualizare și ștergere (CRUD) fără a necesita cod boilerplate manual. Proiectul se distinge prin utilizarea generării de API bazată pe schemă și descoperirea bazată pe metadate pentru a expune tabelele bazei de date ca resurse navigabile. Extinde capabilitățile CRUD standard prin executarea de SQL personalizat și șablonat, un sistem de middleware bazat pe plugin-uri pentru injectarea logicii de business și capacitatea de a încărca biblioteci partajate externe la runtime. Sistemul acoperă o gamă largă de capabilități, inclusiv interogarea complexă a datelor cu join-uri de tabele, agregări și căutare full-text. Implementează un framework de securitate cuprinzător care include autentificare bazată pe token, permisiuni granulare la nivel de tabel și gestionarea CORS. Caracteristicile operaționale suplimentare includ caching-ul local al rezultatelor, monitorizarea stării de sănătate a serverului și conectivitate pentru SQL distribuit și Amazon Redshift. Instalarea este suportată în mai multe medii, inclusiv ca binar independent sau prin șabloane de automatizare Docker Compose și Heroku.

FreeSql este un mapper obiect-relațional (ORM) .NET și un strat de acces la date care traduce codul orientat pe obiecte în SQL pentru mai mulți furnizori de baze de date relaționale. Funcționează ca un builder fluent de query-uri SQL și sincronizator de schemă de bază de date, permițând dezvoltatorilor să alinieze structurile tabelelor și indicilor bazei de date cu definițiile claselor de entități. Framework-ul este optimizat special pentru .NET Native AOT pentru a asigura amprente de memorie reduse și timpi de pornire mai rapizi. Include un manager de trafic al bazei de date pentru a distribui load-ul prin read-write splitting, sharding dinamic al tabelelor și izolare a datelor bazată pe chiriași (tenant). Capabilitățile largi includ ingestia de date de înaltă performanță folosind mecanisme de bulk copy specifice furnizorului, interogare avansată cu funcții de fereastră și CTE-uri recursive, și monitorizare bazată pe AOP pentru auditarea modificărilor de date. Sistemul oferă, de asemenea, instrumente de gestionare a schemei pentru migrări automate și utilitare de dezvoltare pentru generarea claselor de entități din metadatele bazei de date.

TypeDB este o bază de date graf și un sistem de gestionare a cunoștințelor (knowledge graph) puternic tipizat. Servește ca un magazin de date multi-model care unifică structurile relaționale, document și graf într-un singur mediu, funcționând atât ca o bază de date conformă ACID, cât și ca un motor de interogare declarativ. Sistemul se distinge prin utilizarea modelării n-ary hypergraph și a ierarhiilor de tip polimorfice. Utilizează o schemă puternic tipizată pentru a impune reguli structurale și a valida integritatea datelor, permițând inferența polimorfică bazată pe tip și polimorfismul de interfață bazat pe roluri pentru a rezolva automat relațiile complexe în timpul execuției interogărilor. Platforma acoperă o gamă largă de capabilități, inclusiv calcularea relațiilor recursive prin tabling, tranzacții cu izolare de snapshot și regăsirea declarativă a datelor. De asemenea, suportă disponibilitatea ridicată prin replicarea clusterelor bazată pe consens, controlul accesului bazat pe roluri și integrarea cu agenți AI pentru regăsirea datelor structurate. Gestionarea este susținută printr-o interfață de linie de comandă, iar sistemul oferă instrumente pentru vizualizarea schemelor graf și auditarea activității administrative.

ActiveRecord Import este o bibliotecă pentru inserarea seturilor mari de date într-o bază de date folosind ActiveRecord prin interogări unice sau grupate. Funcționează ca un importator de date în masă și instrument de inserare SQL în masă conceput pentru a minimiza overhead-ul interogărilor și a crește performanța de scriere. Proiectul include un motor de upsert pentru a gestiona conflictele de constrângeri unice prin actualizarea înregistrărilor existente sau ignorarea duplicatelor. De asemenea, dispune de un importator de asocieri recursiv care permite inserarea înregistrărilor părinte și a asocierilor copil imbricate într-o singură operațiune. Biblioteca oferă un strat de validare pre-inserare pentru a verifica validitatea înregistrărilor și a raporta eșecurile înainte de a comite datele. Gestionează migrarea datelor la scară largă prin împărțirea seturilor de date în loturi pentru a controla utilizarea memoriei și a evita limitele de dimensiune a pachetelor bazei de date. Instrumentul oferă rezumate ale rezultatelor care conțin numărul de succese și identificatorii înregistrărilor, alături de urmărirea progresului pentru loturile de date.

EFCore.BulkExtensions is a library for executing high-performance batch insert, update, and delete operations within the Entity Framework Core ecosystem. It functions as a database batch processing toolkit and a wrapper for native SQL Bulk Copy to enable faster data ingestion and synchronization across multiple database providers. The library provides specialized capabilities for relational data synchronization, allowing users to align database tables with local entity lists through bulk upserts and conditional synchronization. It also supports relational data graph insertions, which enable t

nano-graphrag este un sistem de recuperare care utilizează grafuri de cunoștințe pentru a oferi context structurat pentru răspunsurile modelelor de limbaj mari (LLM). Funcționează ca un indexator de grafuri de cunoștințe care transformă textul nestructurat într-o rețea de entități și relații, precum și ca un sistem hibrid de recuperare prin grafuri. Proiectul se diferențiază prin combinarea căutărilor locale în vecinătate cu rezumate comunitare globale pentru a răspunde la întrebări complexe în limbaj natural. Include un vizualizator de grafuri de cunoștințe care generează reprezentări HTML ale entităților și relațiilor acestora pentru a mapa cunoștințele indexate. Framework-ul acoperă un set larg de capabilități, inclusiv extracția entitate-relație, clustering-ul grafurilor bazat pe comunitate și indexarea incrementală bazată pe hash. Oferă un strat de integrare pentru conectarea modelelor open-source și a furnizorilor de embedding locali, susținut de backend-uri de stocare pluggable pentru date cheie-valoare, vectoriale și de graf. Utilitatea suplimentară este oferită prin cache-ul de răspunsuri bazat pe argumente și funcții de post-procesare pentru a repara ieșirile JSON instabile de la modelele de limbaj.

Trillian is a distributed, multi-tenant verifiable data store that maintains cryptographically verifiable logs and maps using Merkle tree structures. It functions as a scalable backend for transparency logs, providing a system where data integrity is ensured through append-only records and mathematical proofs of inclusion and consistency. The system distinguishes itself by decoupling core storage from application-specific logic through a personality layer, which handles admission criteria and data canonicalization. It employs a consensus-based leader election mechanism for high availability a

Jet is a schema-driven code generation tool and type-safe SQL builder for Go. It introspects database schemas to automatically generate builders and data models, enabling compile-time type checking for table and column references to prevent runtime errors. The project distinguishes itself through a fluent interface that mirrors native SQL syntax, allowing for the orchestration of complex queries including common table expressions, recursive queries, and nested JSON structures. It further optimizes data retrieval by binding query outputs directly into generated Go structures or raw byte slices

Good Job este un procesor de joburi în fundal pentru Ruby on Rails care utilizează o bază de date PostgreSQL ca motor principal de stocare. Prin valorificarea tranzacțiilor bazelor de date relaționale, asigură execuția persistentă și fiabilă a sarcinilor, integrându-se direct cu framework-ul Active Job pentru a gestiona operațiunile asincrone și programarea joburilor recurente în mediile de aplicație existente. Sistemul se distinge printr-un model de execuție in-process care permite worker-ilor din fundal să ruleze în același proces ca serverul web, simplificând deployment-ul prin eliminarea nevoii de servicii worker separate. Utilizează execuția worker-ilor multithreaded și lock-uri consultative la nivel de bază de date pentru a coordona sarcinile între procesele distribuite, asigurând execuția unică pentru joburile recurente și utilizarea eficientă a resurselor. Biblioteca oferă controale operaționale cuprinzătoare, inclusiv capacitatea de a grupa sarcini conexe în loturi pentru urmărirea colectivă a ciclului de viață și utilizarea inserției în masă pentru a optimiza ingestia sarcinilor de înaltă frecvență. Administratorii pot gestiona limitele de concurență, pot aloca pool-uri de thread-uri dedicate pentru cozi specifice și pot monitoriza starea sistemului printr-un dashboard web personalizabil și integrat. Proiectul include o interfață încorporată pentru inspectarea, pauzarea și depanarea sarcinilor în timp real, alături de retenția configurabilă a istoricului pentru audit și analiza performanței.