Awesome GitHub RepositoriesBulk Record Insertions

Tortoise ORM is an asynchronous object-relational mapper for Python that mirrors Django's model and queryset API while running on asyncio. It defines database tables as Python classes with typed fields and supports foreign key, many-to-many, and one-to-one relations, providing a chainable query API for filtering, annotating, grouping, and prefetching related objects without blocking the event loop. The ORM includes a built-in migration engine that detects model changes, generates migration files, and applies or reverts schema changes through a command-line tool. It connects to PostgreSQL, MyS

River هو طابور مهام معاملات وجدول مهام موزع لـ Go يستخدم PostgreSQL للاستمرارية وإدارة الحالة. يعمل كإطار عمل للمهام القابلة للاستئناف، مما يسمح بتقسيم العمل الخلفي طويل الأمد إلى خطوات مستمرة يمكن استئنافها من آخر نقطة حفظ بعد الفشل. يضمن النظام اتساقاً صارماً للبيانات من خلال السماح بوضع المهام الخلفية في الطابور وإكمالها ضمن نفس معاملة قاعدة البيانات مثل بيانات التطبيق الأساسية. ويتميز بنموذج منسق يستخدم انتخاب القائد لإدارة المهام الدورية والمؤجلة عبر مجموعة من عقد العمل. تغطي المنصة مجموعة واسعة من القدرات بما في ذلك معالجة المهام غير المتزامنة، وتكوين سياسة إعادة المحاولة مع التراجع الأسي، وعزل عبء العمل من خلال طوابير مسماة. كما توفر أدوات للمراقبة عبر واجهة إدارة ويب، وقياسات التنفيذ، ونظام وسيط (middleware) لحقن الاهتمامات المتقاطعة مثل التسجيل (logging). يمكن إدارة ترحيلات مخطط قاعدة البيانات عبر واجهة سطر الأوامر أو مباشرة من خلال الكود.

Slonik is a type-safe PostgreSQL client for Node.js that uses tagged template literals to ensure parameters are bound and protected against injection attacks. It provides a framework for connecting applications to PostgreSQL with automatic type checking for queries and database schemas. The project distinguishes itself through a specialized SQL query linter that detects invalid columns and type mismatches by verifying code against a live database schema during the development process. It also includes a high-performance binary bulk data inserter for loading large datasets using native binary

ActiveAndroid is a persistence framework for managing local SQLite databases on Android. It provides an active record object-relational mapping system that binds database tables to classes, allowing for data persistence and retrieval without writing manual SQL. The project distinguishes itself through a dedicated schema migration tool that updates database structures using versioned scripts loaded from application assets. It also includes a framework for sharing database content between different Android applications via a standard URI-based content provider interface. The library covers bro

H2 is a JDBC-compliant relational database management system written in Java. It functions as an embeddable SQL database that can run directly within an application process to remove network latency, or as an in-memory database for high-performance volatile storage. It also includes a web-based console for executing SQL commands and administering schemas. The system is characterized by its flexible deployment modes, including a standalone server mode for remote TCP/IP access and a mixed mode for simultaneous local and remote connectivity. It features a dialect emulation layer and compatibilit

PostgREST هي أداة تقوم تلقائياً بتحويل مخطط قاعدة بيانات PostgreSQL إلى API RESTful جاهز للإنتاج. تعمل كطبقة وصول لقاعدة البيانات ومحرك استعلام يقوم بتعيين طلبات HTTP مباشرة إلى استعلامات SQL، مما يوفر واجهة منخفضة الكود لتنفيذ عمليات الإنشاء والقراءة والتحديث والحذف دون الحاجة إلى كود أساسي يدوي. يتميز المشروع باستخدام توليد API القائم على المخطط والاكتشاف القائم على البيانات الوصفية لكشف جداول قاعدة البيانات كموارد قابلة للتنقل. يوسع قدرات CRUD القياسية من خلال تنفيذ SQL مخصص وقائم على القوالب، ونظام برمجيات وسيطة قائم على المكونات الإضافية لحقن منطق الأعمال، والقدرة على تحميل مكتبات مشتركة خارجية في وقت التشغيل. يغطي النظام مجموعة واسعة من القدرات بما في ذلك استعلام البيانات المعقد مع انضمامات الجداول، والتجميعات، والبحث بالنص الكامل. ينفذ إطار عمل أمني شاملاً يتميز بالمصادقة القائمة على الرموز، وأذونات دقيقة على مستوى الجدول، وإدارة CORS. تشمل الميزات التشغيلية الإضافية التخزين المؤقت للنتائج المحلية، ومراقبة صحة الخادم، والاتصال بـ SQL الموزع وAmazon Redshift. يتم دعم التثبيت عبر بيئات متعددة، بما في ذلك كملف ثنائي مستقل أو عبر قوالب أتمتة Docker Compose وHeroku.

FreeSql هو أداة تعيين كائنات-علاقات (ORM) في .NET وطبقة وصول للبيانات تترجم الكود الموجه للكائنات إلى SQL لمزودي قواعد بيانات علائقية متعددين. يعمل كمنشئ استعلام SQL بأسلوب fluent ومزامن لمخطط قاعدة البيانات، مما يسمح للمطورين بمواءمة هياكل جداول وفهارس قاعدة البيانات مع تعريفات فئات الكيانات. تم تحسين إطار العمل خصيصاً لـ .NET Native AOT لضمان تقليل بصمات الذاكرة وأوقات بدء تشغيل أسرع. يتضمن مديراً لحركة مرور قاعدة البيانات لتوزيع الحمل من خلال تقسيم القراءة والكتابة، وتقسيم الجداول الديناميكي (sharding)، وعزل البيانات القائم على المستأجر. تشمل الإمكانيات الواسعة استيعاب البيانات عالي الأداء باستخدام آليات النسخ المجمع الخاصة بالمزود، والاستعلام المتقدم مع دوال النافذة و CTEs المتكررة، والمراقبة القائمة على AOP لتدقيق تغييرات البيانات. يوفر النظام أيضاً أدوات إدارة المخطط للترحيلات المؤتمتة وأدوات التطوير لتوليد فئات الكيانات من بيانات تعريف قاعدة البيانات.

TypeDB هو قاعدة بيانات رسومية ذات نوع قوي ونظام إدارة قاعدة بيانات معرفية. يعمل كمخزن بيانات متعدد النماذج يوحد الهياكل العلائقية والمستندية والرسومية في بيئة واحدة، ويعمل كقاعدة بيانات متوافقة مع ACID ومحرك استعلام تصريحي. يتميز النظام باستخدام نمذجة الرسم البياني الفائق (n-ary hypergraph) وتسلسلات هرمية للأنواع متعددة الأشكال. يستخدم مخططاً ذا نوع قوي لفرض القواعد الهيكلية والتحقق من سلامة البيانات، مما يسمح بالاستدلال متعدد الأشكال القائم على النوع وتعدد أشكال الواجهة القائم على الدور لحل العلاقات المعقدة تلقائياً أثناء تنفيذ الاستعلام. تغطي المنصة مجموعة واسعة من القدرات بما في ذلك حساب العلاقات العودية عبر الجدولة، ومعاملات عزل اللقطات، واسترجاع البيانات التصريحي. كما يدعم التوافر العالي من خلال تكرار الكتلة القائم على الإجماع، والتحكم في الوصول القائم على الدور، والتكامل مع وكلاء الذكاء الاصطناعي لاسترجاع البيانات المهيكلة. يتم دعم الإدارة عبر واجهة سطر أوامر، ويوفر النظام أدوات لتصور مخططات الرسوم البيانية وتدقيق النشاط الإداري.

ActiveRecord Import هي مكتبة لإدراج مجموعات بيانات كبيرة في قاعدة بيانات باستخدام ActiveRecord من خلال استعلامات مفردة أو مجمعة. تعمل كمستورد بيانات بالجملة وأداة إدراج SQL بالجملة مصممة لتقليل حمل الاستعلام وزيادة أداء الكتابة. يتضمن المشروع محرك تحديث أو إدراج (upsert) للتعامل مع تعارضات القيود الفريدة عن طريق تحديث السجلات الموجودة أو تجاهل التكرارات. كما يتميز بمستورد ارتباطات عودي يسمح بإدراج السجلات الأصلية وارتباطاتها الفرعية المتداخلة في عملية واحدة. توفر المكتبة طبقة تحقق قبل الإدراج للتحقق من صحة السجل والإبلاغ عن الإخفاقات قبل الالتزام بالبيانات. تدير ترحيل البيانات واسع النطاق عن طريق تقسيم مجموعات البيانات إلى دفعات للتحكم في استخدام الذاكرة وتجنب حدود حجم حزمة قاعدة البيانات. توفر الأداة ملخصات للنتائج تحتوي على عدد النجاحات ومعرفات السجلات، إلى جانب تتبع التقدم لدفعات البيانات.

EFCore.BulkExtensions هي مكتبة لتنفيذ عمليات الإدراج، والتحديث، والحذف المجمعة عالية الأداء داخل نظام Entity Framework Core البيئي. تعمل كمجموعة أدوات لمعالجة دفعات قاعدة البيانات وغلاف لـ SQL Bulk Copy الأصلي لتمكين استيعاب البيانات ومزامنتها بشكل أسرع عبر مزودي قواعد بيانات متعددين. توفر المكتبة قدرات متخصصة لمزامنة البيانات العلائقية، مما يسمح للمستخدمين بمواءمة جداول قاعدة البيانات مع قوائم الكيانات المحلية من خلال عمليات upsert مجمعة والمزامنة الشرطية. كما تدعم عمليات إدراج الرسوم البيانية للبيانات العلائقية، والتي تمكن من إضافة مجموعات كبيرة من سجلات الأصل والفرع عبر جداول متعددة مع الحفاظ على علاقات المفاتيح الخارجية. تغطي الأداة مجموعة واسعة من عمليات البيانات المجمعة، بما في ذلك معالجة CRUD العامة، واقتطاع الجداول، ونسخ البيانات المباشر من جدول إلى جدول. كما تتضمن أدوات لتحديثات الدفعات من جانب الخادم وترحيل قاعدة البيانات عالي الأداء لنقل كميات كبيرة من البيانات دون تحميل الكيانات في ذاكرة التطبيق.

nano-graphrag هو نظام استرجاع يستخدم الرسوم البيانية المعرفية لتوفير سياق منظم لاستجابات النماذج اللغوية الكبيرة. يعمل كفهرس للرسوم البيانية المعرفية يحول النص غير المنظم إلى شبكة من الكيانات والعلاقات، بالإضافة إلى نظام استرجاع رسوم بيانية هجين. يتميز المشروع بدمج عمليات البحث في الأحياء المحلية مع ملخصات المجتمع العالمية للإجابة على أسئلة اللغة الطبيعية المعقدة. يتضمن مصوراً للرسوم البيانية المعرفية يولد تمثيلات HTML للكيانات وعلاقاتها لرسم المعرفة المفهرسة. يغطي إطار العمل مجموعة واسعة من الإمكانات بما في ذلك استخراج علاقات الكيانات، وتجميع الرسوم البيانية القائم على المجتمع، والفهرسة التزايدية القائمة على التجزئة. يوفر طبقة تكامل لربط النماذج مفتوحة المصدر وموفري التضمين المحليين، مدعوماً بخلفيات تخزين قابلة للتوصيل لبيانات القيمة المفتاحية، والمتجهات، والرسوم البيانية. يتم توفير فائدة إضافية من خلال التخزين المؤقت للاستجابة القائم على الوسائط ووظائف ما بعد المعالجة لإصلاح مخرجات JSON غير المستقرة من النماذج اللغوية.

Trillian is a distributed, multi-tenant verifiable data store that maintains cryptographically verifiable logs and maps using Merkle tree structures. It functions as a scalable backend for transparency logs, providing a system where data integrity is ensured through append-only records and mathematical proofs of inclusion and consistency. The system distinguishes itself by decoupling core storage from application-specific logic through a personality layer, which handles admission criteria and data canonicalization. It employs a consensus-based leader election mechanism for high availability a

Jet is a schema-driven code generation tool and type-safe SQL builder for Go. It introspects database schemas to automatically generate builders and data models, enabling compile-time type checking for table and column references to prevent runtime errors. The project distinguishes itself through a fluent interface that mirrors native SQL syntax, allowing for the orchestration of complex queries including common table expressions, recursive queries, and nested JSON structures. It further optimizes data retrieval by binding query outputs directly into generated Go structures or raw byte slices

Good Job is a background job processor for Ruby on Rails that utilizes a PostgreSQL database as its primary storage engine. By leveraging relational database transactions, it ensures persistent and reliable task execution, integrating directly with the Active Job framework to handle asynchronous operations and recurring job scheduling within existing application environments. The system distinguishes itself through an in-process execution model that allows background workers to run within the same process as the web server, simplifying deployment by removing the need for separate worker servi