Awesome GitHub RepositoriesDocument Chunking and Embedding Pipelines

QAnything is a retrieval-augmented generation application framework and self-hosted AI interface. It functions as a system that combines a vector database knowledge base, a document parsing service, and a hybrid search engine to generate answers based on private user data. The project features a modular pipeline architecture that allows users to independently replace components such as parsers, embedding models, and reranking engines. It supports local-first model deployment and offline operation to ensure data privacy, and includes a two-stage retrieval pipeline that merges dense vector embe

Genkit is an open-source framework for building AI-powered applications. It provides a unified interface for connecting to hundreds of generative AI models from multiple providers, enabling text, image, audio, and video generation through a single API. The framework structures multi-step AI interactions—including chat, retrieval-augmented generation, tool use, and agentic workflows—as composable, traceable flows with built-in streaming and state management. The framework distinguishes itself through a comprehensive developer toolkit that includes a command-line interface and a local developer

pgai هو مجموعة أدوات وإطار عمل لـ PostgreSQL مصمم لدمج نماذج اللغات الكبيرة وتضمينات المتجهات (vector embeddings) مباشرة داخل قاعدة البيانات. يعمل كجسر لتنفيذ طلبات نماذج تعلم الآلة وإجراء ترجمات النص إلى SQL ضمن استعلامات قاعدة البيانات القياسية. يوفر المشروع خط أنابيب آلي لتضمين المتجهات يتولى تحميل وتحليل وتقسيم النصوص من الجداول والمستندات غير المهيكلة. يستخدم هذا النظام عاملاً في الخلفية لمزامنة التضمينات تلقائياً مع تغير البيانات المصدرية، ويتضمن أدوات متخصصة لبناء تطبيقات التوليد المعزز بالاسترجاع (RAG) ومحركات البحث الدلالي. تغطي مجموعة الأدوات مجالات واسعة تشمل معالجة البيانات غير المهيكلة باستخدام OCR، وإنشاء فهارس دلالية لربط مخططات قاعدة البيانات باللغة الطبيعية، وتنفيذ عمليات بحث عن التشابه عالية الأداء من خلال فهرسة المتجهات وإعادة ترتيب النتائج. كما يتيح إثراء البيانات وتصنيفها والإشراف على المحتوى عن طريق استدعاء نماذج خارجية عبر SQL.

هذا المشروع عبارة عن حزمة تطوير حاوية (containerized) وإطار عمل لتطبيقات بناء أنظمة التوليد المعزز بالاسترجاع (RAG). يوفر بيئة تجريبية (sandbox) للذكاء الاصطناعي تعمل بنظام Docker، وتدمج بيئات تشغيل النماذج المحلية، ورسوم بيانية للمعرفة، ومخازن متجهية لتمكين إنشاء روبوتات محادثة سياقية. تتميز الحزمة بمخزنها المتجهي القائم على الرسوم البيانية، والذي يجمع بين رسوم المعرفة المهيكلة والفهارس المتجهية لاسترجاع البيانات الدلالية والهيكلية. كما يسمح باستضافة النماذج محلياً مع تسريع بواسطة CPU أو GPU، مما يتيح تنفيذ مهام توليدية دون الاعتماد على واجهات برمجة تطبيقات سحابية خارجية. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك معالجة وفهرسة مستندات PDF، وتنسيق خدمات الذكاء الاصطناعي القائمة على الحاويات، وتنفيذ توليد الاستجابات المؤصلة. يتضمن المشروع واجهة محادثة قائمة على الويب مع بث تدريجي للاستجابات وواجهة موحدة للتبديل بين مزودي نماذج اللغة المختلفين. يتم تشغيل البيئة باستخدام تنسيق الحاويات لنشر حزمة مهيأة مسبقاً من النماذج وقواعد البيانات بسرعة.

Chonkie هي مكتبة لتقسيم النصوص مصممة لخطوط أنابيب التوليد المعزز بالاسترجاع (RAG). تعمل كمقسم نصوص دلالي وخط أنابيب استيعاب RAG، حيث تحول النص الخام إلى أجزاء مضمنة للتخزين في قواعد بيانات المتجهات. يتميز المشروع باستراتيجيات تقسيم متخصصة، بما في ذلك مقسم كود يعتمد على AST للحفاظ على الحدود المنطقية في الكود المصدري ومقسم نص دلالي يستخدم نماذج التضمين لتحديد الحدود بناءً على المعنى. كما يوفر مستوعباً لقاعدة بيانات المتجهات لأتمتة توليد التضمينات وتصديرها إلى متاجر مختلفة. تغطي المكتبة مجموعة واسعة من الإمكانيات، بما في ذلك تحليل المستندات عبر OCR واستخراج markdown، ومجموعة متنوعة من طرق التقسيم مثل عدد الرموز والتقسيم الهرمي، وتنسيق سير العمل من خلال خطوط أنابيب قابلة لإعادة الاستخدام. تدعم مجموعة واسعة من تكاملات مخزن المتجهات، بما في ذلك Qdrant وMilvus وWeaviate وElasticsearch، بالإضافة إلى تصدير البيانات إلى JSON ومجموعات بيانات Hugging Face. يمكن للمستخدمين تنفيذ هذه العمليات عبر واجهة سطر الأوامر أو نشر النظام كخدمة API محاوية.

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind

Vector Admin is a multi-database administration platform and management interface designed for handling vector databases from a single dashboard. It provides a unified web interface that connects to multiple distinct vector database providers simultaneously, allowing administrators to oversee connections, manage user permissions through role-based access control, and enforce multi-tenant data access boundaries. The platform includes data management utilities for document ingestion, processing uploaded files through embedding generation pipelines, and inspecting or editing individual text chun