Awesome GitHub RepositoriesIncremental Vector Sync

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

هذا المشروع هو محرك لتشابه المتجهات بلغة C++ وتطبيق لخوارزمية Hierarchical Navigable Small World. يوفر مكتبة تعتمد على ملفات الرأس (header-only) لإجراء عمليات بحث تقريبية عن أقرب جار في مساحات عالية الأبعاد، إلى جانب روابط Python التي تعرض قدرات الفهرسة والبحث هذه لبيئات علوم البيانات. يتيح المحرك استرجاع التضمينات (embeddings) في الوقت الفعلي والبحث عن التشابه عالي الأبعاد باستخدام بنية رسم بياني متعددة الطبقات لموازنة سرعة البحث ودقته. ويدعم مقاييس مسافة مخصصة لحساب التشابه بين المتجهات في مساحات رياضية مختلفة. يغطي النظام مجموعة واسعة من عمليات الفهرسة، بما في ذلك الإدراج التزايدي للمتجهات والقدرة على تمييز العناصر كمحذوفة دون إعادة بناء الفهرس. كما يدعم البحث متعدد المتجهات، وتصفية نتائج البحث، والاستمرارية القائمة على القرص لحفظ وإعادة تحميل حالة الفهرس.

hnswlib هي مكتبة C++ تعتمد على ملفات الرأس ومحرك فهرسة متجهات مصمم للبحث التقريبي عن أقرب جار عالي الأبعاد. تنظم مجموعات كبيرة من التضمينات في بنية رسم بياني قابلة للبحث لتمكين استعلامات القرب السريعة وحسابات المسافة. يستخدم النظام رسوم Hierarchical Navigable Small World البيانية لتحقيق بحث سريع عن تشابه المتجهات. ويتميز بالسماح بتعريف مقاييس مسافة مخصصة ودوال تشابه لتكييف الحسابات مع متطلبات بيانات محددة. يغطي المحرك دورة حياة الفهرسة الكاملة، بما في ذلك بناء الفهرس التزايدي وإدارة نقاط البيانات من خلال الإضافات وإزالة العناصر. تشمل قدرات الاستعلام كلاً من البحث التقريبي والدقيق عن أقرب جار، مدعوماً بتصفية البحث المنطقي لاستبعاد المرشحين بناءً على تسميات العناصر. تدعم المكتبة استمرارية الفهرس عبر تسلسل الملفات الثنائية وتوفر تكوينات للتنفيذ المتوازي لتوزيع مهام الاستعلام والفهرسة عبر أنوية CPU متعددة.

Cognita is a retrieval augmented generation orchestration framework used to build pipelines that connect document stores and language models to provide grounded answers. It functions as a document ingestion pipeline and a vector database integrator, managing the process of loading, parsing, and indexing files into a searchable knowledge base. The system includes a language model gateway proxy that provides a unified API to interact with multiple different model providers. This routing layer decouples the application from specific vendors, allowing requests to be proxied through a provider-agn