Awesome GitHub RepositoriesAsynchronous Processing

Chonkie هي مكتبة لتقسيم النصوص مصممة لخطوط أنابيب التوليد المعزز بالاسترجاع (RAG). تعمل كمقسم نصوص دلالي وخط أنابيب استيعاب RAG، حيث تحول النص الخام إلى أجزاء مضمنة للتخزين في قواعد بيانات المتجهات. يتميز المشروع باستراتيجيات تقسيم متخصصة، بما في ذلك مقسم كود يعتمد على AST للحفاظ على الحدود المنطقية في الكود المصدري ومقسم نص دلالي يستخدم نماذج التضمين لتحديد الحدود بناءً على المعنى. كما يوفر مستوعباً لقاعدة بيانات المتجهات لأتمتة توليد التضمينات وتصديرها إلى متاجر مختلفة. تغطي المكتبة مجموعة واسعة من الإمكانيات، بما في ذلك تحليل المستندات عبر OCR واستخراج markdown، ومجموعة متنوعة من طرق التقسيم مثل عدد الرموز والتقسيم الهرمي، وتنسيق سير العمل من خلال خطوط أنابيب قابلة لإعادة الاستخدام. تدعم مجموعة واسعة من تكاملات مخزن المتجهات، بما في ذلك Qdrant وMilvus وWeaviate وElasticsearch، بالإضافة إلى تصدير البيانات إلى JSON ومجموعات بيانات Hugging Face. يمكن للمستخدمين تنفيذ هذه العمليات عبر واجهة سطر الأوامر أو نشر النظام كخدمة API محاوية.

This project is a web-based platform designed for retrieval-augmented generation, providing a conversational interface that connects language models to private document collections. It functions as a comprehensive system for managing enterprise knowledge bases, allowing users to query internal documents and receive context-aware, source-verified answers through a natural language chat interface. The platform distinguishes itself by integrating vector-based semantic search with modular knowledge base management, enabling the ingestion, segmentation, and indexing of documents into searchable em

This platform is a self-hosted knowledge management system designed for interacting with documents through natural language. It functions as a retrieval-augmented generation engine, allowing users to upload files and query them using large language models. The system provides a unified interface for document-based chat, ensuring that responses are grounded in the source material through specific citations. The platform distinguishes itself through a multi-tenant architecture that enforces strict data isolation between users and organizations. It features a flexible AI gateway that standardize