Awesome GitHub RepositoriesMilvus Integrations

This project is a privacy-first backend service designed to facilitate retrieval-augmented generation by processing local documents into searchable vector representations. It provides a modular architecture that allows users to ingest diverse file formats, manage document metadata, and perform semantic searches to provide context-aware responses for chat and completion requests. The system distinguishes itself through a database-agnostic abstraction layer that supports various storage backends, ranging from local disk storage to enterprise-grade vector databases. It offers flexible deployment

Unstructured is an enterprise-grade data orchestration engine designed to transform raw, unstructured files into structured, machine-readable formats. It functions as a comprehensive platform for document ingestion, partitioning, and enrichment, specifically engineered to prepare complex data for retrieval-augmented generation and agentic AI workflows. The platform distinguishes itself through its sophisticated document processing strategies, which combine rule-based extraction with vision-language models to handle diverse file layouts, tables, and images. It provides a modular architecture t

Chonkie este o bibliotecă de chunking (segmentare) a textului concepută pentru pipeline-uri de retrieval-augmented generation (RAG). Funcționează ca un splitter semantic de text și un pipeline de ingestie RAG, transformând textul brut în segmente încorporate pentru stocare în baze de date vectoriale. Proiectul se distinge prin strategii de segmentare specializate, inclusiv un splitter de cod bazat pe AST pentru păstrarea limitelor logice în codul sursă și un splitter semantic de text care utilizează modele de embedding pentru a determina limitele bazate pe semnificație. De asemenea, oferă un ingestor pentru baze de date vectoriale pentru a automatiza generarea embedding-urilor și exportul acestora către diverse stocuri. Biblioteca acoperă o gamă largă de capabilități, inclusiv parsarea documentelor prin OCR și extragerea markdown, o varietate de metode de segmentare precum numărarea token-urilor și segmentarea ierarhică, și orchestrarea fluxului de lucru prin pipeline-uri reutilizabile. Suportă o gamă largă de integrări cu vector store-uri, inclusiv Qdrant, Milvus, Weaviate și Elasticsearch, precum și exportul datelor către JSON și seturi de date Hugging Face. Utilizatorii pot executa aceste operațiuni printr-o interfață în linie de comandă sau pot implementa sistemul ca serviciu API containerizat.