2 repository-uri
Awesome GitHub RepositoriesMulti-Vector Embedding Handlers
Processing typed multi-dimensional vectors natively, from simple arrays to multi-vector embeddings for multimodal AI pipelines.
Distinct from Multi-Model Vector Storage: Distinct from Multi-Model Vector Storage: focuses on native handling of multi-dimensional vectors and multi-vector embeddings, not just storage integration.
Explore 2 awesome GitHub repositories matching data & databases · Multi-Vector Embedding Handlers. Refine with filters or upvote what's useful.
Awesome Multi-Vector Embedding Handlers GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- cocoindex-io/cocoindex
cocoindex-io/cocoindex
6,117Vezi pe GitHubCocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi
Natively handles typed multi-dimensional vectors from simple arrays to multi-vector embeddings for multimodal AI pipelines.
Rustagentic-data-frameworkaiai-agents - chonkie-inc/chonkie
chonkie-inc/chonkie
4,170Vezi pe GitHubChonkie este o bibliotecă de chunking (segmentare) a textului concepută pentru pipeline-uri de retrieval-augmented generation (RAG). Funcționează ca un splitter semantic de text și un pipeline de ingestie RAG, transformând textul brut în segmente încorporate pentru stocare în baze de date vectoriale. Proiectul se distinge prin strategii de segmentare specializate, inclusiv un splitter de cod bazat pe AST pentru păstrarea limitelor logice în codul sursă și un splitter semantic de text care utilizează modele de embedding pentru a determina limitele bazate pe semnificație. De asemenea, oferă un ingestor pentru baze de date vectoriale pentru a automatiza generarea embedding-urilor și exportul acestora către diverse stocuri. Biblioteca acoperă o gamă largă de capabilități, inclusiv parsarea documentelor prin OCR și extragerea markdown, o varietate de metode de segmentare precum numărarea token-urilor și segmentarea ierarhică, și orchestrarea fluxului de lucru prin pipeline-uri reutilizabile. Suportă o gamă largă de integrări cu vector store-uri, inclusiv Qdrant, Milvus, Weaviate și Elasticsearch, precum și exportul datelor către JSON și seturi de date Hugging Face. Utilizatorii pot executa aceste operațiuni printr-o interfață în linie de comandă sau pot implementa sistemul ca serviciu API containerizat.
Automatically selects and instantiates embedding providers based on model names through a registered handler system.
Pythonaichonkiechunker
