Awesome GitHub RepositoriesMulti-Model Vector Storage

SurrealDB is a multi-model database engine designed to store and query document, graph, relational, and vector data within a single ACID-compliant platform. It functions as an AI-native data store, integrating vector search, graph traversal, and machine learning model execution directly into its query layer. By providing a unified declarative query language, the platform eliminates the need for external middleware to synchronize data across different storage models. The platform distinguishes itself through its ability to manage agent memory and complex workflows natively. It allows developer

PostgresML is a machine learning database extension for PostgreSQL that integrates model training and inference directly into the database. It functions as an in-database AI platform and vector database, enabling the execution of large language models and natural language processing tasks on stored records without exporting data to external services. The system distinguishes itself by utilizing GPU acceleration to minimize latency during model predictions and employing a hybrid storage engine that maintains relational data alongside high-dimensional vectors. It allows for the building and fin

Cocoindex is an incremental data processing engine that builds and maintains live indexes for AI agents, with a core focus on codebase indexing and knowledge graph extraction. The engine uses a function-graph execution model where user-defined Python functions are composed into a directed acyclic graph, and it processes data incrementally so only changed source records or code paths are re-computed, avoiding full recomputation at any scale. It supports automatic schema inference from transformation pipeline type annotations and provides full data lineage tracing, tagging every output record wi

Chonkie est une bibliothèque de découpage de texte conçue pour les pipelines de génération augmentée par récupération (RAG). Elle fonctionne comme un séparateur de texte sémantique et un pipeline d'ingestion RAG, transformant le texte brut en segments intégrés pour le stockage dans des bases de données vectorielles. Le projet se distingue par des stratégies de découpage spécialisées, incluant un séparateur de code basé sur AST pour préserver les limites logiques dans le code source et un séparateur de texte sémantique qui utilise des modèles d'embedding pour déterminer les limites basées sur le sens. Il fournit également un ingesteur de base de données vectorielle pour automatiser la génération d'embeddings et leur exportation vers divers magasins. La bibliothèque couvre un large éventail de capacités, incluant l'analyse de documents via OCR et l'extraction markdown, une variété de méthodes de découpage telles que le comptage de jetons et la segmentation hiérarchique, et l'orchestration de flux de travail via des pipelines réutilisables. Elle prend en charge un large éventail d'intégrations de magasins vectoriels, incluant Qdrant, Milvus, Weaviate et Elasticsearch, ainsi que l'exportation de données vers JSON et les jeux de données Hugging Face. Les utilisateurs peuvent exécuter ces opérations via une interface en ligne de commande ou déployer le système en tant que service API conteneurisé.