Awesome GitHub RepositoriesEmbedding Pipelines

Chroma is a specialized vector database designed to index and retrieve high-dimensional data representations for semantic similarity search. It functions as a comprehensive platform for information retrieval, enabling the storage and management of unstructured documents alongside structured metadata. By mapping data into numerical representations, the system facilitates rapid similarity lookups across large datasets. The platform distinguishes itself through a hybrid search infrastructure that combines dense vector embeddings with sparse keyword and regular expression matching to balance sema

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

pgai est une boîte à outils et un framework d'IA pour PostgreSQL conçu pour intégrer des modèles de langage (LLM) et des embeddings vectoriels directement dans une base de données. Il sert de pont pour exécuter des requêtes de modèles de machine learning et effectuer des traductions texte-vers-SQL au sein de requêtes de base de données standard. Le projet fournit un pipeline automatisé d'embedding vectoriel qui gère le chargement, l'analyse et le découpage de texte provenant de tables et de documents non structurés. Ce système utilise un processus d'arrière-plan pour synchroniser automatiquement les embeddings à mesure que les données sources changent et inclut des outils spécialisés pour construire des applications de génération augmentée par récupération (RAG) et des moteurs de recherche sémantique. La boîte à outils couvre de vastes domaines de fonctionnalités, notamment le traitement de données non structurées avec OCR, la création de catalogues sémantiques pour mapper les schémas de base de données au langage naturel, et l'implémentation de recherches de similarité haute performance via l'indexation vectorielle et le reranking des résultats. Elle permet également l'enrichissement de données, la classification et la modération de contenu en appelant des modèles externes via SQL.