Awesome GitHub RepositoriesEmbedding Pipelines

Chroma is a specialized vector database designed to index and retrieve high-dimensional data representations for semantic similarity search. It functions as a comprehensive platform for information retrieval, enabling the storage and management of unstructured documents alongside structured metadata. By mapping data into numerical representations, the system facilitates rapid similarity lookups across large datasets. The platform distinguishes itself through a hybrid search infrastructure that combines dense vector embeddings with sparse keyword and regular expression matching to balance sema

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

pgai es un kit de herramientas y framework de IA para PostgreSQL diseñado para integrar modelos de lenguaje de gran tamaño (LLM) y embeddings vectoriales directamente en la base de datos. Actúa como un puente para ejecutar solicitudes de modelos de machine learning y realizar traducciones de texto a SQL dentro de consultas estándar de base de datos. El proyecto proporciona un pipeline automatizado de embeddings vectoriales que gestiona la carga, el análisis y la fragmentación de texto desde tablas y documentos no estructurados. Este sistema utiliza un worker en segundo plano para sincronizar los embeddings automáticamente a medida que cambian los datos de origen e incluye herramientas especializadas para crear aplicaciones de generación aumentada por recuperación (RAG) y motores de búsqueda semántica. El kit de herramientas cubre amplias áreas de capacidad, incluyendo el procesamiento de datos no estructurados con OCR, la creación de catálogos semánticos para mapear esquemas de bases de datos a lenguaje natural, y la implementación de búsquedas de similitud de alto rendimiento mediante indexación vectorial y reordenamiento de resultados. También permite el enriquecimiento de datos, la clasificación y la moderación de contenido llamando a modelos externos mediante SQL.