Awesome GitHub RepositoriesCollaborative Dataset Management

FiftyOne es una herramienta visual para curar, analizar y gestionar datasets de imágenes y vídeos para el entrenamiento de modelos de machine learning. Sirve como plataforma para identificar errores de anotación, refinar etiquetas de verdad fundamental (ground truth) y evaluar el rendimiento de modelos de visión comparando predicciones contra la verdad fundamental para identificar modos de fallo. El sistema funciona como una plataforma de datos en contenedores que admite la colaboración en equipo en datasets visuales a gran escala en un entorno de nube. Incluye capacidades especializadas para explorar embeddings de alta dimensión para descubrir clusters de datos y recuperar muestras visuales correspondientes. La plataforma cubre una amplia gama de capacidades, incluyendo anotación de datos 2D y 3D, validación de calidad de datasets y exploración visual de datos. Se integra con frameworks de deep learning para mover datos desde la curación hasta el entrenamiento del modelo y utiliza un almacén de metadatos basado en documentos para gestionar las estructuras de los datasets.

Kiln es un workbench de desarrollo de LLM y framework de evaluación diseñado para diseñar, probar y optimizar prompts y agentes de IA. Funciona como un orquestador multi-agente y una herramienta de optimización RAG, proporcionando una interfaz visual para el desarrollo iterativo de sistemas de IA. El proyecto se distingue por un pipeline de fine-tuning integral que soporta entrenamiento de modelos sin código y destilación de razonamiento. Permite la creación de sistemas multi-agente jerárquicos donde actores especializados se coordinan mediante tool calling, e implementa un servidor de Model Context Protocol para exponer estos agentes y capacidades de búsqueda como herramientas estandarizadas para clientes externos. La plataforma cubre una amplia gama de capacidades, incluyendo puntuación automatizada por jueces de IA para control de calidad, generación de datos sintéticos para entrenamiento y evaluación, y recuperación híbrida vector-keyword para fundamentar las respuestas del modelo. También proporciona herramientas para la evolución de prompts, auditoría de trazas y gestión de datasets colaborativos mediante integración con Git. El workbench es accesible a través de una API REST autohospedable y una librería de Python dedicada para la ejecución programática de flujos de trabajo.