2 dépôts
Saving model internal deliberation steps and thinking process data for auditing and cost analysis.
Distinct from Data Persistence: Targets the persistence of 'thinking' tokens and reasoning traces specifically, not general application state
Explore 2 awesome GitHub repositories matching data & databases · Reasoning. Refine with filters or upvote what's useful.
Kiln est un atelier de développement LLM et un framework d'évaluation conçu pour concevoir, tester et optimiser des prompts et des agents IA. Il fonctionne comme un orchestrateur multi-agents et un outil d'optimisation RAG, fournissant une interface visuelle pour le développement itératif de systèmes IA. Le projet se distingue par un pipeline d'affinage complet qui prend en charge l'entraînement de modèle sans code et la distillation de raisonnement. Il permet la création de systèmes multi-agents hiérarchiques où des acteurs spécialisés se coordonnent via l'appel d'outils, et il implémente un serveur de protocole de contexte de modèle (Model Context Protocol) pour exposer ces agents et capacités de recherche en tant qu'outils standardisés pour les clients externes. La plateforme couvre un large éventail de capacités, y compris la notation automatisée par juge IA pour l'assurance qualité, la génération de données synthétiques pour l'entraînement et l'évaluation, et la récupération hybride vecteur-mot-clé pour ancrer les réponses du modèle. Elle fournit également des outils pour l'évolution des prompts, l'audit de traces et la gestion de jeux de données collaboratifs via l'intégration Git. L'atelier est accessible via une API REST auto-hébergeable et une bibliothèque Python dédiée pour l'exécution de flux de travail programmatiques.
Saves model internal deliberation steps and thinking process data for auditing and evaluation.
ruby_llm is an LLM integration framework and AI agent orchestrator designed to connect applications to multiple large language model providers through a unified interface. It serves as a toolkit for building autonomous assistants with custom personas, managing structured output via JSON schemas, and implementing vector embedding engines for semantic search. The project distinguishes itself as an observability suite and multimodal toolkit. It provides specialized capabilities for tracking token usage, calculating model costs, and tracing workflows via OpenTelemetry, while supporting the proces
Saves reasoning output and token counts to a database for auditing and cost tracking.