2 repository-uri
Saving model internal deliberation steps and thinking process data for auditing and cost analysis.
Distinct from Data Persistence: Targets the persistence of 'thinking' tokens and reasoning traces specifically, not general application state
Explore 2 awesome GitHub repositories matching data & databases · Reasoning. Refine with filters or upvote what's useful.
Kiln este un workbench de dezvoltare LLM și un framework de evaluare conceput pentru proiectarea, testarea și optimizarea prompt-urilor și a agenților AI. Funcționează ca un orchestrator multi-agent și un instrument de optimizare RAG, oferind o interfață vizuală pentru dezvoltarea iterativă a sistemelor AI. Proiectul se distinge printr-un pipeline cuprinzător de fine-tuning care suportă antrenarea modelelor zero-code și distilarea raționamentului. Permite crearea de sisteme multi-agent ierarhice unde actorii specializați se coordonează prin apelarea instrumentelor și implementează un server Model Context Protocol pentru a expune acești agenți și capabilități de căutare ca instrumente standardizate pentru clienții externi. Platforma acoperă o gamă largă de capabilități, inclusiv notarea automată a judecătorilor AI pentru asigurarea calității, generarea de date sintetice pentru antrenare și evaluare și recuperarea hibridă vector-keyword pentru fundamentarea răspunsurilor modelului. Oferă, de asemenea, instrumente pentru evoluția prompt-urilor, auditarea urmelor (trace auditing) și gestionarea seturilor de date colaborative prin integrarea Git. Workbench-ul este accesibil printr-un REST API auto-găzduibil și o bibliotecă Python dedicată pentru execuția programatică a fluxurilor de lucru.
Saves model internal deliberation steps and thinking process data for auditing and evaluation.
ruby_llm is an LLM integration framework and AI agent orchestrator designed to connect applications to multiple large language model providers through a unified interface. It serves as a toolkit for building autonomous assistants with custom personas, managing structured output via JSON schemas, and implementing vector embedding engines for semantic search. The project distinguishes itself as an observability suite and multimodal toolkit. It provides specialized capabilities for tracking token usage, calculating model costs, and tracing workflows via OpenTelemetry, while supporting the proces
Saves reasoning output and token counts to a database for auditing and cost tracking.