1 Repo
Awesome GitHub RepositoriesAI Tool Usage Analysis
Analysis of how AI agents utilize available tools, identifying unused or malformed calls.
Distinct from Variable Usage Analysis: None of the candidates cover the runtime analysis of AI tool call frequency and parameter correctness.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · AI Tool Usage Analysis. Refine with filters or upvote what's useful.
Awesome AI Tool Usage Analysis GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- latitude-dev/latitude-llm
latitude-dev/latitude-llm
4,145Auf GitHub ansehenDieses Projekt ist ein selbstgehosteter KI-Monitoring-Stack, der als LLM-Observability-Plattform, KI-Evaluierungs-Framework und OpenTelemetry-Trace-Analyzer fungiert. Es ist darauf ausgelegt, LLM-Traces, Sitzungen und Telemetrie zu erfassen und zu analysieren, um die Leistung von KI-Agenten zu überwachen. Die Plattform zeichnet sich als Model-Context-Protocol-Server aus, der Workspace-Funktionen als Tools für KI-Coding-Agenten bereitstellt. Sie ermöglicht die Umwandlung fehlerhafter Produktions-Traces in Testdatensätze für Regressionstests und nutzt semantisches Sitzungs-Clustering, um aufkommende Benutzerverhaltensmuster zu entdecken. Das System deckt breite Funktionsbereiche ab, einschließlich Telemetrieerfassung für Agenten-Ausführungspfade, automatisierte Evaluierungs-Scoring für Live-Traffic und semantische Suche zur Isolierung von Interaktionsmustern. Es bietet zudem Alarmierung bei Signal-Regressionen, Verhaltensanalyse bei Tool-Fehlern und PII-Redaktion für Telemetriedaten. Die Software kann auf privater Infrastruktur als Single-Host-Installation oder als skalierbarer Cluster mittels Docker Compose, Kubernetes oder Helm-Charts bereitgestellt werden.
Identifies unused or malformed tool calls by reviewing parameter frequency and call ratios.
TypeScript
