Awesome GitHub RepositoriesLLM Token Counters

PraisonAI is an autonomous AI agent platform that coordinates multiple LLM-powered agents for research, planning, and execution of complex workflows. It functions as a multi-agent orchestration framework, a workflow builder, and a Model Context Protocol server, while also providing retrieval-augmented generation through vector knowledge bases. Agents can interact via CLI, web, or standardized protocols with sandboxed code execution. The platform distinguishes itself with a rich set of agent communication protocols, including A2A, REST, WebSocket, voice and telephony integration, and MCP, allo

llm-numbers ist eine Reihe von Berechnungstools und Benchmarks, die verwendet werden, um Hardwareanforderungen, Token-Nutzung und Betriebskosten über verschiedene Modellstufen hinweg vorherzusagen. Es bietet einen Kosten- und Ressourcenrechner basierend auf Formeln und Benchmarks, um Tokens, GPU-Speicher und Betriebsausgaben für Large Language Models zu schätzen. Das Projekt enthält einen Hardware-Anforderungsplaner zur Berechnung des VRAM- und GPU-Speichers, der zum Hosten von Modellen basierend auf Parameteranzahlen benötigt wird. Es bietet zudem einen Token-Schätzer, der Wortanzahlen in Token-Schätzungen umwandelt, um API-Abrechnungen und Kontextfensternutzung vorherzusagen, neben Preis-Benchmarks, die Kosten- und Durchsatz-Kompromisse zwischen verschiedenen Hosting-Methoden vergleichen. Das Toolset deckt KI-Modell-Benchmarking und Kostenprognosen, GPU-Ressourcenplanung und Leistungsanalyse zur Messung von Durchsatzgewinnen durch Batching ab. Es nutzt deterministische Formeln und statische Benchmark-Datensätze, um Parameter auf Speicher abzubilden und die Kosten-Nutzen-Verhältnisse zwischen Basismodellen und Fine-Tuning zu berechnen.

This is a Python SDK for interacting with large language models via API. It serves as a client library to generate text, process messages, and manage conversational states, while providing a specialized interface for connecting to models hosted across different cloud infrastructure providers. The SDK includes a tool-calling framework that maps Python functions to JSON schemas, allowing models to execute external tools. It also features a built-in token counting utility to estimate input size before transmission and a server-sent events client for receiving model tokens in real time. The libr

Oracle is an LLM API gateway client and prompt orchestrator designed to route requests between official API endpoints and automated web browser channels. It functions as a context manager and session logger, bundling local files and prompts into requests while maintaining a history of interactions. The system distinguishes itself through a request router that can redirect traffic to alternate endpoints, such as self-hosted gateways or proxy services. It includes a token estimator that calculates request size and predicts costs using local summaries without making network calls. The project p