Awesome GitHub RepositoriesLLM Token Counters

PraisonAI is an autonomous AI agent platform that coordinates multiple LLM-powered agents for research, planning, and execution of complex workflows. It functions as a multi-agent orchestration framework, a workflow builder, and a Model Context Protocol server, while also providing retrieval-augmented generation through vector knowledge bases. Agents can interact via CLI, web, or standardized protocols with sandboxed code execution. The platform distinguishes itself with a rich set of agent communication protocols, including A2A, REST, WebSocket, voice and telephony integration, and MCP, allo

llm-numbers هي مجموعة من أدوات الحساب والمعايير المستخدمة للتنبؤ بمتطلبات الأجهزة، واستخدام الرموز، والتكاليف التشغيلية عبر مستويات النماذج المختلفة. توفر حاسبة للتكلفة والموارد بناءً على صيغ ومعايير لتقدير الرموز، وذاكرة GPU، والنفقات التشغيلية لنماذج اللغة الكبيرة. يتضمن المشروع مخططاً لمتطلبات الأجهزة لحساب VRAM وذاكرة GPU اللازمة لاستضافة النماذج بناءً على عدد المعلمات. كما يتميز بمقدر للرموز يحول عدد الكلمات إلى تقديرات رموز للتنبؤ بفواتير واجهة برمجة التطبيقات واستخدام نافذة السياق، إلى جانب معايير التسعير التي تقارن التكاليف ومقايضات الإنتاجية بين طرق الاستضافة المختلفة. تغطي مجموعة الأدوات قياس أداء نماذج الذكاء الاصطناعي وتوقعات التكلفة، وتخطيط موارد GPU، وتحليل الأداء لقياس مكاسب الإنتاجية من التجميع (batching). تستخدم صيغاً حتمية ومجموعات بيانات معيارية ثابتة لتعيين المعلمات إلى الذاكرة وحساب نسب التكلفة والعائد بين النماذج الأساسية والضبط الدقيق.

This is a Python SDK for interacting with large language models via API. It serves as a client library to generate text, process messages, and manage conversational states, while providing a specialized interface for connecting to models hosted across different cloud infrastructure providers. The SDK includes a tool-calling framework that maps Python functions to JSON schemas, allowing models to execute external tools. It also features a built-in token counting utility to estimate input size before transmission and a server-sent events client for receiving model tokens in real time. The libr

Oracle is an LLM API gateway client and prompt orchestrator designed to route requests between official API endpoints and automated web browser channels. It functions as a context manager and session logger, bundling local files and prompts into requests while maintaining a history of interactions. The system distinguishes itself through a request router that can redirect traffic to alternate endpoints, such as self-hosted gateways or proxy services. It includes a token estimator that calculates request size and predicts costs using local summaries without making network calls. The project p