Awesome GitHub RepositoriesUnified Model Interfaces

Pi is an autonomous coding agent and framework for building AI agents capable of executing independent loops. It functions as an agent state management system that tracks and persists tool calls throughout complex workflows, utilizing a command-line interface for interaction and control. The system features a self-extensible design, allowing agents to write and implement new capabilities and tools into their own runtime environment. It also includes a provider-agnostic abstraction layer that standardizes interactions across different large language model providers through a unified API. The

Hutool is a comprehensive suite of Java extensions designed to serve as a standard library extension. Its primary purpose is to reduce development boilerplate for common programming tasks and data manipulation through a collection of utility classes. The project provides specialized toolkits for database management using active record patterns and connection pooling, as well as network communication via a simplified HTTP client and asynchronous socket management. It includes security and identity capabilities such as symmetric and asymmetric encryption, image captcha generation, and JWT token

Llama-stack est une pile d'orchestration standardisée et une passerelle API pour l'IA générative. Il fournit une couche de communication unifiée et une interface cohérente pour déployer, gérer et interagir avec divers fournisseurs et déploiements de grands modèles de langage (LLM). Le système fonctionne comme un framework d'agents qui gère l'exécution des outils et des bundles de compétences versionnés pour automatiser des tâches complexes. Il inclut un système de traitement par lots pour gérer de grands volumes de requêtes asynchrones via un traitement hors ligne et une interface de base de données vectorielle pour stocker et rechercher des documents afin de permettre la génération augmentée par récupération (RAG). La pile couvre des capacités de haut niveau, notamment l'orchestration d'agents IA, le déploiement de modèles et la standardisation des API de modèles pour permettre de basculer entre les fournisseurs sans réécrire le code de l'application.

Agent Squad is a multi-agent system orchestrator and language model agent orchestration framework. It serves as an AI workflow automation engine and tool integration layer designed to coordinate teams of specialized agents to solve complex tasks through routing, parallel execution, and state management. The project is distinguished by its ability to dynamically compose purpose-specific agents on-demand and route requests based on intent, language, or domain expertise. It supports advanced coordination patterns, including parallel subtask distribution, sequential task pipelines, and the abilit

Manifest is a language model provider unification system that standardizes access to multiple AI backends through a single interface. It functions as a centralized management layer for integrating various cloud-based and local model providers to simplify how applications request completions. The system provides intelligent model routing and high availability infrastructure by directing queries based on complexity and automatically triggering model fallbacks when a primary provider fails. It distinguishes itself through multi-tenant AI management, organizing agents into isolated groups with de

Guardrails is a Python SDK that wraps calls to large language models with configurable validation pipelines, corrective actions, and structured output generation. It provides a unified API layer that connects to over 100 language models, applying consistent validation, streaming, and error-handling across providers. The framework validates and corrects model responses against safety and quality rules, detecting and mitigating risks in both inputs and outputs using pre-built and custom validators. The project distinguishes itself through a validator-pipeline architecture that sequentially appl

SpringBlade is a development framework and platform designed for building multi-tenant SaaS applications. It provides a comprehensive scaffold for both Spring Cloud microservices and monolithic Spring Boot architectures, enabling the rapid construction of enterprise-grade software. The platform distinguishes itself through integrated LLM orchestration and industrial IoT management. It features an LLM orchestration platform that combines large language models with knowledge bases and visual AI agent workflows, alongside an IoT hub for device connectivity, state synchronization, and edge flow o

Swarms est un framework d'orchestration multi-agents et une boîte à outils d'agents autonomes conçue pour coordonner des agents de grands modèles de langage. Il sert de moteur de flux de travail pour gérer les relations entre agents, fournissant l'infrastructure pour construire des agents autonomes avec une mémoire intégrée, des capacités d'appel d'outils et des boucles de raisonnement. Le framework se distingue par ses systèmes de consensus multi-agents, qui utilisent le vote, les débats contradictoires et des agents juges pour synthétiser des réponses de haute qualité. Il prend en charge une variété de modèles de collaboration, y compris les hiérarchies directeur-travailleur, la synthèse d'experts et la génération d'architecture d'essaim automatisée basée sur des descriptions en langage naturel. Le système couvre un large éventail de capacités opérationnelles, y compris l'orchestration de flux de travail basée sur des graphes et séquentielle via un langage spécifique au domaine, une interface unifiée pour divers fournisseurs de modèles et l'intégration avec le protocole de contexte de modèle pour la découverte dynamique d'outils. Il inclut également un support pour la génération augmentée par récupération, la mémoire persistante d'état et la capacité d'exposer la fonctionnalité d'agent en tant que services web. Le projet fournit une interface en ligne de commande pour la gestion des agents et prend en charge la configuration via YAML et des fichiers de compétences markdown modulaires.

This project is a multimodal AI proxy and content generation hub that provides a unified web interface for interacting with multiple large language models and generative AI services. It functions as a secure API access gateway, routing requests from a single dashboard to various external AI backends using configurable base URLs and API keys. The platform is delivered as a cross-platform progressive web application, allowing for installation on Linux, Windows, and MacOS. It distinguishes itself by consolidating text, image, audio, and video generative controls into a standardized interface, su

Wenda est une plateforme d'orchestration LLM et un moteur de workflow personnalisé conçu pour gérer plusieurs backends de modèles de langage via une interface unifiée. Il fonctionne comme une passerelle IA auto-hébergée qui permet l'exécution de séquences de tâches complexes et de flux de conversation automatisés. Le système utilise des plugins JavaScript pour orchestrer les workflows et déclencher des appels API externes. Il prend en charge la génération augmentée par récupération (RAG) en injectant des données pertinentes provenant de bases de données vectorielles et de fichiers hors ligne dans les prompts pour augmenter la précision des réponses. La plateforme est conçue pour des déploiements sur réseau privé, avec une gestion des accès multi-utilisateurs et la capacité d'exécuter des modèles open source quantifiés pour s'adapter à des contraintes matérielles spécifiques. Elle inclut également un suivi d'historique basé sur les sessions pour maintenir le contexte conversationnel.

Genkit est un framework d'application LLM et un toolkit pour développeurs d'IA générative conçu pour construire des applications d'IA en production. Il sert d'orchestrateur de workflow d'IA qui coordonne les appels de modèles et l'utilisation d'outils agentiques via des flux d'exécution typés. Le projet fournit une interface de modèle unifiée et une architecture de plugin pour standardiser l'accès à divers grands modèles de langage, bases de données vectorielles et backends de télémétrie. Il se distingue par une suite d'observabilité dédiée pour tracer les étapes d'exécution et un toolkit développeur pour le prompting, le débogage et l'évaluation de la logique d'IA via une interface locale. Le framework couvre une large surface de fonctionnalités, notamment l'orchestration d'agents avec appel d'outils et délégation de sous-agents, la génération augmentée par récupération (RAG) via l'intégration de bases de données vectorielles, et la génération de sortie structurée utilisant une validation basée sur des schémas. Il inclut également des systèmes pour la gestion de session avec état, le streaming de réponses basé sur des événements, et la capacité d'exposer les flux d'IA en tant qu'endpoints HTTP scalables. Le développement est soutenu par une interface en ligne de commande pour exécuter des fonctions et gérer les logs.

Helicone is an AI gateway and observability platform designed to intercept, manage, and monitor interactions with large language models. By acting as a reverse-proxy, it provides a centralized layer for routing requests across multiple AI providers, allowing developers to maintain consistent application logic while gaining deep visibility into model performance, usage, and costs. The platform distinguishes itself through a robust suite of traffic management and prompt engineering tools. It enables policy-driven control, including automatic failover between providers, rate limiting, and edge-b

TaskingAI est un orchestrateur d'agents IA et une plateforme d'application utilisée pour construire, déployer et mettre à l'échelle des applications natives IA. Il fonctionne comme un backend multi-tenant en tant que service, fournissant l'infrastructure pour héberger et gérer des instances d'agents IA indépendants à travers plusieurs utilisateurs ou organisations sur une architecture partagée. La plateforme dispose d'un constructeur de workflow visuel et d'une console de gestion de projet, permettant aux utilisateurs de configurer la logique des agents et de tester les workflows de conversation via une interface graphique avant de les passer en environnement de production. Le système orchestre les grands modèles de langage en standardisant les interactions entre les fournisseurs cloud et locaux via une interface unifiée. Il prend en charge la génération augmentée par récupération (RAG) en intégrant des sources de données externes et des plugins de recherche dans les workflows des modèles. Les capacités supplémentaires incluent la gestion de session avec état pour suivre l'historique des conversations et une architecture basée sur des plugins pour étendre les outils des agents.

AIOS is an LLM agent operating system and orchestration kernel designed to manage memory, resource scheduling, and tool execution for multiple autonomous AI agents. It serves as a comprehensive framework for developing and deploying agents, featuring a dedicated resource manager that coordinates model backends, GPU memory, and isolated kernel instances. The system distinguishes itself through a semantic memory engine that uses vector search and autonomous clustering for long-term knowledge management, and a semantic file system that allows users to control computer files and system operations

Plano is an AI agent orchestrator and LLM gateway proxy that unifies access to multiple AI providers through a single interoperable interface. It functions as a model routing engine that decouples applications from specific vendors using semantic aliases, allowing traffic to be shifted between providers without modifying application code. The system distinguishes itself with intent-based agent routing, which directs prompts to specialized agents based on semantic analysis. It features an interceptor-based filter chain system that acts as guardrail middleware to enforce safety policies, rewrit

Promptify est une suite d'outils conçue pour l'évaluation de modèles, la gestion de prompts, le suivi des coûts de jetons (tokens), l'extraction structurée et l'accès via une passerelle API unifiée. Elle fournit une interface standardisée pour gérer les requêtes et les réponses à travers plusieurs fournisseurs de grands modèles de langage. Le projet propose une plateforme de gestion de prompts pour l'ingénierie et le versionnage de prompts avec validation de sortie structurée. Il inclut un framework d'évaluation dédié pour mesurer la performance du modèle en utilisant les scores de précision, de rappel et F1 par rapport à des jeux de données étiquetés, ainsi qu'un suivi des coûts de jetons pour surveiller les dépenses financières des requêtes de modèle. La bibliothèque couvre de larges capacités pour le traitement du langage naturel, incluant l'extraction d'entités nommées, la classification de texte et la réponse aux questions. Elle prend en charge les workflows à haut volume via le traitement par lots asynchrone et assure la cohérence des données en convertissant le texte non structuré en structures de données typées via la validation de schéma.

Aigcpanel is a visual workflow automation tool and model lifecycle manager designed for generative AI media pipelines. It provides a unified interface to install, launch, and configure both local and remote AI model endpoints, acting as an orchestration platform for large language models and AI tools. The system features a drag-and-drop node editor for chaining AI models and scripts into automated processing pipelines. It distinguishes itself with a breakpoint-aware execution model that allows users to pause and resume long media tasks from specific points in the workflow. Additionally, it in

LazyLLM is a multi-agent framework and orchestration engine designed for building complex AI applications. It provides a system for chaining large language models into sequential or parallel pipelines, utilizing a tool registry to convert standard functions into discoverable tools that models can invoke via reasoning. The project features an application deployment kit that enables hosting model workflows as web services with integrated chat interfaces and API gateways. It includes an infrastructure abstraction layer that allows users to switch between bare-metal servers, clusters, and public

Koog is an LLM agent framework used to build autonomous entities that execute tool-based workflows. It utilizes a graph-based workflow engine to define agent behaviors and decision paths as a directed graph of nodes and edges. The framework distinguishes itself through a model provider orchestrator that enables dynamic switching, load balancing, and automatic fallbacks between different AI backends. It implements the Model Context Protocol to connect agents to remote tool servers and features a RAG memory system using vector embeddings to maintain long-term conversation context. The project

Ce projet est un framework complet pour construire, évaluer et connecter des systèmes d'agents autonomes. Il fournit une bibliothèque de modèles architecturaux standardisés pour implémenter des workflows d'agents complexes, y compris l'orchestration multi-agents, le raisonnement itératif et la gestion de la mémoire. En offrant une interface unifiée pour les fournisseurs de modèles, le framework permet une exécution cohérente des agents à travers différents services d'intelligence artificielle. Le framework se distingue par une focalisation sur le benchmarking rigoureux et le contrôle déterministe. Il inclut une suite d'outils pour évaluer la performance des agents par rapport à des tâches standardisées et des métriques de qualité, permettant la comparaison de différents modèles de conception. Pour garantir la fiabilité, le système intègre des portes de routage déterministes et des boucles d'auto-correction qui valident les actions des agents et affinent les sorties par rapport aux critères de qualité avant l'exécution externe. L'architecture prend en charge un large éventail de capacités, y compris l'intégration d'outils pour l'accomplissement de tâches dans le monde réel, la génération augmentée par récupération (RAG) pour des réponses sensibles au contexte, et la gestion modulaire de la mémoire pour maintenir l'information à travers les sessions. Ces composants sont liés par un contrat d'exécution standardisé qui garantit un comportement cohérent indépendamment du modèle sous-jacent ou de la configuration architecturale spécifique. Le dépôt est structuré comme une collection de Jupyter Notebooks qui démontrent ces modèles et méthodologies de benchmarking.