Awesome GitHub RepositoriesUnified Model Interfaces

Pi is an autonomous coding agent and framework for building AI agents capable of executing independent loops. It functions as an agent state management system that tracks and persists tool calls throughout complex workflows, utilizing a command-line interface for interaction and control. The system features a self-extensible design, allowing agents to write and implement new capabilities and tools into their own runtime environment. It also includes a provider-agnostic abstraction layer that standardizes interactions across different large language model providers through a unified API. The

Hutool is a comprehensive suite of Java extensions designed to serve as a standard library extension. Its primary purpose is to reduce development boilerplate for common programming tasks and data manipulation through a collection of utility classes. The project provides specialized toolkits for database management using active record patterns and connection pooling, as well as network communication via a simplified HTTP client and asynchronous socket management. It includes security and identity capabilities such as symmetric and asymmetric encryption, image captcha generation, and JWT token

Llama-stack es un stack de orquestación estandarizado y una puerta de enlace de API para IA generativa. Proporciona una capa de comunicación unificada y una interfaz consistente para desplegar, gestionar e interactuar con varios proveedores y despliegues de modelos de lenguaje de gran tamaño. El sistema funciona como un framework de agentes que gestiona la ejecución de herramientas y paquetes de habilidades versionados para automatizar tareas complejas. Incluye un sistema de procesamiento por lotes para manejar grandes volúmenes de solicitudes asíncronas mediante procesamiento offline y una interfaz de base de datos vectorial para almacenar y buscar documentos, permitiendo la generación aumentada por recuperación (RAG). El stack cubre capacidades de alto nivel, incluyendo la orquestación de agentes de IA, el despliegue de modelos y la estandarización de APIs de modelos para permitir el cambio entre proveedores sin reescribir el código de la aplicación.

Agent Squad is a multi-agent system orchestrator and language model agent orchestration framework. It serves as an AI workflow automation engine and tool integration layer designed to coordinate teams of specialized agents to solve complex tasks through routing, parallel execution, and state management. The project is distinguished by its ability to dynamically compose purpose-specific agents on-demand and route requests based on intent, language, or domain expertise. It supports advanced coordination patterns, including parallel subtask distribution, sequential task pipelines, and the abilit

Manifest is a language model provider unification system that standardizes access to multiple AI backends through a single interface. It functions as a centralized management layer for integrating various cloud-based and local model providers to simplify how applications request completions. The system provides intelligent model routing and high availability infrastructure by directing queries based on complexity and automatically triggering model fallbacks when a primary provider fails. It distinguishes itself through multi-tenant AI management, organizing agents into isolated groups with de

Guardrails is a Python SDK that wraps calls to large language models with configurable validation pipelines, corrective actions, and structured output generation. It provides a unified API layer that connects to over 100 language models, applying consistent validation, streaming, and error-handling across providers. The framework validates and corrects model responses against safety and quality rules, detecting and mitigating risks in both inputs and outputs using pre-built and custom validators. The project distinguishes itself through a validator-pipeline architecture that sequentially appl

SpringBlade is a development framework and platform designed for building multi-tenant SaaS applications. It provides a comprehensive scaffold for both Spring Cloud microservices and monolithic Spring Boot architectures, enabling the rapid construction of enterprise-grade software. The platform distinguishes itself through integrated LLM orchestration and industrial IoT management. It features an LLM orchestration platform that combines large language models with knowledge bases and visual AI agent workflows, alongside an IoT hub for device connectivity, state synchronization, and edge flow o

Swarms es un framework de orquestación multi-agente y un kit de herramientas de agentes autónomos diseñado para coordinar agentes de modelos de lenguaje de gran tamaño. Sirve como un motor de flujo de trabajo para gestionar las relaciones entre agentes, proporcionando la infraestructura para construir agentes autónomos con memoria integrada, capacidades de llamada a herramientas y bucles de razonamiento. El framework se distingue por sus sistemas de consenso multi-agente, que utilizan votación, debates adversarios y agentes jueces para sintetizar respuestas de alta calidad. Admite una variedad de patrones de colaboración, incluidas jerarquías de director-trabajador, síntesis de expertos y generación automática de arquitectura de enjambre basada en descripciones en lenguaje natural. El sistema cubre una amplia gama de capacidades operativas, incluida la orquestación de flujo de trabajo secuencial y basada en grafos a través de un lenguaje específico de dominio, interfaz unificada para diversos proveedores de modelos e integración con el Protocolo de Contexto de Modelo (Model Context Protocol) para el descubrimiento dinámico de herramientas. También incluye soporte para generación aumentada por recuperación (RAG), memoria persistente de estado y la capacidad de exponer la funcionalidad del agente como servicios web. El proyecto proporciona una interfaz de línea de comandos para la gestión de agentes y admite la configuración a través de YAML y archivos de habilidades markdown modulares.

This project is a multimodal AI proxy and content generation hub that provides a unified web interface for interacting with multiple large language models and generative AI services. It functions as a secure API access gateway, routing requests from a single dashboard to various external AI backends using configurable base URLs and API keys. The platform is delivered as a cross-platform progressive web application, allowing for installation on Linux, Windows, and MacOS. It distinguishes itself by consolidating text, image, audio, and video generative controls into a standardized interface, su

Wenda es una plataforma de orquestación de LLM y motor de flujo de trabajo personalizado diseñado para gestionar múltiples backends de modelos de lenguaje a través de una interfaz unificada. Funciona como una puerta de enlace de IA autohospedada que permite la ejecución de secuencias de tareas complejas y flujos de conversación automatizados. El sistema utiliza plugins de JavaScript para orquestar flujos de trabajo y activar llamadas a APIs externas. Admite generación aumentada por recuperación (RAG) inyectando datos relevantes desde almacenes vectoriales y archivos offline en los prompts para aumentar la precisión de las respuestas. La plataforma está construida para despliegues en redes privadas, con gestión de acceso multiusuario y la capacidad de ejecutar modelos de código abierto cuantizados para ajustarse a restricciones de hardware específicas. También incluye seguimiento de historial basado en sesiones para mantener el contexto conversacional.

Genkit es un framework de aplicaciones LLM y un toolkit para desarrolladores de IA generativa diseñado para construir aplicaciones de IA en producción. Sirve como un orquestador de flujos de trabajo de IA que coordina llamadas a modelos y el uso de herramientas agenticas a través de flujos de ejecución con seguridad de tipos. El proyecto proporciona una interfaz de modelo unificada y una arquitectura de plugins para estandarizar el acceso a diversos modelos de lenguaje grandes, almacenes vectoriales y backends de telemetría. Se distingue por una suite de observabilidad dedicada para rastrear pasos de ejecución y un toolkit para desarrolladores para realizar prompts, depurar y evaluar la lógica de IA a través de una interfaz local. El framework cubre una amplia superficie de capacidades, incluyendo orquestación de agentes con llamadas a herramientas y delegación de sub-agentes, generación aumentada por recuperación (RAG) mediante integración con bases de datos vectoriales y generación de salida estructurada usando validación basada en esquemas. También incluye sistemas para la gestión de sesiones con estado, streaming de respuestas basado en eventos y la capacidad de exponer flujos de IA como endpoints HTTP escalables. El desarrollo cuenta con soporte de una interfaz de línea de comandos para ejecutar funciones y gestionar logs.

Helicone is an AI gateway and observability platform designed to intercept, manage, and monitor interactions with large language models. By acting as a reverse-proxy, it provides a centralized layer for routing requests across multiple AI providers, allowing developers to maintain consistent application logic while gaining deep visibility into model performance, usage, and costs. The platform distinguishes itself through a robust suite of traffic management and prompt engineering tools. It enables policy-driven control, including automatic failover between providers, rate limiting, and edge-b

TaskingAI es un orquestador de agentes de IA y plataforma de aplicaciones utilizada para construir, desplegar y escalar aplicaciones nativas de IA. Funciona como un backend multi-inquilino como servicio (BaaS), proporcionando la infraestructura para alojar y gestionar instancias de agentes de IA independientes a través de múltiples usuarios u organizaciones en una arquitectura compartida. La plataforma cuenta con un constructor de flujos de trabajo visual y una consola de gestión de proyectos, permitiendo a los usuarios configurar la lógica del agente y probar flujos de trabajo de conversación a través de una interfaz gráfica antes de moverlos a un entorno de producción. El sistema orquesta modelos de lenguaje grandes estandarizando las interacciones a través de proveedores en la nube y locales mediante una interfaz unificada. Admite la generación aumentada por recuperación (RAG) integrando fuentes de datos externas y plugins de búsqueda en los flujos de trabajo del modelo. Las capacidades adicionales incluyen gestión de sesiones con estado para rastrear el historial de conversaciones y una arquitectura basada en plugins para extender las herramientas del agente.

AIOS is an LLM agent operating system and orchestration kernel designed to manage memory, resource scheduling, and tool execution for multiple autonomous AI agents. It serves as a comprehensive framework for developing and deploying agents, featuring a dedicated resource manager that coordinates model backends, GPU memory, and isolated kernel instances. The system distinguishes itself through a semantic memory engine that uses vector search and autonomous clustering for long-term knowledge management, and a semantic file system that allows users to control computer files and system operations

Plano is an AI agent orchestrator and LLM gateway proxy that unifies access to multiple AI providers through a single interoperable interface. It functions as a model routing engine that decouples applications from specific vendors using semantic aliases, allowing traffic to be shifted between providers without modifying application code. The system distinguishes itself with intent-based agent routing, which directs prompts to specialized agents based on semantic analysis. It features an interceptor-based filter chain system that acts as guardrail middleware to enforce safety policies, rewrit

Promptify is a suite of tools designed for model evaluation, prompt management, token cost tracking, structured extraction, and unified API gateway access. It provides a standardized interface to manage requests and responses across multiple large language model providers. The project features a prompt management platform for engineering and versioning prompts with structured output validation. It includes a dedicated evaluation framework to measure model performance using precision, recall, and f1 scores against labeled datasets, alongside a token cost tracker to monitor the financial expens

Aigcpanel is a visual workflow automation tool and model lifecycle manager designed for generative AI media pipelines. It provides a unified interface to install, launch, and configure both local and remote AI model endpoints, acting as an orchestration platform for large language models and AI tools. The system features a drag-and-drop node editor for chaining AI models and scripts into automated processing pipelines. It distinguishes itself with a breakpoint-aware execution model that allows users to pause and resume long media tasks from specific points in the workflow. Additionally, it in

LazyLLM is a multi-agent framework and orchestration engine designed for building complex AI applications. It provides a system for chaining large language models into sequential or parallel pipelines, utilizing a tool registry to convert standard functions into discoverable tools that models can invoke via reasoning. The project features an application deployment kit that enables hosting model workflows as web services with integrated chat interfaces and API gateways. It includes an infrastructure abstraction layer that allows users to switch between bare-metal servers, clusters, and public

Koog is an LLM agent framework used to build autonomous entities that execute tool-based workflows. It utilizes a graph-based workflow engine to define agent behaviors and decision paths as a directed graph of nodes and edges. The framework distinguishes itself through a model provider orchestrator that enables dynamic switching, load balancing, and automatic fallbacks between different AI backends. It implements the Model Context Protocol to connect agents to remote tool servers and features a RAG memory system using vector embeddings to maintain long-term conversation context. The project

This project is a comprehensive framework for building, evaluating, and connecting autonomous agent systems. It provides a library of standardized architectural patterns for implementing complex agent workflows, including multi-agent orchestration, iterative reasoning, and memory management. By offering a unified interface for model providers, the framework allows for consistent agent execution across different artificial intelligence services. The framework distinguishes itself through a focus on rigorous benchmarking and deterministic control. It includes a suite of tools for evaluating age