Awesome GitHub RepositoriesAutomatic Tool Executions

Spring AI is an application framework for Java that provides a portable, fluent API for integrating AI models, tools, and vector stores into applications. It wraps multiple AI providers behind a common interface, allowing developers to switch between chat, embedding, image, and speech models without changing application code. The framework includes a chainable chat client API similar to WebClient or RestClient, supports both synchronous and streaming interactions, and offers structured output conversion that transforms unstructured AI responses into strongly-typed Java objects. The framework

LiteRT-LM est un framework d'inférence haute performance conçu pour exécuter des grands modèles de langage localement sur du matériel mobile, desktop et IoT. Il sert de runtime de modèle sur appareil qui utilise l'accélération CPU, GPU et NPU pour fournir un traitement à faible latence. Le framework se distingue par sa capacité à traiter des entrées texte, vision et audio via un moteur d'inférence multi-modal unique. Il dispose d'un serveur HTTP local qui émule des endpoints d'API compatibles avec OpenAI et un runtime basé sur WebGPU pour exécuter des modèles directement dans un navigateur web. Pour garantir la fiabilité des sorties, il inclut un générateur de texte contraint qui impose des schémas JSON ou des règles grammaticales sur les réponses du modèle. Le projet offre de larges capacités pour la gestion de conversations stateful, le décodage spéculatif pour augmenter les vitesses de génération de jetons, et une interface d'appel d'outils qui mappe les requêtes du modèle vers des fonctions externes. Il inclut également une intégration spécialisée pour l'écosystème Apple et un plugin dédié pour exécuter des modèles dans Flutter. Les utilisateurs peuvent exécuter des modèles via une interface en ligne de commande ou les intégrer dans des applications via des API natives.

This project is a Python software development kit and framework for building applications that integrate with large language models. It serves as a multimodal content generator and vector embedding library, enabling the production and editing of text, images, audio, and video. The toolkit provides specialized capabilities for adapting base models through supervised and reinforcement training. It further distinguishes itself by offering tools for orchestrating complex workflows, including stateful chat sessions, the enforcement of structured output via schemas, and the integration of external