Awesome GitHub RepositoriesAutomatic Tool Executions

Spring AI is an application framework for Java that provides a portable, fluent API for integrating AI models, tools, and vector stores into applications. It wraps multiple AI providers behind a common interface, allowing developers to switch between chat, embedding, image, and speech models without changing application code. The framework includes a chainable chat client API similar to WebClient or RestClient, supports both synchronous and streaming interactions, and offers structured output conversion that transforms unstructured AI responses into strongly-typed Java objects. The framework

LiteRT-LM este un framework de inferență de înaltă performanță conceput pentru a executa modele de limbaj mari local pe hardware mobil, desktop și IoT. Acesta servește ca un runtime de model on-device care utilizează accelerarea CPU, GPU și NPU pentru a oferi procesare cu latență scăzută. Framework-ul se distinge prin capacitatea sa de a procesa intrări de text, viziune și audio printr-un singur motor de inferență multimodal. Dispune de un server HTTP local care emulează endpoint-uri API compatibile cu OpenAI și un runtime bazat pe WebGPU pentru executarea modelelor direct într-un browser web. Pentru a asigura fiabilitatea output-ului, include un generator de text constrâns care impune scheme JSON sau reguli gramaticale asupra răspunsurilor modelului. Proiectul oferă capabilități largi pentru gestionarea conversațiilor stateful, decodare speculativă pentru viteze crescute de generare a token-urilor și o interfață de apelare a instrumentelor (tool-calling) care mapează cererile modelului către funcții externe. Include, de asemenea, integrare specializată pentru ecosistemul Apple și un plugin dedicat pentru rularea modelelor în Flutter. Utilizatorii pot executa modele printr-o interfață în linie de comandă (CLI) sau le pot integra în aplicații prin API-uri native.

This project is a Python software development kit and framework for building applications that integrate with large language models. It serves as a multimodal content generator and vector embedding library, enabling the production and editing of text, images, audio, and video. The toolkit provides specialized capabilities for adapting base models through supervised and reinforcement training. It further distinguishes itself by offering tools for orchestrating complex workflows, including stateful chat sessions, the enforcement of structured output via schemas, and the integration of external