Awesome GitHub RepositoriesProgrammatic Model Invocation

ChatGLM-6B is a generative AI inference engine designed for local execution of transformer-based language models. It provides a comprehensive runtime environment that allows users to load and run pre-trained neural network weights directly on their own hardware, ensuring data privacy and independence from external cloud services. The project distinguishes itself through a hardware-agnostic execution backend that supports deployment across diverse environments, including standard processors, Apple Silicon, and multi-GPU configurations. It incorporates advanced optimization techniques such as w

Aigcpanel is a visual workflow automation tool and model lifecycle manager designed for generative AI media pipelines. It provides a unified interface to install, launch, and configure both local and remote AI model endpoints, acting as an orchestration platform for large language models and AI tools. The system features a drag-and-drop node editor for chaining AI models and scripts into automated processing pipelines. It distinguishes itself with a breakpoint-aware execution model that allows users to pause and resume long media tasks from specific points in the workflow. Additionally, it in

ollama-js est une bibliothèque cliente JavaScript et un wrapper API qui fournit une interface programmatique pour interagir avec et gérer des grands modèles de langage. Elle permet l'exécution de modèles dans des environnements locaux et basés sur le cloud, facilitant la génération de texte conversationnel et la gestion des cycles de vie des modèles. Le projet se distingue en offrant des outils spécialisés pour l'administration des modèles, incluant la capacité de télécharger, créer et supprimer des modèles, ainsi que la capacité de définir des blueprints de modèles personnalisés et des modèles de prompt. Il fournit également un client d'embedding vectoriel pour générer des représentations textuelles numériques afin de soutenir les pipelines de recherche sémantique et de récupération. La bibliothèque couvre un large éventail de capacités, incluant l'analyse multimodale pour le traitement d'images, la capture de traces de raisonnement internes et l'application de schémas JSON structurés pour l'extraction de données. Elle prend en outre en charge l'interaction avancée avec les modèles via l'invocation d'outils et le streaming de réponses via des générateurs asynchrones. La bibliothèque est écrite en TypeScript.