Awesome GitHub RepositoriesProgrammatic Model Invocation

ChatGLM-6B is a generative AI inference engine designed for local execution of transformer-based language models. It provides a comprehensive runtime environment that allows users to load and run pre-trained neural network weights directly on their own hardware, ensuring data privacy and independence from external cloud services. The project distinguishes itself through a hardware-agnostic execution backend that supports deployment across diverse environments, including standard processors, Apple Silicon, and multi-GPU configurations. It incorporates advanced optimization techniques such as w

Aigcpanel is a visual workflow automation tool and model lifecycle manager designed for generative AI media pipelines. It provides a unified interface to install, launch, and configure both local and remote AI model endpoints, acting as an orchestration platform for large language models and AI tools. The system features a drag-and-drop node editor for chaining AI models and scripts into automated processing pipelines. It distinguishes itself with a breakpoint-aware execution model that allows users to pause and resume long media tasks from specific points in the workflow. Additionally, it in

ollama-js ist eine JavaScript-Client-Bibliothek und ein API-Wrapper, der eine programmatische Schnittstelle für die Interaktion mit und die Verwaltung von Large Language Models bietet. Sie ermöglicht die Ausführung von Modellen sowohl in lokalen als auch in Cloud-Umgebungen und erleichtert die Generierung von Konversationstexten sowie die Verwaltung von Modell-Lebenszyklen. Das Projekt zeichnet sich durch spezialisierte Tools für die Modelladministration aus, einschließlich der Möglichkeit, Modelle herunterzuladen, zu erstellen und zu entfernen, sowie der Kapazität, benutzerdefinierte Modell-Blueprints und Prompt-Templates zu definieren. Es bietet zudem einen Vektor-Embedding-Client zur Generierung numerischer Textrepräsentationen, um semantische Such- und Retrieval-Pipelines zu unterstützen. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich multimodaler Analyse zur Bildverarbeitung, Erfassung interner Reasoning-Traces und die Durchsetzung strukturierter JSON-Schemata für die Datenextraktion. Sie unterstützt zudem fortgeschrittene Modellinteraktion durch Tool-Invocation und das Streamen von Antworten via asynchroner Generatoren. Die Bibliothek ist in TypeScript geschrieben.