Awesome GitHub RepositoriesProgrammatic Model Invocation

ChatGLM-6B is a generative AI inference engine designed for local execution of transformer-based language models. It provides a comprehensive runtime environment that allows users to load and run pre-trained neural network weights directly on their own hardware, ensuring data privacy and independence from external cloud services. The project distinguishes itself through a hardware-agnostic execution backend that supports deployment across diverse environments, including standard processors, Apple Silicon, and multi-GPU configurations. It incorporates advanced optimization techniques such as w

Aigcpanel is a visual workflow automation tool and model lifecycle manager designed for generative AI media pipelines. It provides a unified interface to install, launch, and configure both local and remote AI model endpoints, acting as an orchestration platform for large language models and AI tools. The system features a drag-and-drop node editor for chaining AI models and scripts into automated processing pipelines. It distinguishes itself with a breakpoint-aware execution model that allows users to pause and resume long media tasks from specific points in the workflow. Additionally, it in

ollama-js es una librería cliente de JavaScript y wrapper de API que proporciona una interfaz programática para interactuar y gestionar modelos de lenguaje grandes. Permite la ejecución de modelos tanto en entornos locales como basados en la nube, facilitando la generación de texto conversacional y la gestión de los ciclos de vida de los modelos. El proyecto se distingue por ofrecer herramientas especializadas para la administración de modelos, incluida la capacidad de descargar, crear y eliminar modelos, así como la capacidad de definir blueprints de modelos personalizados y plantillas de prompts. También proporciona un cliente de incrustación vectorial (vector embedding) para generar representaciones de texto numéricas para admitir pipelines de búsqueda y recuperación semántica. La librería cubre una amplia gama de capacidades, incluyendo análisis multimodal para procesar imágenes, la captura de trazas de razonamiento interno y la aplicación de esquemas JSON estructurados para la extracción de datos. Además, admite la interacción avanzada con modelos a través de la invocación de herramientas y el streaming de respuestas a través de generadores asíncronos. La librería está escrita en TypeScript.