Awesome GitHub RepositoriesProgrammatic Model Invocation

ChatGLM-6B is a generative AI inference engine designed for local execution of transformer-based language models. It provides a comprehensive runtime environment that allows users to load and run pre-trained neural network weights directly on their own hardware, ensuring data privacy and independence from external cloud services. The project distinguishes itself through a hardware-agnostic execution backend that supports deployment across diverse environments, including standard processors, Apple Silicon, and multi-GPU configurations. It incorporates advanced optimization techniques such as w

Aigcpanel is a visual workflow automation tool and model lifecycle manager designed for generative AI media pipelines. It provides a unified interface to install, launch, and configure both local and remote AI model endpoints, acting as an orchestration platform for large language models and AI tools. The system features a drag-and-drop node editor for chaining AI models and scripts into automated processing pipelines. It distinguishes itself with a breakpoint-aware execution model that allows users to pause and resume long media tasks from specific points in the workflow. Additionally, it in

ollama-js este o bibliotecă client JavaScript și un wrapper API care oferă o interfață programatică pentru interacțiunea cu și gestionarea modelelor de limbaj mari (LLM). Permite execuția modelelor atât în medii locale, cât și în cloud, facilitând generarea de text conversațional și gestionarea ciclului de viață al modelelor. Proiectul se distinge prin oferirea de instrumente specializate pentru administrarea modelelor, inclusiv capacitatea de a descărca, crea și elimina modele, precum și capacitatea de a defini blueprint-uri de modele personalizate și template-uri de prompt-uri. Oferă, de asemenea, un client de vector embedding pentru generarea reprezentărilor numerice ale textului pentru a susține pipeline-urile de căutare semantică și regăsire. Biblioteca acoperă o gamă largă de capabilități, inclusiv analiza multimodală pentru procesarea imaginilor, capturarea urmelor de raționament intern și impunerea schemelor JSON structurate pentru extracția datelor. Mai mult, suportă interacțiunea avansată cu modelele prin invocarea de instrumente și streaming-ul răspunsurilor prin generatoare asincrone. Biblioteca este scrisă în TypeScript.