Awesome GitHub RepositoriesLocal Model Loading

ChatGLM-6B is a generative AI inference engine designed for local execution of transformer-based language models. It provides a comprehensive runtime environment that allows users to load and run pre-trained neural network weights directly on their own hardware, ensuring data privacy and independence from external cloud services. The project distinguishes itself through a hardware-agnostic execution backend that supports deployment across diverse environments, including standard processors, Apple Silicon, and multi-GPU configurations. It incorporates advanced optimization techniques such as w

Open CLIP is an open source framework for training and deploying Contrastive Language-Image Pre-training models. It serves as a vision-language training framework and multimodal embedding engine that maps images and text into a shared vector space for similarity searches and zero-shot classification. The project provides a toolkit for distributed training of contrastive models and includes an image-to-text generative model for producing natural language descriptions. It supports custom text encoder integration and utilizes teacher-student model distillation to transfer knowledge from large pr

This project is an on-device AI SDK providing a framework for running large language models, vision models, and speech models locally. It serves as an orchestration layer for local LLM execution, ensuring data privacy and offline availability by utilizing hardware acceleration on the device. The SDK is distinguished by its comprehensive voice and multimodal capabilities, including a coordinated voice pipeline for activity detection, speech-to-text, and text-to-speech synthesis. It also provides a dedicated implementation kit for local retrieval-augmented generation and tools for processing co

MochiDiffusion is a local client for Stable Diffusion that functions as an AI image generation studio. It provides a workspace for performing text-to-image, image-to-image, and inpainting tasks, enabling the production of high-resolution images offline using local hardware and neural engine acceleration. The project includes a local model manager for importing, organizing, and converting machine learning models into compatible formats for offline execution. It features a ControlNet integration tool to guide structural composition and spatial layout, alongside a dedicated image upscaler that u

OpenPlayground is a web-based comparison playground and multi-provider client used to test and evaluate outputs from multiple large language models and local inference engines side-by-side. It serves as a local testing environment for routing prompts to various external APIs and on-device models through a single interface. The project enables concurrent request dispatching, allowing a single prompt to be sent to multiple models simultaneously for comparative analysis. It includes a parameter tuning interface for refining model behavior via generation settings and provides a system for detecti

Serge is a self-hosted web chat interface for running large language models locally using the llama.cpp inference engine. It loads GGUF-format model files directly on your own machine, removing the need for internet connectivity or external API keys, and streams responses to the browser in real time via WebSocket connections. The project is packaged for containerized deployment using Docker and Docker Compose, with a Traefik reverse proxy that handles HTTP and WebSocket routing along with automatic TLS certificate management. Ready-made Kubernetes manifests are also provided, enabling deploym

A web interface for chatting with Alpaca through llama.cpp. Fully dockerized, with an easy to use API.

Shimmy هو محرك استنتاج وخادم لنماذج اللغات الكبيرة المحلية يقوم بتحميل وتقديم الأوزان بتنسيق GGUF. يتم توزيعه كملف ثنائي واحد مكتوب بلغة Rust، مما يوفر بيئة مستقلة لتشغيل النماذج دون تبعيات وقت تشغيل خارجية. يستخدم المشروع WebGPU لتسريع العتاد، مما يسمح لنواة حساب النموذج بالتنفيذ عبر عتاد رسومي متنوع من خلال واجهة موحدة. يتميز بخادم محلي ينفذ طبقة واجهة برمجة تطبيقات متوافقة مع OpenAI، مما يتيح للتطبيقات التفاعل مع النماذج المحلية عبر نقاط نهاية REST موحدة. تتم إدارة الذاكرة والأداء من خلال ضغط ذاكرة التخزين المؤقت للمفاتيح والقيم المكممة لتقليل استخدام VRAM الخاص بـ GPU وتوسيع نطاق التضمين الدوار (rotary embedding) لتوسيع نافذة سياق النموذج. يتضمن النظام أيضاً اكتشافاً تلقائياً لملفات النماذج لمسح وتسجيل الأوزان المتوافقة من التخزين المحلي. يتم إدارة الخادم عبر واجهة سطر أوامر مخصصة للتحكم في العمليات والتحقق من توليد النموذج.

هذا المشروع هو إطار عمل لخدمة نماذج PyTorch مصمم لنشر وتوسيع نطاق نماذج تعلم الآلة في الإنتاج عبر نقاط نهاية شبكة قابلة للتوسع. يعمل كخادم استنتاج عالي الأداء، ومحسن، ومدير دورة حياة النموذج الذي يتعامل مع تحميل النموذج، وتجميع الطلبات، وتسريع الأجهزة. يتميز النظام بقدرات تنسيق وتحسين متقدمة، مثل ربط نماذج متعددة في سير عمل تسلسلي باستخدام رسوم بيانية للتنفيذ واستخدام التجميع الديناميكي لتحسين الإنتاجية وزمن الانتقال. يوفر دعماً متخصصاً للذكاء الاصطناعي التوليدي ونماذج اللغات الكبيرة من خلال التجميع المستمر وتوازي الموترات (tensor parallelism). تغطي مجالات القدرات الواسعة إدارة موارد GPU عبر أجهزة متنوعة مثل NVIDIA وAMD وApple Silicon، بالإضافة إلى إدارة شاملة لدورة حياة النموذج للتسجيل، وإصدار النسخ، وتوسيع نطاق العمال (workers). كما يدمج أدوات مراقبة لتتبع صحة النظام وأداء النموذج عبر مقاييس متوافقة مع Prometheus. يتم إدارة الخادم من خلال واجهة سطر أوامر تستخدم للتحكم في دورة الحياة وتكوين معلمات وقت التشغيل.

picoGPT is a lightweight, low-level runtime environment and inference engine designed to load pre-trained checkpoints and execute generative transformer model inference. It provides a minimal implementation of the generative pre-trained transformer architecture to facilitate local language model execution. The project includes a C++ machine learning library for converting model parameters and executing greedy token generation without heavy external dependencies. It handles remote asset synchronization by downloading pre-trained weights, hyperparameters, and vocabulary files from remote server

LLM Guard is a security firewall and guardrail framework designed to scan and sanitize inputs and outputs for large language models. It functions as a proxy gateway and security layer to block prompt injections, toxicity, and sensitive data leakage while ensuring that model interactions remain compliant with organizational policies. The system distinguishes itself through a modular scanner pipeline that utilizes local model orchestration to eliminate external network dependencies. It supports real-time security filtering via streaming chunk analysis and implements a fail-fast execution model