Awesome GitHub RepositoriesGPU Resource Virtualization

OSX-KVM is a project that enables running macOS as a virtualized guest operating system on non-Apple hardware using QEMU/KVM and the OpenCore bootloader. It provides the core capability to install and boot macOS on a Linux host, supporting GPU passthrough for improved graphics performance and remote access via SSH and VNC for headless management. The project distinguishes itself by offering a complete virtualization stack for macOS, including hardware passthrough for physical GPUs and other devices, integration with libvirt and virt-manager for graphical VM management, and the ability to boot

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

This project is a collection of shell-based automation scripts designed to automate the deployment and configuration of Linux containers and virtual machines on Proxmox VE hosts. It provides toolsets for the scripted provisioning of virtual machine infrastructure and the creation of pre-defined containers for various applications. The toolset includes specialized utilities for Proxmox host management, such as automating post-installation setup, managing system backups, and cleaning up old kernels to reclaim disk space. It further provides automated configurations for hardware passthrough, ena

vcluster is a Kubernetes virtual cluster platform that creates fully isolated Kubernetes environments with dedicated control planes, API servers, and RBAC on shared physical infrastructure. It virtualizes Kubernetes control planes by running them as pods inside a host cluster, as standalone binaries on bare metal or virtual machines, or within Docker containers, providing each tenant their own isolated Kubernetes environment without the overhead of managing separate physical clusters. The platform enables multi-tenant Kubernetes isolation through multiple tenancy models, from shared node pool

WasmEdge is an extensible WebAssembly runtime that executes WebAssembly bytecode in a secure sandbox for cloud, edge, and embedded applications. It functions as a multi-language compiler, compiling applications written in Rust, JavaScript, Go, and Python into WebAssembly bytecode for sandboxed execution, and as a server-side JavaScript runtime that runs JavaScript programs with ES6 modules, NPM packages, and Node.js-compatible APIs. The runtime also serves as an AI inference runtime, executing AI models from JavaScript using WASI-NN plug-ins for inference tasks on personal devices and edge har

jetson-inference is a set of libraries and tools for executing optimized deep learning models on embedded GPU hardware. Its primary purpose is to enable real-time computer vision and AI inference at the edge with low latency and high throughput. The project distinguishes itself through high-performance streaming analytics and the ability to execute concurrent AI pipelines on auto-grade silicon. It provides specialized support for multi-sensor stream processing, utilizing zero-copy data transport to load camera frames directly into GPU memory. The codebase covers a broad surface of capabiliti

Nebullvm is an AI inference accelerator, GPU resource orchestrator, and performance optimization library for large language models. It functions as an optimization layer designed to lower operational costs by aligning model execution with underlying hardware architectures. The system maximizes cluster efficiency through real-time dynamic partitioning and elastic quotas for shared hardware resources. It employs alignment methods and techniques to reduce the hardware and data requirements necessary for tuning large language models. The project covers broad capability areas including AI infrast

This project is an Android container runtime that enables the deployment of GPU-accelerated Android instances on Linux hosts across multiple hardware architectures. It provides a cloud-based environment for virtualized Android devices, functioning as a containerized implementation of the Android operating system to support scalable device instances. The system distinguishes itself through a cross-architecture runtime capable of executing ARM-based Android applications on x86 hardware via binary translation layers. It further utilizes host GPU resources to provide high-performance graphics ren

Easy-GPU-PV هي مجموعة أدوات إدارية للتحقق من توافق الأجهزة وأتمتة نشر تسريع الرسومات المقسمة عبر بيئات Windows الافتراضية. تعمل كمنسق ومدير للموارد لتوفير الأجهزة الافتراضية بوحدات معالجة رسومات مقسمة. يركز المشروع على تقسيم GPU في Windows، مما يتيح لبطاقة رسومات فعلية واحدة مشاركة تسريع الأجهزة عبر أنظمة افتراضية متعددة. يحقق ذلك من خلال أتمتة تكوين أجهزة وبرامج المضيف للسماح للبيئات الافتراضية بالوصول إلى وحدات معالجة الرسومات. يدير النظام عملية التوفير من البداية إلى النهاية، مغطيًا التحقق من توافق الأجهزة، وإعداد رسومات الجهاز الافتراضي، ومزامنة برامج التشغيل بين أنظمة المضيف والضيف. يستخدم التقسيم القائم على السجل وأتمتة النظام النصية للتعامل مع تخصيص الموارد والتحقق من المتطلبات الأساسية.

LXD is a unified platform for managing both system containers and virtual machines through a single REST API and command-line interface. It provides a programmatic HTTP interface for controlling the full lifecycle of instances, enabling automation and integration with external tools. The system runs unprivileged containers with per-instance UID/GID mappings, seccomp filters, and AppArmor profiles for kernel-level isolation, while supporting multiple storage backends including directory, Btrfs, LVM, ZFS, Ceph, LINSTOR, and TrueNAS through a unified driver interface. The platform distinguishes

Volcano is a Kubernetes-native batch scheduler specialized for AI, machine learning, and high-performance computing workloads. It provides gang scheduling to atomically allocate resources for all tasks of a distributed job, preventing deadlocks from partial allocation, and supports hierarchical queue management for multi-tenant resource isolation with configurable quotas, borrowing, and preemption. Topology-aware placement optimizes communication-intensive workloads by modeling network hierarchy to minimize cross-switch latency. Volcano differentiates itself with automated orchestration of di

vgpu_unlock هي مجموعة من أدوات البرمجيات وتعديلات التعريفات المصممة لفتح ميزات المحاكاة الافتراضية على مستوى المؤسسات على أجهزة الرسوميات الاستهلاكية. تعمل كأداة لفتح vGPU ومزيف لمعرف جهاز الأجهزة يسمح بمشاركة بطاقة رسوميات واحدة عبر أجهزة افتراضية متعددة. يحقق المشروع ذلك من خلال استخدام ربط التعريفات (Driver-level hooking)، وتصحيح الذاكرة الديناميكي، وتزييف الجهاز على مستوى النواة. تعترض هذه التقنيات استعلامات تعريف الأجهزة وتعدل الحالة التشغيلية لتعريف GPU في وقت التشغيل لتجاوز قيود البرمجيات التي يفرضها المصنع. توفر القدرات الناتجة رسومات مسرعة بالأجهزة لأنظمة التشغيل الضيفة وتمكن مشاركة GPU الافتراضي على الأجهزة التي لا تدعم هذه الوظائف أصلاً.

gpustack هي منصة إدارة مجموعات GPU ومنسق استدلال LLM. تعمل كنظام مركزي لتجميع وتنسيق وحدات معالجة الرسومات عبر الخوادم المحلية وبيئات السحابة، وتعمل كمدير حوسبة غير متجانس لتكوينات الأجهزة والبرامج المتنوعة. يوفر النظام بوابة نشر نموذج ذكاء اصطناعي آمنة تخدم النماذج كخدمات قابلة للتوسع باستخدام مصادقة قائمة على المفاتيح. يتضمن مجدول موارد GPU يوازن أعباء العمل عبر المسرعات وينسق محركات استدلال متعددة لرسم خرائط نماذج ذكاء اصطناعي محددة لأجهزة متوافقة. تغطي المنصة تنسيق المجموعات الشامل، بما في ذلك استعادة الفشل الآلي، ومراقبة الموارد في الوقت الفعلي، وتوسيع نطاق الاستدلال الموزع. يدمج تحسين الأداء من خلال التكميم وفك التشفير التخميني لزيادة الإنتاجية وتقليل زمن الوصول. يتم الحفاظ على تكوينات النظام وحالة المجموعة عبر استمرارية حالة قاعدة بيانات علائقية خارجية.

JimsGarage is a collection of shell scripts and automation tools designed to help individuals deploy and manage a wide range of self-hosted services on their own hardware. It provides a structured approach to setting up containerized applications, from media servers and document management systems to VPNs and monitoring stacks, all through automated Docker-based configurations. The project distinguishes itself by offering a comprehensive library of deployment recipes that cover the full lifecycle of a home server environment. This includes not just the services themselves, but also the suppor

ExHyperV هي مجموعة من الأدوات الإدارية المصممة لإدارة تهيئات Hyper-V المتقدمة، مع التركيز بشكل خاص على تقسيم GPU، وتمرير الجهاز، ومفاتيح الشبكة الافتراضية. توفر واجهة رسومية لتهيئة موارد الجهاز الظاهري وتحسين إعدادات الـ hypervisor. يتميز المشروع بقدرته على مشاركة موارد بطاقة الرسومات المادية عبر أجهزة ظاهرية متعددة باستخدام المحاكاة الافتراضية والتقسيم. كما يوفر أدوات متخصصة لتعيين أجهزة PCIe والأجهزة الطرفية USB مباشرة إلى الأجهزة الضيفة للوصول الحصري. تغطي البرمجية مجموعة واسعة من قدرات المحاكاة الافتراضية، بما في ذلك تحسين طوبولوجيا CPU، وتثبيت المعالج، وتخصيص الذاكرة. تتضمن أيضاً إدارة للشبكات الافتراضية من خلال تهيئة VLAN وإدارة المفاتيح الافتراضية، بالإضافة إلى عمليات التخزين مثل إدارة نقاط التحقق وإنشاء ISO افتراضي. تمكّن مجموعة الأدوات تنفيذ الأمان المتجذر في الأجهزة مثل تشفير الذاكرة و Intel SGX enclaves، وتدعم المحاكاة الافتراضية المتداخلة عن طريق تمرير امتدادات المحاكاة الافتراضية لـ CPU.

هذا المشروع عبارة عن دليل تقني شامل لتثبيت macOS على أجهزة x86 غير تابعة لـ Apple باستخدام محمل الإقلاع OpenCore. يعمل كدليل تهيئة لمحاكاة أجهزة Apple وتصحيح برامج النظام الثابتة لتحقيق توافق نظام التشغيل على أجهزة الكمبيوتر الشخصية. توفر الوثائق تعليمات مفصلة لمحاكاة أجهزة SMBIOS، بما في ذلك توليد معرفات النظام وملفات تعريف النموذج. تغطي تطبيق تصحيحات جدول ACPI لتمكين إدارة الطاقة الأصلية وتعديل خدمات وقت تشغيل UEFI لحل مشكلات خريطة الذاكرة وحماية الكتابة. يفصل المورد بشكل أكبر توافق الأجهزة لمكونات الشبكات والرسومات والصوت، بالإضافة إلى إدارة ملحقات النواة. يتضمن إرشادات حول تهيئة محمل الإقلاع، وإنشاء مثبتات قابلة للإقلاع، واستخدام التسجيل المطول ومجموعات تصحيح الأخطاء لاستكشاف أخطاء ذعر النواة وإصلاحها.

CRIU is a Linux process checkpointing tool and state manager used to freeze running applications and save their memory and state to disk for later restoration. It functions as a container migration engine and an OCI checkpoint image converter, allowing the live state of running containers to be transferred between different hosts. The project distinguishes itself through its ability to persist network connectivity, acting as a TCP connection state persister that saves and reconstructs network socket states to maintain active communication after a restart. It further enables the distribution o

Hackintool is a hardware configuration tool designed to make non-native computer hardware compatible with macOS. It functions as a suite of utilities for spoofing device identifiers and patching system components to ensure the operating system recognizes unsupported hardware. The project provides specialized tools for graphics, audio, and USB configurations. This includes a framebuffer patcher for resolving display issues on unsupported GPUs, an audio layout configurator for enabling sound via device ID spoofing, and a USB port mapping tool that identifies connected devices to generate custom