Awesome GitHub RepositoriesCPU Affinity Binding

h2o is a high-performance content delivery server and HTTP/3 web server. It functions as a network gateway and reverse proxy that forwards client requests to upstream servers to manage traffic flow and load. The project distinguishes itself as a protocol fuzzing tool, utilizing a testing framework to execute automated stress tests against network protocols to identify memory leaks and crashes. The server provides capabilities for secure web traffic management through encrypted data transmission and high-performance web serving across HTTP/1, HTTP/2, and HTTP/3. It includes tools for server r

PowerInfer is a high-performance local large language model inference engine and sparse inference framework. It provides a runtime for executing models on consumer-grade hardware, utilizing a GPU acceleration backend to optimize tensor operations for graphics processors. The system distinguishes itself through a sparse inference framework that increases generation speed by skipping computations based on activation sparsity in model weights. It includes a GGUF model converter for transforming weights and metadata into a unified binary format, as well as an OpenAI API compatible server for inte

iperf डेटा ट्रांसफर दरों और नेटवर्क स्थिरता को मापने के लिए डिज़ाइन किया गया IP नेटवर्क मापन सॉफ्टवेयर है। यह एक नेटवर्क प्रदर्शन बेंचमार्किंग टूल के रूप में कार्य करता है जो बाधाओं और प्रदर्शन सीमाओं की पहचान करने के लिए दो होस्ट के बीच क्षमता और थ्रूपुट का परीक्षण करता है। यह टूल विशेष रूप से TCP और UDP प्रोटोकॉल का उपयोग करके IP नेटवर्क पर अधिकतम बैंडविड्थ और पैकेट लॉस को मापता है। यह एक नेटवर्क डेटा एक्सपोर्टर के रूप में भी कार्य करता है, जो प्रोग्रामेटिक विश्लेषण और एकीकरण के लिए JSON प्रारूप में प्रदर्शन परिणाम आउटपुट करता है। सॉफ्टवेयर नेटवर्क थ्रूपुट विश्लेषण और ट्रैफिक परीक्षण सहित कई क्षमताओं को कवर करता है। यह कुल डेटा क्षमता के मापन और मानकीकृत परीक्षणों के माध्यम से नेटवर्क हार्डवेयर और कॉन्फ़िगरेशन के मूल्यांकन की अनुमति देता है।

htop is a terminal-based system resource monitor and interactive process viewer. It functions as a text-user interface dashboard for overseeing hardware temperatures, load averages, and battery status while providing a comprehensive tool for monitoring and managing system processes. The application distinguishes itself through detailed process lifecycle management, allowing users to kill processes, adjust priorities via renicing, and assign CPU affinity to specific cores. It provides high-level visibility into system behavior through process hierarchy visualization and the ability to inspect

OpenBLAS is a high-performance implementation of the Basic Linear Algebra Subprograms standard designed for numerical computing and matrix operations. It serves as a hardware-accelerated numerical library and optimized math kernel library, providing a computational engine for large-scale matrix multiplication and vector operations. The library distinguishes itself through the use of hand-tuned assembly kernels and SIMD instruction mapping, such as AVX and SVE, to maximize floating-point performance on specific CPU architectures. It features a multi-threaded framework that manages parallel exe

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

CppGuide is a curated collection of educational resources and practical guides focused on C++ server development, Linux kernel internals, concurrent programming, network protocols, and security exploitation. It provides structured learning paths for backend developers, covering everything from interview preparation to building high-performance network servers and understanding operating system fundamentals. The guide distinguishes itself by offering in-depth, hands-on tutorials that walk through real-world implementations, including building a Redis-like server from scratch, designing custom

htop Unix सिस्टम्स के लिए एक टर्मिनल यूजर इंटरफेस सिस्टम मॉनिटर है। यह एक इंटरैक्टिव प्रोसेस व्यूअर और रियल-टाइम रिसोर्स विज़ुअलाइज़र के रूप में काम करता है, जो CPU, मेमोरी और लोड एवरेज मेट्रिक्स को ट्रैक करने के लिए एक डैशबोर्ड प्रदान करता है। यह टूल सक्रिय सिस्टम प्रोसेसेस और थ्रेड्स की सॉर्टिंग, फिल्टरिंग और टर्मिनेशन को सक्षम बनाता है। यह एक टेक्स्ट-मोड इंटरफेस के माध्यम से खुद को अलग करता है जो प्रोसेसेस को पदानुक्रमित (hierarchical) ट्री स्ट्रक्चर में रेंडर कर सकता है ताकि पैरेंट-चाइल्ड संबंधों को विज़ुअलाइज़ किया जा सके और विशिष्ट प्रोसेसर कोर के लिए CPU एफिनिटी असाइन की जा सके।

CRI-O is an open-source container runtime that implements the Kubernetes Container Runtime Interface (CRI) to manage container images, pods, and containers on cluster nodes using OCI-compatible runtimes. It serves as a node-level container manager that handles image pulling, container lifecycle, and resource monitoring for Kubernetes clusters, running containers according to the Open Container Initiative specifications. The runtime distinguishes itself through live configuration reloading that applies changes to runtime definitions, registry mirrors, and TLS certificates without restarting th

seL4 is a formally verified microkernel whose C implementation is backed by machine-checked mathematical proofs of correctness, confidentiality, integrity, and availability. It enforces strict isolation between processes through hardware-enforced address space separation and a capability-based access control system, where each process holds explicit rights only to the resources it has been granted. The kernel exposes hardware resources through a minimal API of system calls that manage threads, address spaces, and inter-process communication, with synchronous IPC supporting sender-identifying b

monoio, Rust के लिए एक उच्च-प्रदर्शन वाला एसिंक्रोनस रनटाइम और एक्जीक्यूटर है। यह एक थ्रेड-पर-कोर कॉनकरेंसी मॉडल लागू करता है जो सिंक्रोनाइज़ेशन ओवरहेड और डेटा माइग्रेशन को खत्म करने के लिए टास्क को विशिष्ट CPU कोर पर पिन करता है। यह रनटाइम नॉन-ब्लॉकिंग सिस्टम कॉल करने और कर्नल-यूज़र मोड मेमोरी कॉपीिंग को कम करने के लिए io_uring इंटरफ़ेस का लाभ उठाता है। यह साझा-मेमोरी बफ़र्स के माध्यम से डेटा ट्रांसफर को प्रबंधित करने के लिए एक उच्च-प्रदर्शन I/O ड्राइवर और ज़ीरो-कॉपी TCP स्ट्रीम रैपिंग का उपयोग करता है। यह प्रोजेक्ट CPU कोर एफिनिटी मैनेजमेंट, लो-लेटेंसी सिस्टम प्रोग्रामिंग और उच्च-प्रदर्शन नेटवर्किंग के लिए क्षमताएं प्रदान करता है। इसमें एक प्लगेबल I/O ड्राइवर बैकएंड और यूज़र व कर्नल स्पेस के बीच स्थिर बफ़र्स बनाए रखने के लिए मेमोरी लॉकिंग के लिए कॉन्फ़िगरेशन शामिल हैं।

NCCL is a high-performance communication library and distributed GPU computing framework designed for executing collective and point-to-point data exchanges across multiple GPUs in single or multi-node systems. It serves as an RDMA GPU transport layer and memory orchestrator, facilitating high-bandwidth synchronization of data and model gradients for distributed GPU training and inference. The library is distinguished by its ability to execute communication primitives directly from GPU kernels, removing the host CPU from the critical path. It utilizes topology-aware path selection to optimize

Asterinas is a memory-safe operating system kernel designed to prevent data races and memory corruption. It functions as a Linux-ABI compatible kernel, enabling the execution of existing Linux binaries and container workloads while providing a declarative operating system distribution model. The project distinguishes itself by acting as a virtual machine container host and a confidential computing guest OS, allowing it to run within hardware-isolated Trusted Execution Environments such as Intel TDX. It implements a minimal trusted computing base by isolating unsafe low-level operations and se

Iggy एक वितरित संदेश स्ट्रीमिंग प्लेटफ़ॉर्म और मल्टी-प्रोटोकॉल संदेश ब्रोकर है जो एक पर्सिस्टेंट वितरित लॉग स्टोर के रूप में कार्य करता है। यह एक अपेंड-ओनली लॉग का उपयोग करके बाइनरी संदेशों को प्रकाशित करने और उपभोग करने के लिए बुनियादी ढांचा प्रदान करता है, जो Viewstamped Replication के माध्यम से नोड्स में उच्च उपलब्धता और डेटा स्थिरता सुनिश्चित करता है। यह प्लेटफ़ॉर्म अपने विशेष LLM स्ट्रीमिंग बुनियादी ढांचे द्वारा प्रतिष्ठित है, जो बड़े भाषा मॉडल को स्ट्रीमिंग डेटा और सिस्टम नियंत्रण से जोड़ने के लिए एक सर्वर प्रोटोकॉल का उपयोग करता है। इसमें HTTP या मानक इनपुट-आउटपुट के माध्यम से संदर्भ प्रबंधन और डेटा ब्रिजिंग के लिए मानकीकृत प्रोटोकॉल शामिल हैं। यह सिस्टम मॉड्यूलर सोर्स और सिंक प्लगइन्स के साथ डेटा पाइपलाइन ऑर्केस्ट्रेशन, क्षैतिज स्केलिंग के लिए उपभोक्ता समूह समन्वय, और TCP, QUIC, HTTP और WebSocket पर मल्टी-प्रोटोकॉल ट्रांसपोर्ट समर्थन सहित क्षमताओं के एक व्यापक सेट को कवर करता है। इसमें डेटा को सुरक्षित रखने और पारगमन के दौरान AES-256-GCM एन्क्रिप्शन जैसी सुरक्षा प्रिमिटिव्स भी शामिल हैं, और Prometheus मेट्रिक्स, OpenTelemetry ट्रेसिंग और एक परिचालन वेब डैशबोर्ड के माध्यम से अवलोकन क्षमता प्रदान करता है। सर्वर को कंटेनर इमेज का उपयोग करके तैनात किया जा सकता है और Kubernetes के माध्यम से ऑर्केस्ट्रेट किया जा सकता है।

Fastsocket is a high-performance Linux socket implementation designed for linear scalability on multicore systems. It functions as a TCP throughput optimizer and a multicore packet steering engine that reduces system call overhead and lock contention to increase total network processing capacity. The project distinguishes itself through a network system call interceptor that uses a shared library to redirect standard socket calls to optimized interfaces without requiring changes to application binaries. It employs active connection steering by encoding CPU core IDs into source ports and utili

BytePS is a distributed deep neural network training framework and communication library designed to scale model training across multiple GPUs and compute nodes. It functions as a GPU cluster orchestrator and RDMA network optimizer, providing the necessary primitives to synchronize gradients and data across a server cluster. The project distinguishes itself through high-performance network optimizations, utilizing remote direct memory access and page-aligned memory to reduce latency. It employs topology-aware communication tuning and CPU core affinity management to maximize hardware throughpu

uperf is an Android performance tuning tool and Linux kernel parameter manager designed to optimize device responsiveness and battery life. It functions as a CPU affinity and scheduling manager, a hardware power profile controller, and a real-time system monitor that adjusts kernel parameters and CPU frequencies. The project distinguishes itself through real-time system monitoring of touchscreen input and frame rendering to trigger immediate performance boosts. It utilizes hardware performance profiling to apply pre-tuned configuration files tailored to specific hardware platforms, balancing