Awesome GitHub RepositoriesMemory Profiling

PyTorch is a machine learning framework centered on a GPU-ready tensor library that supports multi-dimensional array operations across both CPU and accelerator hardware. It provides a foundational infrastructure for mathematical computation and dynamic neural network construction, utilizing a tape-based automatic differentiation system that allows for flexible, non-static graph execution. The framework is designed for deep integration with Python, enabling natural usage alongside standard scientific computing ecosystems. It distinguishes itself through a comprehensive distributed training sui

This project is a machine learning array framework and tensor computation library designed for high-performance numerical computing. It provides a comprehensive suite of tools for constructing and training neural networks, featuring an automatic differentiation engine that facilitates gradient-based optimization and complex mathematical modeling. The library distinguishes itself through a unified memory architecture that allows data to be shared across CPU and GPU devices without explicit copies, significantly reducing data movement overhead. Its execution model relies on a lazy evaluation en

FlameGraph is a performance profiling and visualization toolkit designed to identify bottlenecks in software execution. It functions as a processing engine that transforms raw stack trace samples into interactive, hierarchical diagrams. By representing aggregated execution frequency as nested rectangles, the tool allows developers to visualize hot code paths and analyze system behavior across both kernel and user-space environments. The project distinguishes itself through its ability to perform differential profile analysis, which highlights performance regressions or improvements by compari

Memray is a memory profiler for Python that tracks heap allocations in both Python code and native C or C++ extensions. It captures memory events by hooking into the language runtime and traversing call stacks, providing a comprehensive view of how an application consumes memory. The tool is designed to minimize performance impact on the target application by using thread-local buffering and streaming data to an external process or file. The project distinguishes itself through its ability to monitor complex, multi-threaded systems and child processes in real-time. It provides diagnostic util

stats.js is a JavaScript performance monitor and visual diagnostic tool. It provides a real-time overlay for tracking frame rates, memory allocation, and the rendering efficiency of web graphics and applications. The project includes a visual meter for measuring frames per second and a browser memory profiler that displays allocated memory in megabytes to help detect resource leaks. It is designed as a web graphics debugger to monitor the efficiency of WebGL and Canvas rendering. The tool covers a range of monitoring and observability capabilities, including the creation of custom performanc

LanceDB is a vector database and columnar data store designed to function as a versioned dataset manager and vector search engine. It serves as a high-performance backend for indexing and retrieving high-dimensional embeddings, providing the foundation for machine learning data pipelines. The system distinguishes itself through a combination of cloud-native object storage and immutable version tracking, allowing for data time-travel and reproducible AI experiments. It integrates hybrid search capabilities, merging dense vector similarity with BM25 full-text search and SQL-like scalar filters

Apache Beam is a distributed data pipeline framework and unified data processing model designed to handle both bounded batch data and unbounded real-time streams. It provides a system for building scalable, data-parallel workflows that operate across compute clusters using a single programming model. The framework utilizes a cross-runner pipeline abstraction that decouples the data processing logic from the underlying execution backend, allowing the same pipeline to run on different distributed compute engines. It supports multi-language pipeline development by translating high-level code fro

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

gpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran

This is an interactive Python tutorial delivered as a collection of Jupyter notebooks. It is designed as a structured learning path for beginners, teaching fundamental language concepts through a sequence of lessons that combine explanatory text with runnable code cells and embedded practice exercises. Each notebook is a self-contained unit that introduces a topic, demonstrates it with a minimal code example, and then asks the learner to write code themselves, receiving immediate feedback from the browser-based execution environment. The curriculum is built on a progressive concept-stacking mo

OCaml is a strongly typed functional language featuring a sophisticated type system and a focus on safety and expressiveness. It provides a comprehensive compiling toolchain that transforms source code into either portable bytecode or high-performance native binaries. The project is distinguished by a shared memory parallel runtime that executes computations across multiple processor cores using domains, and an algebraic effect system for managing side effects and control flow through execution context handlers. It also includes a dedicated parser generator to automatically create lexers and

redis-rdb-tools बाइनरी Redis डेटाबेस डंप फ़ाइलों को पार्स करने, विश्लेषण करने और परिवर्तित करने के लिए विशेष उपयोगिताओं का एक संग्रह है। यह एक पार्सर और कनवर्टर के रूप में कार्य करता है जो डेटा रिकवरी, माइग्रेशन और विश्लेषण की सुविधा के लिए इन स्नैपशॉट से कुंजियाँ और मान निकालता है। यह प्रोजेक्ट मेमोरी प्रोफाइलिंग और स्नैपशॉट हेरफेर की क्षमताओं के माध्यम से खुद को अलग करता है। इसमें एक मेमोरी एनालाइज़र शामिल है जो भंडारण अक्षमताओं की पहचान करने के लिए की-लेवल खपत रिपोर्ट उत्पन्न करता है, और एक हेरफेर उपयोगिता जो कई डंप फ़ाइलों को मर्ज करने या एकल स्नैपशॉट को छोटे भागों में विभाजित करने में सक्षम है। टूलसेट डेटा संचालन की एक विस्तृत श्रृंखला को कवर करता है, जिसमें बाइनरी डंप को JSON में बदलना, डेटा री-इंपोर्ट के लिए प्रोटोकॉल कमांड उत्पन्न करना, और रिलेशनल डेटाबेस या सर्च इंजन में रिकॉर्ड निर्यात करना शामिल है। यह पार्सिंग प्रक्रिया के दौरान समय के साथ परिवर्तनों की पहचान करने और नियमित अभिव्यक्तियों (regular expressions) का उपयोग करके कुंजियों को फ़िल्टर करने के लिए विभिन्न डेटाबेस स्नैपशॉट की तुलना करने के लिए उपयोगिताएँ भी प्रदान करता है।

Memlab एक स्वचालित ब्राउज़र मेमोरी प्रोफाइलर और JavaScript मेमोरी लीक एनालाइज़र है। यह अनबाउंड ऑब्जेक्ट ग्रोथ और अलग किए गए DOM तत्वों की पहचान करने के लिए हीप स्नैपशॉट का निरीक्षण और तुलना करके मेमोरी लीक का पता लगाने और विश्लेषण करने के लिए एक टूलकिट प्रदान करता है। यह सिस्टम एक स्वचालित लीक टेस्टिंग फ्रेमवर्क के माध्यम से खुद को अलग करता है जो मेमोरी रिग्रेशन को प्रोग्रामेटिक रूप से अलग करने के लिए एंड-टू-एंड ब्राउज़र इंटरैक्शन अनुक्रमों को निष्पादित करता है। यह यह निर्धारित करने के लिए कि ऑब्जेक्ट्स मेमोरी में क्यों रहते हैं और लीक हुए ऑब्जेक्ट्स के लिए गारबेज कलेक्शन रूट्स से सबसे छोटा रास्ता मैप करने के लिए हीप स्नैपशॉट डिफिंग, रिटेनर चेन ट्रेसिंग, और ह्यूरिस्टिक-आधारित फिल्टरिंग का उपयोग करता है। यह प्रोजेक्ट हीप निरीक्षण, इंटरैक्शन-आधारित विकास विश्लेषण, और वेब कंपोनेंट मेमोरी प्रोफाइलिंग सहित व्यापक क्षमता क्षेत्रों को कवर करता है। इसमें प्रोग्रामेटिक मेमोरी एसेर्शन, ब्राउज़र ओवरले के माध्यम से विज़ुअल लीक डिबगिंग, और प्राकृतिक भाषा अन्वेषण के लिए Model Context Protocol के माध्यम से विश्लेषण डेटा को उजागर करने की क्षमता के लिए टूल भी शामिल हैं। टूलकिट को स्वचालित निरंतर एकीकरण पाइपलाइनों में एकीकरण के लिए कमांड लाइन इंटरफ़ेस के माध्यम से ट्रिगर किया जा सकता है।

Heaptrack Linux पर चलने वाले एप्लिकेशन के लिए एक हीप मेमोरी प्रोफाइलर और डायग्नोस्टिक टूल है। यह एक मेमोरी लीक डिटेक्टर और प्रदर्शन विश्लेषण सिस्टम के रूप में कार्य करता है जो मेमोरी हॉटस्पॉट्स और खपत पैटर्न की पहचान करने के लिए हीप आवंटन और स्टैक ट्रेसेस को रिकॉर्ड करता है। प्रोजेक्ट ट्री व्यू और पीक मेमोरी रिपोर्ट के माध्यम से मेमोरी उपयोग का पता लगाने के लिए एक ग्राफिकल हीप आवंटन विज़ुअलाइज़र प्रदान करता है। यह मेमोरी हॉटस्पॉट्स को विज़ुअलाइज़ करने और लीक का पता लगाने में सहायता के लिए फ्लेम ग्राफ्स और आवंटन चार्ट का उपयोग करता है। टूलसेट में हीप मेमोरी आवंटन ट्रेसिंग और कमांड-लाइन यूटिलिटीज के माध्यम से मेमोरी रिपोर्ट के निर्माण के लिए क्षमताएं शामिल हैं। ये यूटिलिटीज पीक मेमोरी उपभोक्ताओं का ASCII सारांश तैयार करती हैं और प्रोफाइल डेटा के रूपांतरण की अनुमति देती हैं।