Awesome GitHub RepositoriesDistributed Computing

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

This project is a machine learning array framework and tensor computation library designed for high-performance numerical computing. It provides a comprehensive suite of tools for constructing and training neural networks, featuring an automatic differentiation engine that facilitates gradient-based optimization and complex mathematical modeling. The library distinguishes itself through a unified memory architecture that allows data to be shared across CPU and GPU devices without explicit copies, significantly reducing data movement overhead. Its execution model relies on a lazy evaluation en

Meshroom is a node-based photogrammetry software designed to transform collections of two-dimensional images into three-dimensional models and scene geometry. It provides a visual interface for constructing and managing modular data pipelines, allowing users to automate complex computer vision tasks such as feature extraction, depth map estimation, and mesh generation. The software distinguishes itself through a distributed computational framework that dispatches resource-intensive tasks across local hardware or remote render farms. By utilizing a directed acyclic graph execution model, it en

Modin is a distributed dataframe library and parallel data processing engine designed to handle large datasets that exceed system memory. It functions as a distributed computing framework that parallelizes data manipulation tasks across multiple CPU cores or clusters to increase throughput and avoid memory errors. The project mirrors the Pandas API, allowing for the distribution of data workflows without changing core code logic. It utilizes a pluggable backend interface, which enables users to switch between different distributed execution engines to optimize performance based on available h

This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque

PowerInfer is a high-performance local large language model inference engine and sparse inference framework. It provides a runtime for executing models on consumer-grade hardware, utilizing a GPU acceleration backend to optimize tensor operations for graphics processors. The system distinguishes itself through a sparse inference framework that increases generation speed by skipping computations based on activation sparsity in model weights. It includes a GGUF model converter for transforming weights and metadata into a unified binary format, as well as an OpenAI API compatible server for inte

Featuretools is a Python data science library and automated feature engineering framework designed to create predictive features from multiple related datasets. It automates the data preparation and transformation steps required for machine learning models through deep feature synthesis. The library enables the automatic generation of comprehensive feature tables by applying recursive transformations to relational data. It supports the transformation of unstructured text into structured numeric features and allows users to define custom primitives to extend the synthesis process with specific

هذا المشروع هو إطار عمل للمحولات (transformers) قائم على JAX ومدرب لنماذج اللغة الكبيرة مصمم لبناء وتدريب النماذج الموزعة على مسرعات الأجهزة TPU. يوفر نظاماً للتدريب المسبق والضبط الدقيق للنماذج ذاتية الانحدار عن طريق تقسيم الأوزان والحسابات عبر شبكة من الأجهزة لتقليل حمل الذاكرة وزيادة سرعة المعالجة. يتضمن إطار العمل منسق حساب TPU لتوفير الموارد وأتمتة تثبيت التبعيات عبر العقد الموزعة البعيدة. كما يتميز بمحول أوزان النموذج القادر على تحويل وإعادة تقسيم نقاط التحقق (checkpoints) بين تكوينات الأجهزة المختلفة والدقة العددية. يغطي المشروع قدرات أوسع تشمل إدارة نقاط التحقق المقسمة للتخزين السحابي، وتحميل البيانات القائم على التدفق مع استعادة الحالة، وتوليد النصوص القائم على النواة لاستنتاج النموذج. كما يدعم تسريع الأجهزة المجمع بـ XLA لمجموعات TPU و GPU ويوفر أدوات لقياس الأداء مقابل مهام اللغة الموحدة.

هذا المشروع عبارة عن إطار عمل للمواءمة ومجموعة من خطوط المعالجة لتدريب النماذج اللغوية باستخدام الضبط الدقيق الخاضع للإشراف (supervised fine-tuning) وتحسين التفضيلات. يوفر أدوات لتنفيذ التدريب الموزع واسع النطاق عبر وحدات معالجة رسومية (GPUs) وعقد حوسبة متعددة، إلى جانب نظام لقياس مدى فائدة النموذج وجودة الحوار من خلال معايير قياس أحادية ومتعددة الجولات. يتضمن إطار العمل أدوات متخصصة لتحسين التفضيلات المباشر (DPO) لتنقية سلوك النموذج باستخدام بيانات مقترنة دون الحاجة إلى نموذج مكافأة منفصل. كما يدعم المواءمة الدستورية للذكاء الاصطناعي وتدريب نماذج المكافآت لترتيب وتقييم الاستجابات بناءً على معايير التفضيل. يغطي المشروع قدرات أوسع لدمج وخلط مجموعات البيانات، والضبط الدقيق الفعال للمعلمات عبر التكيف منخفض الرتبة (LoRA)، وتحسين أخذ عينات الرفض. يدير دورة حياة التدريب من خلال وصفات تعتمد على الإعدادات، ويوفر أنظمة لبث مقاييس الأداء في الوقت الفعلي إلى لوحات تحكم خارجية.