Awesome GitHub RepositoriesDistributed Computing

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

This project is a machine learning array framework and tensor computation library designed for high-performance numerical computing. It provides a comprehensive suite of tools for constructing and training neural networks, featuring an automatic differentiation engine that facilitates gradient-based optimization and complex mathematical modeling. The library distinguishes itself through a unified memory architecture that allows data to be shared across CPU and GPU devices without explicit copies, significantly reducing data movement overhead. Its execution model relies on a lazy evaluation en

Meshroom is a node-based photogrammetry software designed to transform collections of two-dimensional images into three-dimensional models and scene geometry. It provides a visual interface for constructing and managing modular data pipelines, allowing users to automate complex computer vision tasks such as feature extraction, depth map estimation, and mesh generation. The software distinguishes itself through a distributed computational framework that dispatches resource-intensive tasks across local hardware or remote render farms. By utilizing a directed acyclic graph execution model, it en

Modin is a distributed dataframe library and parallel data processing engine designed to handle large datasets that exceed system memory. It functions as a distributed computing framework that parallelizes data manipulation tasks across multiple CPU cores or clusters to increase throughput and avoid memory errors. The project mirrors the Pandas API, allowing for the distribution of data workflows without changing core code logic. It utilizes a pluggable backend interface, which enables users to switch between different distributed execution engines to optimize performance based on available h

This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque

PowerInfer is a high-performance local large language model inference engine and sparse inference framework. It provides a runtime for executing models on consumer-grade hardware, utilizing a GPU acceleration backend to optimize tensor operations for graphics processors. The system distinguishes itself through a sparse inference framework that increases generation speed by skipping computations based on activation sparsity in model weights. It includes a GGUF model converter for transforming weights and metadata into a unified binary format, as well as an OpenAI API compatible server for inte

Featuretools is a Python data science library and automated feature engineering framework designed to create predictive features from multiple related datasets. It automates the data preparation and transformation steps required for machine learning models through deep feature synthesis. The library enables the automatic generation of comprehensive feature tables by applying recursive transformations to relational data. It supports the transformation of unstructured text into structured numeric features and allows users to define custom primitives to extend the synthesis process with specific

Acest proiect este un framework de transformatoare bazat pe JAX și un antrenor de modele de limbaj mari, conceput pentru construirea și antrenarea modelelor distribuite pe acceleratoare hardware TPU. Oferă un sistem pentru pre-antrenare și fine-tuning-ul modelelor autoregresive prin împărțirea ponderilor și a calculelor pe o rețea de dispozitive pentru a reduce overhead-ul de memorie și a crește viteza de procesare. Framework-ul include un orchestrator de calcul TPU pentru provizionarea resurselor și automatizarea instalării dependențelor pe noduri distribuite la distanță. De asemenea, dispune de un convertor de ponderi de model capabil să transforme și să redistribuie checkpoint-urile între diferite configurații hardware și precizii numerice. Proiectul acoperă capabilități mai largi, inclusiv gestionarea checkpoint-urilor partajate pentru stocarea în cloud, încărcarea datelor bazată pe flux cu restaurarea stării și generarea de text bazată pe nucleu pentru inferența modelului. De asemenea, suportă accelerarea hardware compilată XLA pentru clustere TPU și GPU și oferă instrumente pentru benchmarking-ul performanței față de sarcini lingvistice standardizate.

Acest proiect este un framework de aliniere și o suită de pipeline-uri pentru antrenarea modelelor de limbaj folosind fine-tuning supervizat și optimizarea preferințelor. Oferă instrumente pentru executarea antrenării distribuite la scară largă pe mai multe GPU-uri și noduri de calcul, alături de un sistem pentru măsurarea utilității modelului și a calității dialogului prin benchmark-uri single-turn și multi-turn. Framework-ul include instrumente specializate pentru optimizarea directă a preferințelor (DPO) pentru a rafina comportamentul modelului folosind date pereche, fără a fi nevoie de un model de recompensă separat. De asemenea, suportă alinierea prin AI constituțional și antrenarea modelelor de recompensă pentru a clasifica și puncta răspunsurile pe baza criteriilor de preferință. Proiectul acoperă capabilități mai largi pentru amestecarea seturilor de date, fine-tuning eficient din punct de vedere al parametrilor prin adaptare low-rank (LoRA) și optimizarea prin eșantionare de respingere. Gestionează ciclul de viață al antrenării prin rețete bazate pe configurație și oferă sisteme pentru streaming-ul metricilor de performanță în timp real către dashboard-uri externe.

TensorFlowOnSpark is a distributed framework for running TensorFlow machine learning workloads and model training across Apache Spark clusters. It functions as a cluster computing orchestrator that manages worker processes and resource allocation to scale deep learning tasks across multiple computing nodes. The platform enables distributed deep learning training and large-scale model inference, allowing users to execute tasks across a cluster of servers to handle datasets that exceed the memory of a single machine. It integrates deep learning workloads with Spark data processing to create end