Awesome GitHub RepositoriesData Checkpointing

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

This project is a distributed training infrastructure designed for aligning large language models through reinforcement learning. It functions as an end-to-end engine for complex alignment tasks, including proximal policy optimization, direct preference optimization, and iterative self-play. By providing a unified framework for multi-turn interactions and tool-use scenarios, it enables the development of models capable of reasoning and external environment engagement. The framework distinguishes itself through a decoupled architecture that separates model training from sample generation. This

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Sui is a blockchain platform featuring an object-centric state model and resource-oriented smart contracts. It utilizes parallel transaction execution to increase network throughput and supports programmable transaction blocks that bundle multiple operations into single atomic units. The platform distinguishes itself with a capability-based access control system and zero-knowledge login mechanisms, enabling users to authenticate via identity providers without seed phrases. It also implements deterministic object addressing to allow predictable state lookups and supports the creation of soulbo

यह प्रोजेक्ट एक JAX-आधारित ट्रांसफार्मर फ्रेमवर्क और लार्ज लैंग्वेज मॉडल ट्रेनर है जिसे TPU हार्डवेयर एक्सेलेरेटर्स पर वितरित मॉडल्स बनाने और प्रशिक्षित करने के लिए डिज़ाइन किया गया है। यह मेमोरी ओवरहेड को कम करने और प्रोसेसिंग गति बढ़ाने के लिए डिवाइसेस के मेश पर वेट्स और कंप्यूटेशन्स को विभाजित करके ऑटोरिग्र्रेसिव मॉडल्स को प्रीट्रेन और फाइन-ट्यून करने के लिए एक सिस्टम प्रदान करता है। फ्रेमवर्क में संसाधनों को प्रोविज़न करने और रिमोट वितरित नोड्स पर डिपेंडेंसी इंस्टॉलेशन को स्वचालित करने के लिए एक TPU कंप्यूट ऑर्केस्ट्रेटर शामिल है। इसमें एक मॉडल वेट कन्वर्टर भी है जो विभिन्न हार्डवेयर कॉन्फ़िगरेशन और न्यूमेरिकल प्रिसिजन के बीच चेकपॉइंट्स को ट्रांसफॉर्म और रिशार्ड करने में सक्षम है। प्रोजेक्ट क्लाउड स्टोरेज के लिए शार्ड चेकपॉइंट मैनेजमेंट, स्टेट रिस्टोरेशन के साथ स्ट्रीम-आधारित डेटा लोडिंग, और मॉडल इन्फरेंस के लिए न्यूक्लियस-आधारित टेक्स्ट जनरेशन सहित व्यापक क्षमताओं को कवर करता है। यह TPU और GPU क्लस्टर्स के लिए XLA-कंपाइल्ड हार्डवेयर एक्सेलेरेशन का समर्थन करता है और मानकीकृत भाषा कार्यों के खिलाफ प्रदर्शन बेंचमार्किंग के लिए उपकरण प्रदान करता है।

KurrentDB is an event-native database designed for event sourcing and event-driven architectures. It stores events as immutable, ordered records in streams, preserving a complete audit trail and enabling temporal queries. The database uses gRPC for all client-server and inter-node communication, providing efficient binary serialization and bidirectional streaming, and supports atomic multi-stream writes that ensure consistency across multiple streams in a single transaction. The database distinguishes itself with a built-in JavaScript projection engine that transforms, filters, and aggregates

CRI-O is an open-source container runtime that implements the Kubernetes Container Runtime Interface (CRI) to manage container images, pods, and containers on cluster nodes using OCI-compatible runtimes. It serves as a node-level container manager that handles image pulling, container lifecycle, and resource monitoring for Kubernetes clusters, running containers according to the Open Container Initiative specifications. The runtime distinguishes itself through live configuration reloading that applies changes to runtime definitions, registry mirrors, and TLS certificates without restarting th

Composer एक PyTorch डिस्ट्रिब्यूटेड ट्रेनिंग फ्रेमवर्क है जिसे मल्टी-नोड GPU क्लस्टर में बड़े पैमाने के मॉडल को स्केल करने के लिए डिज़ाइन किया गया है। यह एक लार्ज लैंग्वेज मॉडल ट्रेनर, डिस्ट्रिब्यूटेड मॉडल ऑप्टिमाइज़र और ट्रेनिंग लाइफसाइकिल मैनेजर के रूप में कार्य करता है। यह प्रोजेक्ट एक डीप लर्निंग रेगुलराइजेशन लाइब्रेरी के रूप में खुद को अलग करता है, जो मॉडल सामान्यीकरण (generalization) को बेहतर बनाने के लिए Sharpness Aware Minimization, MixUp और CutMix जैसी विशेष ऑप्टिमाइज़ेशन तकनीकें प्रदान करता है। यह सीक्वेंस लेंथ वार्मअप, प्रोग्रेसिव लेयर फ्रीजिंग और बड़े पैमाने पर मॉडल रिकवरी के लिए शार्डेड-स्टेट चेकपॉइंटिंग के उपयोग के माध्यम से अपने ट्रेनिंग फ्लो को और अलग करता है। यह फ्रेमवर्क डिस्ट्रिब्यूटेड ट्रेनिंग ऑर्केस्ट्रेशन, मिक्स्ड-प्रिसिजन हार्डवेयर मैनेजमेंट और क्लाउड-नेटिव डेटा स्ट्रीमिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह GPU मेमोरी डायग्नोस्टिक्स, ट्रेनिंग डाइवर्जेंस डिटेक्शन और थ्रूपुट ट्रैकिंग के लिए व्यापक मॉनिटरिंग और ऑब्जर्वेबिलिटी टूल भी प्रदान करता है। इस प्रोजेक्ट में नोड्स के बीच मल्टी-GPU ट्रेनिंग जॉब्स के निष्पादन को स्वचालित करने के लिए एक कमांड-लाइन लॉन्चर शामिल है।

ZenML is an extensible machine learning orchestration framework designed to manage the end-to-end lifecycle of data pipelines and AI agent workflows. It functions as a durable orchestrator that executes machine learning tasks as directed acyclic graphs, ensuring that every step is containerized for consistent performance across local, cloud, and hybrid infrastructure. By decoupling pipeline code from underlying compute and storage backends, the platform allows developers to define infrastructure-agnostic stacks that remain portable across diverse environments. The project distinguishes itself

SparkInternals is a technical reference and architecture guide detailing the internal design and implementation of the Apache Spark distributed computing engine. It serves as a study of big data engine analysis, focusing on how the system manages cluster execution and the interaction between driver nodes, executors, and workers. The project provides a detailed breakdown of how logical plans are converted into physical execution stages. It specifically analyzes the mechanics of data shuffle operations, memory management, and the coordination of distributed job scheduling. The documentation co

TinyBase एक रिएक्टिव डेटा स्टोर और इन-मेमोरी रिलेशनल डेटाबेस है जिसे क्लाइंट-साइड स्टेट पर्सिस्टेंस के लिए डिज़ाइन किया गया है। यह एक लोकल-फर्स्ट सिंक इंजन के रूप में कार्य करता है जो नियतात्मक डेटा अभिसरण (deterministic data convergence) सुनिश्चित करने के लिए संघर्ष-मुक्त प्रतिकृति डेटा प्रकारों (CRDTs) और लॉजिकल क्लॉक का उपयोग करके वितरित स्टेट को मर्ज करता है। इस प्रोजेक्ट में एक स्कीमा वैलिडेशन लाइब्रेरी है जो Zod, Yup और TypeBox जैसे टूल से बाहरी परिभाषाओं को टाइप-सेफ स्टोर परिभाषाओं में बदलती है। यह कई क्लाइंट्स और सर्वरों में सुसंगत स्टेट बनाए रखने के लिए Automerge, Yjs और PartyKit के साथ सिंक्रोनाइज़ेशन का उपयोग करके वास्तविक समय के सहयोगी संपादन के लिए एक इंफ्रास्ट्रक्चर प्रदान करती है। क्षमता सतह में टेबल और फॉरेन कीज़ के साथ रिलेशनल डेटा मॉडलिंग, SQL-जैसे क्वेरी और इंडेक्सिंग, और समूहीकृत म्यूटेशन के लिए एटॉमिक ट्रांजेक्शन शामिल हैं। यह ब्राउज़र स्टोरेज, SQLite और Cloudflare Durable Objects सहित पर्सिस्टेंस एडेप्टर की एक विस्तृत श्रृंखला का समर्थन करती है। सिस्टम React, SolidJS और Svelte के साथ एकीकरण के लिए द्विदिश स्टेट बाइंडिंग और घोषणात्मक कंपोनेंट्स भी प्रदान करता है।

This project is a Git-based AI session tracker and context manager designed to record AI agent interactions, transcripts, and tool usage directly into Git repositories. It functions as a system for capturing and indexing the reasoning behind code changes, linking AI prompts and responses to specific code commits to preserve developer intent. The tool distinguishes itself by using Git as a primary storage layer for session metadata, utilizing shadow branches and checkpoints to track agent state without polluting the main commit log. It includes specialized capabilities for auditing AI contribu

RLinf is a distributed reinforcement learning orchestrator and embodied AI training framework. It provides the infrastructure to train vision-language-action models and robotic policies using a combination of reinforcement learning and supervised fine-tuning. The system is designed for scaling workloads across GPU clusters, managing the placement of actors, rollout workers, and environment components. It features a specialized robotics data collection pipeline for gathering teleoperated demonstrations and simulation trajectories into standardized replay buffers, alongside a hardware interface