Awesome GitHub RepositoriesData Checkpointing

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

This project is a distributed training infrastructure designed for aligning large language models through reinforcement learning. It functions as an end-to-end engine for complex alignment tasks, including proximal policy optimization, direct preference optimization, and iterative self-play. By providing a unified framework for multi-turn interactions and tool-use scenarios, it enables the development of models capable of reasoning and external environment engagement. The framework distinguishes itself through a decoupled architecture that separates model training from sample generation. This

Metaflow is a Python machine learning framework and MLOps workflow orchestrator designed to manage the lifecycle of data pipelines from local prototyping to production. It serves as a distributed compute manager and an experiment tracking system, enabling the creation of reproducible pipelines that transition between development and high-availability production environments. The framework distinguishes itself through an integrated checkpointing system that automatically persists intermediate data artifacts to remote storage, allowing failed runs to be resumed from the last successful step. It

Sui is a blockchain platform featuring an object-centric state model and resource-oriented smart contracts. It utilizes parallel transaction execution to increase network throughput and supports programmable transaction blocks that bundle multiple operations into single atomic units. The platform distinguishes itself with a capability-based access control system and zero-knowledge login mechanisms, enabling users to authenticate via identity providers without seed phrases. It also implements deterministic object addressing to allow predictable state lookups and supports the creation of soulbo

هذا المشروع هو إطار عمل للمحولات (transformers) قائم على JAX ومدرب لنماذج اللغة الكبيرة مصمم لبناء وتدريب النماذج الموزعة على مسرعات الأجهزة TPU. يوفر نظاماً للتدريب المسبق والضبط الدقيق للنماذج ذاتية الانحدار عن طريق تقسيم الأوزان والحسابات عبر شبكة من الأجهزة لتقليل حمل الذاكرة وزيادة سرعة المعالجة. يتضمن إطار العمل منسق حساب TPU لتوفير الموارد وأتمتة تثبيت التبعيات عبر العقد الموزعة البعيدة. كما يتميز بمحول أوزان النموذج القادر على تحويل وإعادة تقسيم نقاط التحقق (checkpoints) بين تكوينات الأجهزة المختلفة والدقة العددية. يغطي المشروع قدرات أوسع تشمل إدارة نقاط التحقق المقسمة للتخزين السحابي، وتحميل البيانات القائم على التدفق مع استعادة الحالة، وتوليد النصوص القائم على النواة لاستنتاج النموذج. كما يدعم تسريع الأجهزة المجمع بـ XLA لمجموعات TPU و GPU ويوفر أدوات لقياس الأداء مقابل مهام اللغة الموحدة.

KurrentDB is an event-native database designed for event sourcing and event-driven architectures. It stores events as immutable, ordered records in streams, preserving a complete audit trail and enabling temporal queries. The database uses gRPC for all client-server and inter-node communication, providing efficient binary serialization and bidirectional streaming, and supports atomic multi-stream writes that ensure consistency across multiple streams in a single transaction. The database distinguishes itself with a built-in JavaScript projection engine that transforms, filters, and aggregates

CRI-O is an open-source container runtime that implements the Kubernetes Container Runtime Interface (CRI) to manage container images, pods, and containers on cluster nodes using OCI-compatible runtimes. It serves as a node-level container manager that handles image pulling, container lifecycle, and resource monitoring for Kubernetes clusters, running containers according to the Open Container Initiative specifications. The runtime distinguishes itself through live configuration reloading that applies changes to runtime definitions, registry mirrors, and TLS certificates without restarting th

Composer هو إطار عمل للتدريب الموزع في PyTorch مصمم لتوسيع نطاق النماذج الضخمة عبر مجموعات GPU متعددة العقد. يعمل كمدرب لنماذج اللغات الكبيرة، ومحسن نماذج موزع، ومدير لدورة حياة التدريب. يتميز المشروع كونه مكتبة لتنظيم التعلم العميق (regularization)، حيث يوفر تقنيات تحسين متخصصة مثل Sharpness Aware Minimization وMixUp وCutMix لتحسين تعميم النموذج. كما يميز تدفق التدريب الخاص به باستخدام تسخين طول التسلسل، وتجميد الطبقات التدريجي، وحفظ نقاط التحقق (checkpointing) المجزأة لاستعادة النماذج الضخمة. يغطي إطار العمل مساحة واسعة من القدرات بما في ذلك تنسيق التدريب الموزع، وإدارة الأجهزة ذات الدقة المختلطة، وبث البيانات السحابي. كما يوفر أدوات مراقبة وتشخيص واسعة النطاق لتشخيص ذاكرة GPU، واكتشاف تباعد التدريب، وتتبع الإنتاجية. يتضمن المشروع مشغلاً عبر سطر الأوامر لأتمتة تنفيذ مهام التدريب متعددة الـ GPU عبر العقد.

ZenML is an extensible machine learning orchestration framework designed to manage the end-to-end lifecycle of data pipelines and AI agent workflows. It functions as a durable orchestrator that executes machine learning tasks as directed acyclic graphs, ensuring that every step is containerized for consistent performance across local, cloud, and hybrid infrastructure. By decoupling pipeline code from underlying compute and storage backends, the platform allows developers to define infrastructure-agnostic stacks that remain portable across diverse environments. The project distinguishes itself

SparkInternals is a technical reference and architecture guide detailing the internal design and implementation of the Apache Spark distributed computing engine. It serves as a study of big data engine analysis, focusing on how the system manages cluster execution and the interaction between driver nodes, executors, and workers. The project provides a detailed breakdown of how logical plans are converted into physical execution stages. It specifically analyzes the mechanics of data shuffle operations, memory management, and the coordination of distributed job scheduling. The documentation co

TinyBase هو مخزن بيانات تفاعلي وقاعدة بيانات علائقية في الذاكرة مصممة لاستمرار حالة جهة العميل. يعمل كمحرك مزامنة محلي أولاً يدمج الحالة الموزعة باستخدام أنواع بيانات متماثلة خالية من التعارض (CRDTs) وساعات منطقية لضمان تقارب البيانات الحتمي. يتميز المشروع بمكتبة للتحقق من المخطط تحول التعريفات الخارجية من أدوات مثل Zod وYup وTypeBox إلى تعريفات مخزن آمنة للنوع. ويوفر بنية تحتية للتحرير التعاوني في الوقت الفعلي، باستخدام المزامنة مع Automerge وYjs وPartyKit للحفاظ على حالة متسقة عبر عملاء وخوادم متعددة. تشمل مساحة القدرات نمذجة البيانات العلائقية مع الجداول والمفاتيح الخارجية، والاستعلام والفهرسة الشبيهة بـ SQL، والمعاملات الذرية للطفرات المجمعة. يدعم مجموعة واسعة من محولات الاستمرار، بما في ذلك تخزين المتصفح، وSQLite، وCloudflare Durable Objects. يوفر النظام أيضاً ربط حالة ثنائي الاتجاه ومكونات تعريفية للتكامل مع React وSolidJS وSvelte.

This project is a Git-based AI session tracker and context manager designed to record AI agent interactions, transcripts, and tool usage directly into Git repositories. It functions as a system for capturing and indexing the reasoning behind code changes, linking AI prompts and responses to specific code commits to preserve developer intent. The tool distinguishes itself by using Git as a primary storage layer for session metadata, utilizing shadow branches and checkpoints to track agent state without polluting the main commit log. It includes specialized capabilities for auditing AI contribu

RLinf is a distributed reinforcement learning orchestrator and embodied AI training framework. It provides the infrastructure to train vision-language-action models and robotic policies using a combination of reinforcement learning and supervised fine-tuning. The system is designed for scaling workloads across GPU clusters, managing the placement of actors, rollout workers, and environment components. It features a specialized robotics data collection pipeline for gathering teleoperated demonstrations and simulation trajectories into standardized replay buffers, alongside a hardware interface