Awesome GitHub RepositoriesDistributed Shared Memory

Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

Skynet is a distributed game server framework designed for building scalable online game backends. It utilizes distributed actor-based clusters and real-time network communication to manage high-concurrency session coordination across multiple nodes. The framework includes a cluster management orchestrator for coordinating services via cluster-wide messaging and dynamic configuration updates. It features a multi-protocol network gateway supporting TCP, UDP, and WebSockets, alongside a data encoding layer using BSON and Sproto serialization for efficient information transfer between distribute

Dask 是一个并行计算框架和分布式任务调度器，旨在将 Python 数据科学工作流从单机扩展到大型集群。它作为一个集群资源管理器，通过将任务及其依赖项表示为有向无环图来编排计算逻辑。这种架构允许系统在管理复杂执行要求的同时，自动将工作负载分配到可用硬件上。 该项目通过一个延迟评估引擎脱颖而出，该引擎将数据操作推迟到明确请求时才执行，从而实现全局图优化和高效的资源分配。它结合了内存感知数据溢出功能，以防止在处理超过可用内存的数据集时系统崩溃，并利用任务图融合将操作序列组合成单个执行步骤，从而最大限度地减少调度开销和节点间通信。 该平台为大规模数据分析提供了全面的功能面，包括对分布式机器学习、高性能计算集成和并行数据处理的支持。它提供了用于集群生命周期管理、性能分析和任务执行实时监控的广泛工具。用户可以在各种基础设施上部署这些环境，包括本地硬件、云提供商、容器化系统和高性能计算集群。

This project is a Go language library that provides a programmatic interface for interacting with the Kubernetes API server. It serves as a client for managing cluster resources, offering both typed interfaces for compile-time safety and dynamic interfaces for unstructured data and custom resource management. The library includes a controller framework designed for building event-driven automation. This framework utilizes informers to maintain local resource caches and rate-limited work queues to decouple event detection from state reconciliation. High availability is supported through a lead

Berty is a peer-to-peer messaging application and framework designed for decentralized private messaging. It utilizes a distributed identity protocol and a decentralized database to enable end-to-end encrypted communication without relying on central servers, phone numbers, or email addresses. The project distinguishes itself through an offline messaging framework that uses Bluetooth Low Energy and multicast DNS for local device discovery. This allows peers to establish direct connections and exchange messages without internet or cellular data, using QR codes for secure contact exchange. The

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Mooncake 是一个用于高性能推理基础设施的存算分离大语言模型服务平台和分布式键值存储系统。它作为一个 GPU 内存编排器和 KV 缓存管理系统，通过在集群间池化和传输键值缓存来加速推理。 该系统的独特之处在于将推理的预填充（prefill）和解码（decode）阶段分离到不同的硬件集群中，以优化资源利用率。它利用高性能 RDMA 分布式缓存和零拷贝传输在计算节点间移动数据，绕过 CPU 以减少延迟和开销。 该平台涵盖了广泛的功能领域，包括分布式内存池化、通过 CXL 进行加速器内存路由，以及向 SSD 进行多级存储卸载。它通过元数据协调服务管理集群状态，并利用基于租约的对象保护和基于水位线的缓存驱逐机制实现资源治理。 该软件已打包用于容器化部署，支持主机网络和硬件设备映射。

SparkInternals 是一份技术参考和架构指南，详细介绍了 Apache Spark 分布式计算引擎的内部设计和实现。它作为大数据引擎分析的研究资料，重点关注系统如何管理集群执行以及驱动节点（Driver）、执行器（Executor）和工作节点（Worker）之间的交互。 该项目详细分解了逻辑计划如何转换为物理执行阶段。它专门分析了数据 Shuffle 操作、内存管理以及分布式作业调度协调的机制。 该文档涵盖了广泛的分布式计算功能，包括查询执行规划、数据依赖管理和内存缓存策略。它还研究了任务分配、并行执行以及用于故障恢复和数据持久化的过程。

该项目是一个事件驱动的 PHP 应用服务器和 HTTP 服务器桥梁，允许 Laravel 应用在持久化引擎上运行。通过将应用保留在内存中，它消除了通常每次请求所需的引导开销，从而提高了请求速度。 该服务器包含一个应用状态沙箱，在请求之间隔离应用容器以防止数据泄漏和状态污染。它还具有用于跨多个 worker 进程检索信息的共享内存数据存储，并提供用于持久化双向通信的 WebSocket 服务器实现。 该系统支持非阻塞数据库操作和异步 I/O 驱动程序，以处理多个并发请求。对于开发，它包含一个热重载工作流，在检测到源代码更改时自动重启服务器。

Octane 是一个 PHP 应用程序服务器加速器和进程管理器，将应用程序引导至内存中，以消除与每个单独请求相关的启动开销。它作为 Swoole 和 RoadRunner 等高并发引擎的运行时桥梁，利用持久工作进程来处理传入的 HTTP 请求。 该项目包括一个内存中应用程序状态管理器，使用原子表在工作进程间共享数据，以及一个并行执行多个操作以减少总请求延迟的并发任务运行器。它还通过在一定数量的请求后循环进程来管理工作进程生命周期，以防止内存泄漏。 其他功能涵盖定期后台任务调度和自动化开发重载，后者监控源代码的修改以触发服务器重启。

This project is a high-performance PHP application server designed to keep applications resident in memory, eliminating the bootstrap overhead typically associated with each request. It functions as a multi-protocol network server capable of handling HTTP, WebSocket, TCP, and UDP traffic simultaneously within a single instance. The system is distinguished by an event-driven worker pool and a high-precision task scheduler that executes recurring background jobs at millisecond intervals. It utilizes a shared memory state store for high-speed data access across worker processes and incorporates

该项目是一个用于在基于 JVM 的应用中开发和编排自主软件代理的框架。它提供了一个工具包，用于将人工智能直接嵌入业务逻辑中，使代理能够通过动态、面向目标的规划而不是刚性状态机来执行复杂任务。通过利用声明式注解，该框架允许开发者定义代理能力并将其集成到现有的面向对象领域模型中。 该框架通过一个供应商中立的抽象层脱颖而出，允许在运行时无缝切换本地和云端语言模型。它支持分布式协作，使独立代理能够跨不同服务共享信息和委派任务。为了确保对自主决策的可见性，该系统包括全面的仪表化功能，可捕获执行跟踪、性能指标和操作日志，并可导出到外部监控平台。 除了核心编排外，该平台还包括一套用于管理代理生命周期的工具，包括自动化技能发现、验证和环境引导。它具有用于交互式聊天和任务执行的终端界面，以及强制执行文件系统操作访问边界的安全原语。该框架还维护一个集中式内存存储库，为分布式代理进程提供共享上下文。

Varnish Cache 是一个 HTTP 反向代理和内容加速器，旨在位于 Web 服务器之前。它作为一个缓存引擎，将频繁访问的 Web 内容存储在内存中，以减少后端源服务器的处理负载并加快最终用户的交付时间。 该软件通过一种特定领域的配置语言脱颖而出，该语言将请求处理逻辑编译为机器级字节码，以实现线速执行。它利用多线程事件循环来管理并发连接，并采用共享内存对象存储和虚拟内存分页来促进快速数据检索和磁盘访问。 除了核心缓存能力外，该系统还提供全面的流量管理，包括请求-响应流水线处理和后端健康探测。这些功能允许将传入的网络请求分布在多个服务器上以确保高可用性，并动态地将流量路由远离过载的基础设施。