awesome-repositories.com
Blog
MCP
awesome-repositories.com

Entdecke die besten Open-Source-Repositories mit KI-gestützter Suche.

EntdeckenKuratierte SuchenOpen-Source-AlternativenSelf-hosted SoftwareBlogSitemap
ProjektMCP-ServerÜber unsRanking-MethodikPresse
RechtlichesDatenschutzAGB
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

443 Repos

Awesome GitHub RepositoriesDistributed Computing

Systems and frameworks that enable computational tasks to be executed across multiple networked machines.

Explore 443 awesome GitHub repositories matching networking & communication · Distributed Computing. Refine with filters or upvote what's useful.

Awesome Distributed Computing GitHub Repositories

Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
  • donnemartin/system-design-primerAvatar von donnemartin

    donnemartin/system-design-primer

    353,387Auf GitHub ansehen↗

    Dieses Projekt ist eine umfassende Bildungsressource und ein Studienleitfaden, der sich auf die Architektur verteilter Systeme und das Design von Backend-Infrastrukturen konzentriert. Es bietet einen strukturierten Lehrplan zur Beherrschung der Prinzipien von Skalierbarkeit, Zuverlässigkeit und Leistung, die für den Entwurf komplexer Softwaresysteme erforderlich sind. Das Repository zeichnet sich durch einen methodischen Ansatz zur Vorbereitung auf technische Vorstellungsgespräche aus, der Entwurfsmuster, architektonische Kompromisse und Tools für räumliche Wiederholungen integriert, um Nutzern das Behalten komplexer Konzepte zu erleichtern. Es betont die einschränkungsgesteuerte Analyse und lehrt Nutzer, wie sie konkurrierende Anforderungen wie Latenz, Konsistenz und Verfügbarkeit beim Entwurf von Architekturen bewerten können. Der Inhalt deckt ein breites Spektrum an Systemdesign-Fähigkeiten ab, einschließlich Strategien für die Datenbankskalierung, Verkehrsmanagement und Infrastrukturoptimierung. Es werden Techniken für horizontale Skalierung, mehrschichtiges Caching, asynchrone Kommunikation und Service-Discovery detailliert beschrieben, während gleichzeitig Frameworks für die Durchführung von Ressourcenschätzungen und Kapazitätsplanungen bereitgestellt werden. Die Dokumentation ist als Studienleitfaden organisiert und bietet einen systematischen Pfad durch die Grundlagen des Backend-Engineerings und des großskaligen Systemdesigns.

    Facilitates reliable data transfer between internal components using remote procedure call frameworks.

    Pythondesigndesign-patternsdesign-system
    Auf GitHub ansehen↗353,387
  • vinta/awesome-pythonAvatar von vinta

    vinta/awesome-python

    303,207Auf GitHub ansehen↗

    Dieses Projekt ist ein umfassendes, von der Community kuratiertes Verzeichnis, das eine riesige Landschaft von Python-Softwarebibliotheken, Frameworks und Tools organisiert. Es dient als zentrale Wissensdatenbank, die dazu entwickelt wurde, die Navigation im Ökosystem zu erleichtern und die Entdeckung durch Entwickler über den gesamten Softwareentwicklungs-Lebenszyklus hinweg zu beschleunigen. Das Verzeichnis zeichnet sich durch einen strukturierten Index von Ressourcen aus, die nach technischen Bereichen kategorisiert sind, von grundlegenden Entwicklungs-Dienstprogrammen bis hin zu spezialisierten Ingenieursbereichen. Es deckt hochrangige Fähigkeiten ab, einschließlich künstlicher Intelligenz, Data Science, Webentwicklung und Infrastrukturmanagement, was es Entwicklern ermöglicht, geprüfte Lösungen für spezifische technische Herausforderungen zu identifizieren. Das Projekt umfasst ein breites Spektrum an Fähigkeiten, einschließlich Tools für Abhängigkeitsmanagement, statische Codeanalyse und automatisierte Tests. Es katalogisiert zudem Ressourcen für persistente Datenspeicherung, Cloud-Infrastruktur-Orchestrierung und Schnittstellenentwicklung und bietet eine einheitliche Referenz für den Aufbau und die Wartung komplexer Softwaresysteme.

    Maintains persistent, real-time bidirectional data streams between client applications and backend servers.

    Pythonawesomecollectionspython
    Auf GitHub ansehen↗303,207
  • awesome-selfhosted/awesome-selfhostedAvatar von awesome-selfhosted

    awesome-selfhosted/awesome-selfhosted

    299,516Auf GitHub ansehen↗

    Dieses Projekt ist ein von der Community kuratiertes Verzeichnis von Open-Source-Software, die für den Einsatz in privaten Serverumgebungen und Home-Labs konzipiert ist. Es dient als umfassende Ressource zur Entdeckung unabhängiger, selbst gehosteter Alternativen zu gängigen Cloud-Diensten und ermöglicht es Nutzern, die volle Datenhoheit und Kontrolle über ihre digitale Infrastruktur zu behalten. Das Verzeichnis ist durch eine hierarchische Taxonomie strukturiert, die eine riesige Sammlung von Anwendungen in logische Kategorien organisiert, von Medienmanagement und Datenanalyse bis hin zu privater Kommunikation und Tools für die Teamproduktivität. Es zeichnet sich durch einen kollaborativen Peer-Review-Prozess aus, bei dem Community-Mitglieder die Qualität und Relevanz jeder Einreichung validieren, um sicherzustellen, dass das Verzeichnis korrekt und zuverlässig bleibt. Das Projekt deckt ein breites Spektrum an Fähigkeiten ab, einschließlich Infrastruktur-Automatisierung, containerbasierter Service-Bereitstellung und deklarativem Konfigurationsmanagement. Diese Tools unterstützen Nutzer bei der Aufrechterhaltung reproduzierbarer Serverumgebungen und der Verwaltung komplexer Service-Abhängigkeiten auf privater Hardware. Das Verzeichnis wird als versionskontrolliertes Repository gepflegt, wodurch sichergestellt wird, dass alle Updates und Community-gesteuerten Änderungen nachverfolgt und transparent sind.

    Hosts decentralized, real-time instant messaging servers based on the open XMPP protocol.

    awesomeawesome-listcloud
    Auf GitHub ansehen↗299,516
  • tensorflow/tensorflowAvatar von tensorflow

    tensorflow/tensorflow

    195,697Auf GitHub ansehen↗

    TensorFlow is a comprehensive machine learning framework designed for the construction, training, and deployment of complex mathematical models. It utilizes a graph-based execution model that represents operations as directed acyclic graphs, enabling automatic differentiation and efficient parallel processing. The system provides high-level interfaces for defining neural network architectures, alongside a robust engine for managing multidimensional array structures and tensor mathematics. The framework distinguishes itself through a scalable distributed runtime that orchestrates workloads acr

    Orchestrates parallelized training and inference workloads across decentralized network nodes and heterogeneous hardware accelerators.

    C++deep-learningdeep-neural-networksdistributed
    Auf GitHub ansehen↗195,697
  • n8n-io/n8nAvatar von n8n-io

    n8n-io/n8n

    192,772Auf GitHub ansehen↗

    n8n is a workflow automation platform that combines a visual interface with code-based extensibility to design, orchestrate, and manage automated processes. It provides a comprehensive suite of tools for data transformation, filtering, and storage, allowing users to build complex logic through conditional branching, looping, and sub-workflow execution. The platform supports both pre-built integration nodes and custom code execution in JavaScript or Python, enabling connectivity with a wide range of external services and APIs. The platform includes a suite of generative AI capabilities, such a

    Exposes a comprehensive HTTP interface for programmatic control over workflows and external system integrations.

    TypeScriptaiapisautomation
    Auf GitHub ansehen↗192,772
  • avelino/awesome-goAvatar von avelino

    avelino/awesome-go

    175,576Auf GitHub ansehen↗

    This project serves as a comprehensive language ecosystem index, functioning as a centralized, community-curated directory for the Go programming language. It organizes a vast landscape of software components, libraries, and development tools into a structured, navigable hierarchy, enabling developers to efficiently discover resources tailored to specific functional domains. The repository distinguishes itself through a decentralized contribution model, where community-driven updates ensure the index remains current with the rapidly evolving software landscape. Beyond simple resource listing,

    Supports building fault-tolerant, deterministic state machine replication engines for distributed systems.

    Goawesomeawesome-listgo
    Auf GitHub ansehen↗175,576
  • snailclimb/javaguideAvatar von Snailclimb

    Snailclimb/JavaGuide

    156,541Auf GitHub ansehen↗

    This project is a comprehensive educational repository providing technical documentation and learning materials across a wide range of computer science and software engineering domains. It serves as a centralized knowledge base for developers, covering core programming concepts, database management, distributed systems, and system design principles. The content spans fundamental Java programming, including collection frameworks and runtime environments, alongside deep dives into web communication protocols and browser internals. It also provides extensive resources on database internals, such

    Explains how distributed nodes maintain state synchronization and reach agreement using established consensus protocols.

    JavaScriptalgorithmsdistributed-systemsinterview
    Auf GitHub ansehen↗156,541
  • genymobile/scrcpyAvatar von Genymobile

    Genymobile/scrcpy

    143,637Auf GitHub ansehen↗

    This project provides a desktop-based interface for remote control and screen mirroring of Android devices. It functions by establishing a persistent, multiplexed communication channel over the Android Debug Bridge, allowing for the transmission of raw binary data streams between a host computer and a connected mobile device. The tool distinguishes itself by injecting a lightweight binary into the mobile runtime to access system-level APIs for direct screen buffer capture and input event injection. By translating desktop mouse and keyboard signals into native Linux kernel events, it enables r

    Creates a persistent, bidirectional communication channel over the Android Debug Bridge to transport raw binary data streams.

    Candroidcffmpeg
    Auf GitHub ansehen↗143,637
  • firecrawl/firecrawlAvatar von firecrawl

    firecrawl/firecrawl

    133,479Auf GitHub ansehen↗

    Firecrawl is a web data extraction platform designed to convert unstructured web content into clean, LLM-ready formats like markdown or JSON. It functions as an autonomous web crawler and scraper, capable of mapping entire domains, performing recursive navigation, and executing complex data gathering tasks. By leveraging headless browser orchestration, the system handles dynamic, JavaScript-heavy pages to ensure comprehensive data capture. The platform distinguishes itself through its focus on agentic workflows, providing a programmatic interface that allows autonomous agents to perform live

    Coordinates discovery tasks by partitioning and synchronizing web data collection across multiple worker nodes.

    TypeScriptaiai-agentsai-crawler
    Auf GitHub ansehen↗133,479
  • comfy-org/comfyuiAvatar von Comfy-Org

    Comfy-Org/ComfyUI

    117,227Auf GitHub ansehen↗

    ComfyUI is a node-based generative AI orchestration engine designed for constructing, testing, and executing complex image and video synthesis pipelines. By utilizing a directed acyclic graph execution model, the platform allows users to build reproducible workflows through modular, interconnected processing blocks without requiring manual code implementation. It serves as both a local environment for high-performance model inference and a production-ready server for deploying generative capabilities. The platform distinguishes itself through its focus on workflow portability and extensibilit

    Establishes real-time communication channels between the graphical interface and backend execution engine to stream live progress updates and node status.

    Pythonaicomfycomfyui
    Auf GitHub ansehen↗117,227
  • tauri-apps/tauriAvatar von tauri-apps

    tauri-apps/tauri

    107,946Auf GitHub ansehen↗

    Tauri is a cross-platform framework for building desktop applications that combine web-based user interfaces with a memory-safe systems-language backend. It functions as a secure runtime that hosts web content within native windowing containers, allowing developers to leverage existing web technologies while maintaining high-performance native logic. By compiling applications into small-footprint, platform-specific binaries, the framework avoids bundling heavy runtime environments, resulting in lightweight executables. The project distinguishes itself through a capability-based security model

    Coordinates bidirectional, asynchronous communication between web-based frontends and native backends using serialized message passing.

    Rustdesktop-apphigh-performancemobile-app
    Auf GitHub ansehen↗107,946
  • denoland/denoAvatar von denoland

    denoland/deno

    107,110Auf GitHub ansehen↗

    Deno is a high-performance runtime for JavaScript and TypeScript that prioritizes security and developer productivity. Built on the V8 engine, it provides a secure execution environment that enforces a default-deny security model, requiring explicit user authorization for access to system resources like the file system, network, and environment variables. The runtime natively supports modern web-standard APIs, ensuring consistent behavior and portability across different environments. What distinguishes Deno is its integrated approach to the software development lifecycle. It bundles essentia

    Upgrades standard HTTP requests into persistent, bidirectional channels for real-time data exchange.

    Rustdenojavascriptrust
    Auf GitHub ansehen↗107,110
  • pytorch/pytorchAvatar von pytorch

    pytorch/pytorch

    100,814Auf GitHub ansehen↗

    PyTorch is a machine learning framework centered on a GPU-ready tensor library that supports multi-dimensional array operations across both CPU and accelerator hardware. It provides a foundational infrastructure for mathematical computation and dynamic neural network construction, utilizing a tape-based automatic differentiation system that allows for flexible, non-static graph execution. The framework is designed for deep integration with Python, enabling natural usage alongside standard scientific computing ecosystems. It distinguishes itself through a comprehensive distributed training sui

    Partitions large models across multiple devices to bypass single-device memory constraints during parallel execution.

    Pythonautograddeep-learninggpu
    Auf GitHub ansehen↗100,814
  • oven-sh/bunAvatar von oven-sh

    oven-sh/bun

    93,257Auf GitHub ansehen↗

    Bun is a high-performance runtime environment designed to execute JavaScript and TypeScript applications with minimal latency and high throughput. Built on a native core implemented in Zig, it provides a unified execution engine that leverages JavaScriptCore for efficient memory management and low-latency startup. The project functions as an all-in-one toolchain, integrating a native bundler, transpiler, package manager, and test runner into a single command-line interface. What distinguishes Bun is its focus on native system integration and developer productivity. It features a high-performa

    Facilitates persistent, bidirectional communication channels for real-time data exchange through high-performance server-side primitives.

    Rustbunbundlerjavascript
    Auf GitHub ansehen↗93,257
  • openai/codexAvatar von openai

    openai/codex

    91,445Auf GitHub ansehen↗

    Codex is an automated programming tool and generative code assistant designed to interpret developer intent through a natural language interface. It functions as a machine learning model trained on public code repositories to provide intelligent code completion, suggestions, and refactoring within development environments. By translating human instructions into executable code snippets, the system bridges the gap between high-level technical requirements and functional software implementation. The engine utilizes transformer-based sequence modeling and supervised fine-tuning to align its outp

    Splits large neural network layers across multiple hardware accelerators to optimize memory usage for high-parameter models.

    Rust
    Auf GitHub ansehen↗91,445
  • bitcoin/bitcoinAvatar von bitcoin

    bitcoin/bitcoin

    89,442Auf GitHub ansehen↗

    This project is a cryptographic consensus engine and distributed ledger client that functions as a peer-to-peer network node. It enables decentralized network participation by allowing users to independently validate transactions and blocks, ensuring data integrity and consensus without reliance on a centralized authority. The software utilizes an unspent transaction output model to track ownership and verify state transitions across the network. What distinguishes this implementation is its commitment to verifiable security and deterministic operation. It features a reproducible build system

    Acts as a secure gateway for authenticated node management, transaction broadcasting, and data retrieval.

    C++bitcoinc-plus-pluscryptocurrency
    Auf GitHub ansehen↗89,442
  • louislam/uptime-kumaAvatar von louislam

    louislam/uptime-kuma

    88,107Auf GitHub ansehen↗

    Uptime Kuma is a self-hosted monitoring platform designed to track the availability and performance of network services and websites. It functions as a centralized dashboard that executes asynchronous health checks on a scheduled interval, providing real-time visibility into infrastructure health and service uptime. The platform distinguishes itself through a dedicated notification engine that dispatches alerts across multiple third-party messaging services, alongside a public status page generator that allows users to communicate service health and historical metrics via custom domains. Its

    Maintains persistent bidirectional connections to push live status updates to clients without requiring manual polling.

    JavaScriptdockermonitormonitoring
    Auf GitHub ansehen↗88,107
  • modelcontextprotocol/serversAvatar von modelcontextprotocol

    modelcontextprotocol/servers

    87,320Auf GitHub ansehen↗

    The Model Context Protocol is a standardized communication framework designed to connect language models to external data sources, functional tools, and interactive user interfaces. It provides a vendor-neutral interface layer that enables AI hosts to discover and execute capabilities across heterogeneous service environments, using a JSON-RPC based messaging standard to facilitate bidirectional communication between clients and servers. The protocol distinguishes itself through a robust capability-based handshake that negotiates feature sets during session initialization, ensuring compatibil

    Implements a JSON-RPC messaging standard to define bidirectional communication patterns for distributed service architectures.

    TypeScript
    Auf GitHub ansehen↗87,320
  • syncthing/syncthingAvatar von syncthing

    syncthing/syncthing

    85,400Auf GitHub ansehen↗

    Syncthing ist eine dezentrale Dateisynchronisierungs-Engine, die konsistente Datenzustände über mehrere Geräte hinweg durch Peer-to-Peer-Mesh-Netzwerke aufrechterhält. Es arbeitet als Hintergrund-Daemon, der Dateierstellungen, -änderungen und -löschungen automatisch zwischen vertrauenswürdigen Knoten repliziert, ohne dass zentrale Server erforderlich sind. Durch die Verwendung von inhaltsadressierbarer Blockindizierung und Block-Level-Delta-Synchronisation identifiziert und überträgt das System nur die geänderten Segmente von Dateien, was eine effiziente Datenverbreitung in heterogenen Umgebungen gewährleistet. Das Projekt zeichnet sich durch eine sicherheitsorientierte Architektur aus, die auf gegenseitiger TLS-Authentifizierung basiert, um die Geräteidentität zu verifizieren und sicherzustellen, dass alle Verbindungen kryptografisch an vertrauenswürdige Zertifikats-Fingerabdrücke gebunden sind. Es unterstützt flexible Synchronisationsmodi, einschließlich bidirektionaler Replikation, unidirektionaler Spiegelung für Backups und referenzbasierter Durchsetzung. Für zusätzliche Privatsphäre bietet das System eine ordnerbasierte Verschlüsselung für nicht vertrauenswürdige Geräte und ermöglicht eine granulare Kontrolle über den Netzwerkverkehr, einschließlich der Möglichkeit, Vorgänge auf lokale Netzwerke zu beschränken oder Relay-Infrastruktur für NAT-Traversal zu nutzen. Über die Kernfunktionen der Replikation hinaus bietet die Plattform umfassende Verwaltungstools, darunter ein webbasiertes Dashboard zur Überwachung von Verbindungsstatus und Durchsatz sowie eine Befehlszeilenschnittstelle für fortgeschrittene Konfigurationen. Es enthält robuste Versionierungsstrategien zum Schutz vor Datenverlust und unterstützt komplexe Bereitstellungsszenarien durch native Service-Integration und Observability-Metriken. Die Software ist für plattformübergreifende Kompatibilität ausgelegt und kann über Standard-Paketmanager oder containerisierte Umgebungen installiert werden.

    Operates as a background service that automatically replicates file modifications across remote systems as soon as they come online.

    Gogop2ppeer-to-peer
    Auf GitHub ansehen↗85,400
  • localsend/localsendAvatar von localsend

    localsend/localsend

    83,448Auf GitHub ansehen↗

    LocalSend is a cross-platform utility designed for secure, peer-to-peer file transfers between devices on the same local network. By establishing direct, encrypted communication channels, the application enables users to share files without relying on external servers, cloud storage, or active internet connectivity. The project distinguishes itself through a unified codebase that supports native-looking interfaces across desktop and mobile operating systems. It utilizes automated peer discovery to identify available devices on a subnet and employs end-to-end encryption to ensure data integrit

    Protects data integrity and privacy through end-to-end encryption during direct peer-to-peer communication.

    Dartdartfile-sharingflutter
    Auf GitHub ansehen↗83,448
Vorherige123456…23Nächste
  1. Home
  2. Networking & Communication
  3. Distributed Systems and Peer-to-Peer
  4. Distributed Computing

Unter-Tags erkunden

  • Ability-Based Distributed ExecutorsRunning computations across remote nodes using an effect system that handles dependency deployment and execution without external frameworks. **Distinct from Distributed Computing:** Distinct from Distributed Computing: focuses on using an effect system for distributed execution, not general cluster computing frameworks.
  • Bytecode Shipping EnginesShip a function's bytecode tree to a remote location and sync missing dependencies on the fly, enabling distributed execution without pre-deployment setup. **Distinct from Distributed Computing:** Distinct from Distributed Computing: focuses on shipping bytecode and syncing dependencies on the fly, not general distributed task execution.
  • Communication Protocols8 Sub-TagsStandards and mechanisms for inter-process communication.
  • Consensus and Coordination Systems4 Sub-TagsAlgorithms and services for maintaining global state, agreement, and topology across distributed nodes.
  • Data Synchronization and Consistency8 Sub-TagsFrameworks and protocols for managing data state, replication, and consistency models across distributed environments.
  • Data-Colocated ComputationExecuting computational logic on the specific nodes where the required data is stored to minimize network movement. **Distinct from Distributed Computing:** Distinct from general Distributed Computing: specifically refers to the 'data-locality' or colocation pattern where logic moves to data.
  • Deterministic ID Generation2 Sub-TagsComputing unique identifiers based on parent IDs and keys rather than random generation. **Distinct from Distributed ID Generators:** Focuses on deterministic computation from seeds/parents rather than globally unique random IDs.
  • Distributed Crawl CoordinationMechanisms for partitioning and synchronizing web discovery tasks across multiple worker nodes.
  • Distributed Execution Runtimes2 Sub-TagsInfrastructure layers for orchestrating general-purpose parallel tasks, batch jobs, and inference workloads.
  • Distributed ID Generators3 Sub-TagsAlgorithms and services for creating globally unique IDs.
  • Hierarchical Metric Aggregation1 Sub-TagParent-child node relationships for data forwarding and centralization.
  • Hierarchical ScalingArchitectures that use parent-child relationships to scale data collection and retention.
  • Model Parallelism Techniques5 Sub-TagsMethods for partitioning neural network layers, tensors, or parameters across hardware to overcome memory and compute constraints.
  • Private Distributed ComputationDistributed execution of computations where the underlying data is kept private through encryption. **Distinct from Distributed Computing:** Distinct from Distributed Computing: specifies that the computation is performed privately/encrypted, not just across multiple machines.
  • Remote Procedure Call Frameworks3 Sub-TagsFrameworks that facilitate remote execution of functions and inter-process communication across distributed system components.