Awesome GitHub RepositoriesDecentralized Data Analysis

PySyft is a privacy-preserving machine learning framework and remote computation engine. It functions as a decentralized data analysis orchestrator that allows for the execution of data science workflows on remote servers without requiring the transfer of raw private data from the host device. The platform provides a secure collaboration environment where data owners manage permissions and authorize specific collaborators to run computations. It differentiates its workflow by utilizing mock data for local development and validation before submitting final analysis jobs to private remote serve

Flower is a federated learning framework and distributed machine learning orchestrator designed to train models across decentralized devices. It functions as a privacy-preserving toolkit that enables model training and data analysis on local hardware, ensuring raw data remains on the device while contributing to a synchronized global model. The system employs an agnostic wrapper and integrator to connect diverse machine learning libraries, allowing different frameworks to operate within the same training loop. It uses a remote procedure call orchestrator to manage the exchange of model weight

This repository is the official documentation for TensorFlow, a machine learning framework. It provides comprehensive guides, tutorials, and API references for building, training, and deploying machine learning models. The documentation covers the full lifecycle of machine learning projects, from constructing data pipelines and building neural networks with high-level APIs to customizing training loops and deploying trained models in production, on edge devices, or in browsers. The documentation includes step-by-step tutorials for a range of tasks, including reinforcement learning, ranking mo

FedML ist eine Bibliothek für verteiltes Machine Learning-Training, ein Framework für Federated Learning und ein Orchestrator für GPU-Workloads. Es bietet die Kernsystemkomponenten, die für die Ausführung von groß angelegtem Modelltraining und Fine-Tuning über Multi-Cloud-, On-Premise- und dezentrale GPU-Cluster hinweg erforderlich sind, und bietet zudem eine dedizierte Engine für skalierbares Model-Serving sowie einen MLOps-Pipeline-Manager für das End-to-End-Lifecycle-Management. Die Plattform zeichnet sich dadurch aus, dass sie datenschutzfreundliches Federated Learning über dezentrale Edge-Geräte und organisatorische Silos hinweg ermöglicht, wobei Rohdaten auf der lokalen Hardware verbleiben. Sie bietet zudem einen Compute-Marktplatz für Ressourcen-Pooling, der es Benutzern ermöglicht, ungenutzte GPU-Kapazitäten für die verteilte Aufgabenausführung in einen gemeinsamen Pool einzubringen. Das System deckt ein breites Spektrum an Funktionen ab, darunter Multi-Cloud-GPU-Orchestrierung, automatisiertes Machine-Learning-Pipeline-Management und Edge-AI-Deployment für IoT-Geräte und Smartphones. Zudem integriert es Tools für das Fine-Tuning von Foundation-Modellen, Deployment von Inferenz mit geringer Latenz und das Tracking von Trainingsexperimenten mit Hardware-Performance-Profiling. Benutzer können Workloads über eine Command-Line-Interface und deklarative Konfigurationsdateien starten und planen.

Dieses Projekt ist eine forschungsorientierte Plattform, die für die Simulation dezentraler Machine-Learning-Umgebungen konzipiert ist. Sie bietet ein Framework für das Training von Modellen über mehrere Client-Nodes hinweg, während Rohdaten lokalisiert bleiben, was die Evaluierung von Modellkonvergenz und Leistung unter verschiedenen verteilten Netzwerkbedingungen ermöglicht. Das System nutzt eine Parameter-Server-Architektur zur Koordinierung des Trainings, bei der ein zentraler Koordinator den globalen Modellzustand verwaltet und Gewichtsaktualisierungen von verteilten Teilnehmern aggregiert. Durch die Entkopplung der Trainings-Orchestrierungslogik von den zugrunde liegenden neuronalen Netzwerkdefinitionen ermöglicht das Framework das Testen diverser Modellarchitekturen und Datenverteilungen. Die Plattform enthält Tools zur Konfiguration und Ausführung von Experimenten, wie das Definieren von Client-Teilnahmestrategien, die Verwaltung der Datensatzpartitionierung und das Festlegen von Trainingsparametern. Sie unterstützt die Simulation heterogener Datenumgebungen und bietet Dienstprogramme für den Umgang mit Standard-Datensätzen, die alle darauf ausgelegt sind, die Kompatibilität mit dem PyTorch-Ökosystem sicherzustellen.