Awesome GitHub RepositoriesDistributed Cluster Execution

Pentaho Kettle est une plateforme d'intégration de données ETL d'entreprise conçue pour extraire, transformer et charger des données entre des sources disparates et des bases de données cibles. Il fonctionne comme un orchestrateur piloté par les métadonnées qui utilise un concepteur de flux de travail visuel pour créer et gérer des séquences complexes de tâches de données et de pipelines de transformation. Le système se distingue par son moteur de traitement de données distribué, qui exécute les charges de travail sur des clusters de nœuds de serveur pour augmenter le débit. Il emploie une architecture basée sur des plugins, permettant à la plateforme d'être étendue via des fichiers JAR externes pour fournir une connectivité à diverses bases de données et services cloud. La plateforme couvre un large éventail de capacités d'intégration de données, notamment le chargement en masse, la gestion de fichiers à distance et la transformation de structures de données. Elle fournit des outils pour la validation de la qualité des données, l'automatisation des pipelines et la gestion du cycle de vie des tâches, ainsi que des utilitaires de surveillance pour suivre la santé du serveur et l'état d'exécution en temps réel.

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

SparkInternals est une référence technique et un guide d'architecture détaillant la conception interne et l'implémentation du moteur de calcul distribué Apache Spark. Il sert d'étude sur l'analyse des moteurs de big data, en se concentrant sur la gestion de l'exécution en cluster et l'interaction entre les nœuds drivers, les exécuteurs et les workers. Le projet fournit une décomposition détaillée de la manière dont les plans logiques sont convertis en étapes d'exécution physiques. Il analyse spécifiquement la mécanique des opérations de shuffle, la gestion de la mémoire et la coordination de la planification des jobs distribués. La documentation couvre un large éventail de capacités de calcul distribué, incluant la planification de l'exécution des requêtes, la gestion des dépendances de données et les stratégies de mise en cache en mémoire. Elle examine également la distribution des tâches, l'exécution parallèle et les processus utilisés pour la reprise sur erreur et la persistance des données.

statsforecast est une bibliothèque de prévision de séries temporelles statistiques haute performance conçue pour générer des prévisions ponctuelles et des intervalles de prédiction. Elle fonctionne comme un framework de séries temporelles distribué qui utilise un moteur de prévision basé sur C et un sélecteur de modèle automatisé pour identifier et ajuster le modèle statistique optimal pour chaque série unique dans un jeu de données. Le système inclut également un détecteur d'anomalies de séries temporelles pour identifier les points de données inhabituels en comparant les valeurs observées aux intervalles de prévision probabilistes. Le projet se distingue par sa capacité à gérer la prévision parallèle à très grande échelle pour des millions de séries individuelles. Il y parvient grâce à un framework de calcul distribué, une exécution parallèle multi-cœur et des noyaux C compilés qui accélèrent la logique de base ARIMA et de lissage exponentiel. Le système optimise davantage le traitement à grande échelle en utilisant une disposition de données au format long et un pipeline de données à évaluation paresseuse (lazy-evaluation) pour réduire la surcharge mémoire. La bibliothèque fournit une suite complète de modèles, notamment AutoARIMA, diverses méthodes de lissage exponentiel pour la demande intermittente ou saisonnière, la décomposition Theta et la modélisation de volatilité GARCH pour le risque financier. Elle couvre des domaines de capacités plus larges tels que la prévision multivariée avec des variables exogènes, la décomposition de séries temporelles et l'évaluation de modèles via la validation croisée historique et l'analyse par fenêtre glissante. La bibliothèque s'intègre avec des structures de données haute performance comme Polars et fournit des utilitaires pour servir les modèles enregistrés en tant qu'endpoints REST pour des prédictions accessibles par réseau.

Chunjun est un framework d'intégration de données distribué et un pipeline ETL basé sur SQL conçu pour synchroniser les données entre des sources hétérogènes. Il fonctionne comme un outil de capture de données modifiées (CDC) et un synchroniseur de données hétérogènes, utilisant un environnement de traitement distribué pour déplacer et transformer les données à travers différents types de bases de données. Le système se distingue par son architecture de connecteurs basée sur des plugins, qui permet le développement de plugins de source et de destination personnalisés pour étendre la connectivité aux systèmes de données non pris en charge. Il prend en charge la capture de données modifiées en temps réel à partir des journaux de bases de données relationnelles et implémente la propagation de l'évolution de schéma pour appliquer automatiquement les changements structurels des tables sources aux tables de destination. Le framework fournit des capacités pour la synchronisation de données incrémentielle et le calcul de données inter-sources utilisant la logique SQL. La fiabilité est gérée via une récupération de tâche basée sur des points de contrôle pour reprendre les transferts interrompus et des files d'attente de lettres mortes pour la gestion des données sales afin d'auditer les enregistrements mal formés. Les tâches d'intégration peuvent être déployées sur des clusters autonomes, Yarn ou des environnements Kubernetes, avec une prise en charge du déploiement conteneurisé via Docker.

RavenDB is a multi-model NoSQL document database designed for high-performance, ACID-compliant data storage. It persists structured information as schema-flexible JSON documents and utilizes a unit-of-work session pattern to track entity changes and batch modifications into atomic transactions. The platform is built on a distributed architecture that supports horizontal scaling through sharding and ensures high availability via multi-node, master-to-master cluster replication. The database distinguishes itself through a self-optimizing query engine that automatically creates and maintains ind