Awesome GitHub RepositoriesData Lake Management

Airflow is a platform for programmatically authoring, scheduling, and monitoring complex data pipelines. It functions as a workflow automation engine that manages the lifecycle of recurring business processes by executing code-defined task dependencies. By representing workflows as directed acyclic graphs, the system ensures that task execution order and data flow are explicitly defined and reliably maintained across distributed computing environments. The platform distinguishes itself through a highly modular, provider-based architecture that decouples core orchestration logic from external

Realtime is a real-time data distribution and synchronization engine that enables applications to stream database changes and coordinate state between clients. It functions as a synchronization layer that monitors database write-ahead logs to provide change data capture and pushes updates to authorized clients via WebSockets. The project features a real-time presence server for tracking the online status of active users and a broadcast service for sending ephemeral messages without database persistence. It organizes communication through channel-based message routing and uses a structured JSO

CubeFS est un système de stockage cloud distribué conçu pour gérer le stockage de fichiers et d'objets à travers des centres de données et des clouds hybrides. Il fonctionne comme un système de fichiers distribué multi-tenant et un magasin d'objets capable de gérer des données à l'échelle de l'exaoctet, utilisant une architecture distribuée pour stocker du contenu non structuré. Le système se distingue par une couche d'interface multi-protocole qui permet un accès simultané aux données via les interfaces S3, POSIX et HDFS. Il emploie une architecture découplée calcul-stockage pour faire évoluer le traitement et la persistance indépendamment, et implémente des politiques d'isolation fine pour séparer les ressources et les données entre les différents tenants. La fiabilité est gérée par des stratégies de redondance configurables, incluant la mise en miroir multi-répliques et le codage à effacement (erasure coding). La plateforme inclut un système de mise en cache multi-niveaux pour accélérer l'accès aux données et s'intègre à Kubernetes via un pilote Container Storage Interface pour automatiser le provisionnement de volumes persistants.

Ce projet est une bibliothèque d'intégration AWS pandas et un framework de pipeline de données conçu pour simplifier le mouvement et la transformation des données entre la mémoire locale et les services de stockage et d'analyse AWS. Il fonctionne comme une boîte à outils de lac de données cloud et un gestionnaire de fichiers de stockage, permettant aux utilisateurs de lire, écrire et transformer des données structurées à travers divers environnements cloud. La bibliothèque se distingue comme un orchestrateur de calcul distribué capable de gérer des clusters dans des environnements tels qu'EMR pour traiter des jeux de données qui dépassent les limites de mémoire d'une seule machine. Elle fournit également des capacités spécialisées pour gérer des indices vectoriels et effectuer des recherches de similarité au sein de buckets de stockage cloud. Sa surface de capacité plus large couvre l'ETL de base de données cloud pour des services comme DynamoDB, RDS et Timestream, ainsi que la gestion de catalogue de données cloud via AWS Glue. Elle prend en charge l'analyse de données sans serveur via Athena et Redshift, et fournit des utilitaires pour gérer les objets S3, indexer des documents dans OpenSearch et analyser les journaux CloudWatch.

aws-sdk-pandas est une bibliothèque Python qui intègre les dataframes pandas avec les services AWS, agissant comme un outil ETL de données cloud et un connecteur de lac de données. Elle fournit une interface unifiée pour déplacer et transformer les données entre des dataframes en mémoire et le stockage cloud, les bases de données et les entrepôts de données. Le projet se distingue comme un orchestrateur de calcul distribué capable de soumettre des charges de travail basées sur pandas à des clusters EMR et des environnements de traitement sans serveur. Il se spécialise davantage dans la coordination du traitement de données distribué via l'initialisation de clusters Ray pour gérer des jeux de données qui dépassent la mémoire d'une seule machine. La bibliothèque couvre un large éventail de capacités, incluant la gestion du stockage d'objets pour S3, l'exécution de requêtes SQL pour Athena et Redshift, et l'intégration avec des bases de données NoSQL, graphes et séries temporelles. Elle inclut également des utilitaires pour la gestion des métadonnées via le catalogue Glue, l'indexation de données OpenSearch et la gestion des actifs de business intelligence dans QuickSight. La fonctionnalité supplémentaire inclut la récupération de secrets, l'analyse des journaux CloudWatch et la gestion des ensembles de règles de qualité des données.

Memgraph is an in-memory, distributed graph database designed for high-performance labeled property graph management. It utilizes a Cypher query engine for declarative data retrieval and manipulation, providing a scalable knowledge graph backend that integrates vector search and graph traversals. The system distinguishes itself as a real-time graph analytics platform, employing native C++ and CUDA implementations to execute complex network analysis and dynamic community detection on streaming data. It provides specialized support for AI integration, including GraphRAG capabilities, the constr