Awesome GitHub RepositoriesCloud Data Lake Integrations

Cube is a semantic data layer that provides a unified framework for defining business metrics, dimensions, and relationships across diverse data sources. By acting as a headless business intelligence engine, it transforms raw data into a governed model that can be queried via SQL, REST, and GraphQL interfaces. This architecture ensures consistent data definitions and logic across all downstream analytical applications and reporting tools. The platform distinguishes itself through its integrated conversational AI capabilities, which allow users to explore data using natural language. It orches

StarRocks is a distributed SQL OLAP database engine designed for real-time analytics and high-performance multi-dimensional analysis. It functions as a data lakehouse query engine that enables SQL execution across large datasets and external open table formats without requiring local data imports. The system employs a shared-nothing distributed architecture and utilizes the MySQL protocol to integrate with business intelligence tools. It maintains real-time data consistency through a primary key upsert model and accelerates query response times using vectorized execution and cost-based optimi

Azure Docs is the official technical documentation repository for Microsoft Azure, the cloud computing platform. It provides comprehensive guidance on the full spectrum of Azure services, covering everything from core infrastructure components like virtual machines, Kubernetes clusters, and serverless computing to platform services for AI, machine learning, data analytics, and storage. The documentation details how to provision, manage, and govern cloud resources at scale, including policy enforcement, identity management, and cost optimization. The documentation distinguishes Azure through i

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Daft is a distributed dataframe library and multimodal data processor designed to handle large-scale structured and unstructured data. It functions as a vectorized execution engine that processes tables alongside images, audio, and video, utilizing a unified schema to manage diverse data types. The project distinguishes itself by combining distributed data engineering with large-scale AI inference. It provides an AI data pipeline for batch-optimizing model prompts and generating high-dimensional text embeddings, while utilizing zero-copy memory sharing to execute custom Python functions witho

Cube Studio est une plateforme MLOps cloud-native et un orchestrateur d'IA basé sur Kubernetes, conçu pour l'ensemble du cycle de vie du machine learning. Il fournit un framework d'entraînement distribué pour le fine-tuning de modèles à grande échelle, un gestionnaire de ressources GPU pour la virtualisation matérielle, et un orchestrateur de pipelines ML qui utilise des graphes orientés acycliques visuels pour gérer les workflows de bout en bout. La plateforme se distingue par son serveur d'inférence LLM spécialisé, qui prend en charge la génération augmentée par récupération (RAG) et la construction de bases de connaissances privées. Elle dispose d'un système dédié au fine-tuning supervisé et à l'apprentissage par renforcement des grands modèles de langage, complété par des outils de recherche d'hyperparamètres visuels. Le système couvre un large éventail de capacités opérationnelles, incluant l'étiquetage de données multimodales, les pipelines de données distribués et la planification de charges de travail multi-cluster. Il fournit également des environnements de développement interactifs par navigateur, la gestion d'images de conteneurs et un registre de modèles pour le versioning et le déploiement d'API d'inférence scalables avec répartition de trafic. L'infrastructure inclut une surveillance de la santé des clusters intégrée et un contrôle d'accès basé sur les rôles (RBAC) avec intégration SSO.

esProc est un framework ETL distribué et un moteur de calcul de données embarqué. Il fournit un langage de données structurées pour la Java Virtual Machine conçu pour les requêtes relationnelles, le calcul de données complexe et l'analyse de données structurées. Le système dispose d'une interface de requête de données en langage naturel qui exploite les grands modèles de langage pour traduire les requêtes en requêtes exécutables sur des jeux de données structurés. Il emploie un langage de requête spécifique au domaine avec une syntaxe concise pour établir des relations de table et récupérer des informations. La plateforme couvre l'intégration de données à travers des sources relationnelles et NoSQL disparates et gère les flux de travail ETL pour déplacer les données entre les fichiers et les bases de données. Les capacités supplémentaires incluent la génération de rapports de données structurées, une interface de grille en temps réel pour la visualisation de l'exécution étape par étape, et la capacité d'intégrer des bibliothèques partagées externes personnalisées.

Ce projet est une bibliothèque d'intégration AWS pandas et un framework de pipeline de données conçu pour simplifier le mouvement et la transformation des données entre la mémoire locale et les services de stockage et d'analyse AWS. Il fonctionne comme une boîte à outils de lac de données cloud et un gestionnaire de fichiers de stockage, permettant aux utilisateurs de lire, écrire et transformer des données structurées à travers divers environnements cloud. La bibliothèque se distingue comme un orchestrateur de calcul distribué capable de gérer des clusters dans des environnements tels qu'EMR pour traiter des jeux de données qui dépassent les limites de mémoire d'une seule machine. Elle fournit également des capacités spécialisées pour gérer des indices vectoriels et effectuer des recherches de similarité au sein de buckets de stockage cloud. Sa surface de capacité plus large couvre l'ETL de base de données cloud pour des services comme DynamoDB, RDS et Timestream, ainsi que la gestion de catalogue de données cloud via AWS Glue. Elle prend en charge l'analyse de données sans serveur via Athena et Redshift, et fournit des utilitaires pour gérer les objets S3, indexer des documents dans OpenSearch et analyser les journaux CloudWatch.

aws-sdk-pandas est une bibliothèque Python qui intègre les dataframes pandas avec les services AWS, agissant comme un outil ETL de données cloud et un connecteur de lac de données. Elle fournit une interface unifiée pour déplacer et transformer les données entre des dataframes en mémoire et le stockage cloud, les bases de données et les entrepôts de données. Le projet se distingue comme un orchestrateur de calcul distribué capable de soumettre des charges de travail basées sur pandas à des clusters EMR et des environnements de traitement sans serveur. Il se spécialise davantage dans la coordination du traitement de données distribué via l'initialisation de clusters Ray pour gérer des jeux de données qui dépassent la mémoire d'une seule machine. La bibliothèque couvre un large éventail de capacités, incluant la gestion du stockage d'objets pour S3, l'exécution de requêtes SQL pour Athena et Redshift, et l'intégration avec des bases de données NoSQL, graphes et séries temporelles. Elle inclut également des utilitaires pour la gestion des métadonnées via le catalogue Glue, l'indexation de données OpenSearch et la gestion des actifs de business intelligence dans QuickSight. La fonctionnalité supplémentaire inclut la récupération de secrets, l'analyse des journaux CloudWatch et la gestion des ensembles de règles de qualité des données.

Dinky is a real-time data platform for developing, deploying, and operating streaming applications based on Apache Flink. It functions as a SQL streaming IDE and a real-time data pipeline orchestrator, providing a web-based environment for writing and verifying queries with integrated logic plan visualization and lineage tracking. The platform acts as a distributed cluster manager, allowing the registration, monitoring, and administration of multiple processing clusters from a centralized interface. It also serves as a change data capture integration tool, synchronizing real-time database cha