Awesome GitHub RepositoriesCloud Data Lake Integrations

Cube is a semantic data layer that provides a unified framework for defining business metrics, dimensions, and relationships across diverse data sources. By acting as a headless business intelligence engine, it transforms raw data into a governed model that can be queried via SQL, REST, and GraphQL interfaces. This architecture ensures consistent data definitions and logic across all downstream analytical applications and reporting tools. The platform distinguishes itself through its integrated conversational AI capabilities, which allow users to explore data using natural language. It orches

StarRocks is a distributed SQL OLAP database engine designed for real-time analytics and high-performance multi-dimensional analysis. It functions as a data lakehouse query engine that enables SQL execution across large datasets and external open table formats without requiring local data imports. The system employs a shared-nothing distributed architecture and utilizes the MySQL protocol to integrate with business intelligence tools. It maintains real-time data consistency through a primary key upsert model and accelerates query response times using vectorized execution and cost-based optimi

Azure Docs is the official technical documentation repository for Microsoft Azure, the cloud computing platform. It provides comprehensive guidance on the full spectrum of Azure services, covering everything from core infrastructure components like virtual machines, Kubernetes clusters, and serverless computing to platform services for AI, machine learning, data analytics, and storage. The documentation details how to provision, manage, and govern cloud resources at scale, including policy enforcement, identity management, and cost optimization. The documentation distinguishes Azure through i

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Daft is a distributed dataframe library and multimodal data processor designed to handle large-scale structured and unstructured data. It functions as a vectorized execution engine that processes tables alongside images, audio, and video, utilizing a unified schema to manage diverse data types. The project distinguishes itself by combining distributed data engineering with large-scale AI inference. It provides an AI data pipeline for batch-optimizing model prompts and generating high-dimensional text embeddings, while utilizing zero-copy memory sharing to execute custom Python functions witho

Cube Studio ist eine Cloud-native MLOps-Plattform und ein Kubernetes-basierter KI-Orchestrator, der für den gesamten Lebenszyklus des maschinellen Lernens konzipiert ist. Es bietet ein Framework für verteiltes Training zur Feinabstimmung großer Modelle, einen GPU-Ressourcenmanager für Hardware-Virtualisierung und einen ML-Pipeline-Orchestrator, der visuelle gerichtete azyklische Graphen zur Verwaltung von End-to-End-Workflows nutzt. Die Plattform zeichnet sich durch ihren spezialisierten LLM-Inference-Server aus, der Retrieval-Augmented Generation und den Aufbau privater Wissensdatenbanken unterstützt. Sie verfügt über ein dediziertes System für das überwachte Fine-Tuning und Reinforcement Learning großer Sprachmodelle, ergänzt durch visuelle Tools zur Hyperparameter-Suche. Das System deckt ein breites Spektrum operativer Fähigkeiten ab, darunter multimodale Datenlabeling-Prozesse, verteilte Datenpipelines und Multi-Cluster-Workload-Scheduling. Zudem bietet es browserbasierte interaktive Entwicklungsumgebungen, Container-Image-Management und eine Modell-Registry für die Versionierung und Bereitstellung skalierbarer Inference-APIs mit Traffic-Splitting. Die Infrastruktur umfasst ein integriertes Cluster-Health-Monitoring sowie rollenbasierte Zugriffskontrolle mit Single-Sign-On-Integration.

esProc ist ein verteiltes ETL-Framework und eine eingebettete Datenberechnungs-Engine. Es bietet eine strukturierte Datensprache für die Java Virtual Machine, die für relationale Abfragen, komplexe Datenberechnungen und strukturierte Datenanalyse entwickelt wurde. Das System verfügt über eine Abfrageschnittstelle für natürliche Sprache, die große Sprachmodelle nutzt, um Anfragen in ausführbare Abfragen gegen strukturierte Datensätze zu übersetzen. Es verwendet eine domänenspezifische Abfragesprache mit präziser Syntax, um Tabellenbeziehungen herzustellen und Informationen abzurufen. Die Plattform deckt die Datenintegration über verschiedene relationale und NoSQL-Quellen hinweg ab und verwaltet ETL-Workflows, um Daten zwischen Dateien und Datenbanken zu verschieben. Zusätzliche Funktionen umfassen die Generierung strukturierter Datenberichte, eine Echtzeit-Gitter-Schnittstelle für die Visualisierung der schrittweisen Ausführung und die Möglichkeit, benutzerdefinierte externe freigegebene Bibliotheken zu integrieren.

Dieses Projekt ist eine AWS-Pandas-Integrationsbibliothek und ein Daten-Pipeline-Framework, das entwickelt wurde, um die Bewegung und Transformation von Daten zwischen lokalem Speicher und AWS-Speicher- und Analysediensten zu vereinfachen. Es fungiert als Cloud-Data-Lake-Toolkit und Storage-File-Manager, der es Nutzern ermöglicht, strukturierte Daten über verschiedene Cloud-Umgebungen hinweg zu lesen, zu schreiben und zu transformieren. Die Bibliothek zeichnet sich als verteilter Compute-Orchestrator aus, der Cluster in Umgebungen wie EMR verwalten kann, um Datensätze zu verarbeiten, die die Speichergrenzen einer einzelnen Maschine überschreiten. Sie bietet zudem spezialisierte Funktionen zur Verwaltung von Vektor-Indizes und zur Durchführung von Ähnlichkeitssuchen innerhalb von Cloud-Storage-Buckets. Die breiteren Funktionen umfassen Cloud-Datenbank-ETL für Dienste wie DynamoDB, RDS und Timestream sowie Cloud-Data-Catalog-Management via AWS Glue. Sie unterstützt serverlose Datenanalyse durch Athena und Redshift und bietet Utilities zur Verwaltung von S3-Objekten, zur Indexierung von Dokumenten in OpenSearch und zur Analyse von CloudWatch-Logs.

aws-sdk-pandas ist eine Python-Bibliothek, die Pandas-Dataframes mit AWS-Diensten integriert und als Cloud-Daten-ETL-Tool und Data-Lake-Connector fungiert. Sie bietet eine einheitliche Schnittstelle, um Daten zwischen In-Memory-Dataframes und Cloud-Speicher, Datenbanken und Data-Warehouses zu bewegen und zu transformieren. Das Projekt zeichnet sich als verteilter Compute-Orchestrator aus, der Pandas-basierte Workloads an EMR-Cluster und serverlose Verarbeitungsumgebungen übermitteln kann. Es spezialisiert sich zudem auf die Koordination verteilter Datenverarbeitung via Ray-Cluster-Initialisierung, um Datensätze zu verarbeiten, die den Speicher einer einzelnen Maschine überschreiten. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich Object-Storage-Management für S3, SQL-Abfrageausführung für Athena und Redshift sowie Integration mit NoSQL-, Graph- und Zeitreihendatenbanken. Sie enthält zudem Utilities für Metadaten-Management durch den Glue-Katalog, OpenSearch-Datenindexierung und die Verwaltung von Business-Intelligence-Assets in QuickSight. Zusätzliche Funktionen umfassen das Abrufen von Secrets, die Analyse von CloudWatch-Logs und die Verwaltung von Datenqualitätsregeln.

Dinky is a real-time data platform for developing, deploying, and operating streaming applications based on Apache Flink. It functions as a SQL streaming IDE and a real-time data pipeline orchestrator, providing a web-based environment for writing and verifying queries with integrated logic plan visualization and lineage tracking. The platform acts as a distributed cluster manager, allowing the registration, monitoring, and administration of multiple processing clusters from a centralized interface. It also serves as a change data capture integration tool, synchronizing real-time database cha