Awesome GitHub RepositoriesCloud Data Lake Integrations

Cube is a semantic data layer that provides a unified framework for defining business metrics, dimensions, and relationships across diverse data sources. By acting as a headless business intelligence engine, it transforms raw data into a governed model that can be queried via SQL, REST, and GraphQL interfaces. This architecture ensures consistent data definitions and logic across all downstream analytical applications and reporting tools. The platform distinguishes itself through its integrated conversational AI capabilities, which allow users to explore data using natural language. It orches

StarRocks is a distributed SQL OLAP database engine designed for real-time analytics and high-performance multi-dimensional analysis. It functions as a data lakehouse query engine that enables SQL execution across large datasets and external open table formats without requiring local data imports. The system employs a shared-nothing distributed architecture and utilizes the MySQL protocol to integrate with business intelligence tools. It maintains real-time data consistency through a primary key upsert model and accelerates query response times using vectorized execution and cost-based optimi

Azure Docs is the official technical documentation repository for Microsoft Azure, the cloud computing platform. It provides comprehensive guidance on the full spectrum of Azure services, covering everything from core infrastructure components like virtual machines, Kubernetes clusters, and serverless computing to platform services for AI, machine learning, data analytics, and storage. The documentation details how to provision, manage, and govern cloud resources at scale, including policy enforcement, identity management, and cost optimization. The documentation distinguishes Azure through i

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Daft is a distributed dataframe library and multimodal data processor designed to handle large-scale structured and unstructured data. It functions as a vectorized execution engine that processes tables alongside images, audio, and video, utilizing a unified schema to manage diverse data types. The project distinguishes itself by combining distributed data engineering with large-scale AI inference. It provides an AI data pipeline for batch-optimizing model prompts and generating high-dimensional text embeddings, while utilizing zero-copy memory sharing to execute custom Python functions witho

Cube Studio este o platformă MLOps cloud-native și un orchestrator AI bazat pe Kubernetes, conceput pentru întregul ciclu de viață al învățării automate. Oferă un framework de antrenare distribuită pentru fine-tuning-ul modelelor la scară largă, un manager de resurse GPU pentru virtualizarea hardware și un orchestrator de pipeline-uri ML care utilizează grafuri aciclice direcționate vizuale pentru a gestiona fluxurile de lucru end-to-end. Platforma se distinge prin serverul său specializat de inferență LLM, care suportă generarea augmentată prin recuperare (RAG) și construirea de baze de cunoștințe private. Dispune de un sistem dedicat pentru fine-tuning supervizat și învățare prin consolidare a modelelor de limbaj mari, completat de instrumente vizuale de căutare a hiperparametrilor. Sistemul acoperă o gamă largă de capabilități operaționale, inclusiv etichetarea datelor multimodale, pipeline-uri de date distribuite și programarea sarcinilor de lucru multi-cluster. De asemenea, oferă medii de dezvoltare interactive bazate pe browser, gestionarea imaginilor de containere și un registru de modele pentru versionarea și implementarea API-urilor de inferență scalabile cu împărțirea traficului. Infrastructura include monitorizarea integrată a stării clusterului și controlul accesului bazat pe roluri cu integrare single sign-on.

esProc este un framework ETL distribuit și un motor de calcul de date încorporat. Oferă un limbaj de date structurate pentru Java Virtual Machine, conceput pentru interogări relaționale, calcul complex de date și analiză de date structurate. Sistemul dispune de o interfață de interogare a datelor în limbaj natural care utilizează modele de limbaj mari pentru a traduce cererile în interogări executabile pe seturi de date structurate. Utilizează un limbaj de interogare specific domeniului, cu o sintaxă concisă pentru a stabili relații între tabele și a recupera informații. Platforma acoperă integrarea datelor din surse relaționale și NoSQL disparate și gestionează fluxurile de lucru ETL pentru a muta datele între fișiere și baze de date. Capabilitățile suplimentare includ generarea de rapoarte de date structurate, o interfață de grilă în timp real pentru vizualizarea execuției pas cu pas și capacitatea de a integra biblioteci externe partajate personalizate.

Acest proiect este o bibliotecă de integrare AWS pandas și framework de pipeline de date conceput pentru a simplifica mișcarea și transformarea datelor între memoria locală și serviciile de stocare și analiză AWS. Acesta funcționează ca un toolkit de data lake cloud și manager de fișiere de stocare, permițând utilizatorilor să citească, să scrie și să transforme date structurate în diverse medii cloud. Biblioteca se distinge ca un orchestrator de calcul distribuit capabil să gestioneze clustere în medii precum EMR pentru a procesa seturi de date care depășesc limitele de memorie ale unei singure mașini. Oferă, de asemenea, capabilități specializate pentru gestionarea indicilor vectoriali și efectuarea căutărilor de similaritate în bucket-urile de stocare cloud. Suprafața sa mai largă de capabilități acoperă ETL pentru baze de date cloud pentru servicii precum DynamoDB, RDS și Timestream, precum și gestionarea catalogului de date cloud prin AWS Glue. Suportă analiza datelor serverless prin Athena și Redshift și oferă utilitare pentru gestionarea obiectelor S3, indexarea documentelor în OpenSearch și analizarea log-urilor CloudWatch.

aws-sdk-pandas este o bibliotecă Python care integrează dataframe-urile pandas cu serviciile AWS, acționând ca un instrument ETL de date cloud și conector de data lake. Oferă o interfață unificată pentru a muta și transforma datele între dataframe-urile din memorie și stocarea cloud, bazele de date și depozitele de date. Proiectul se distinge ca un orchestrator de calcul distribuit capabil să trimită sarcini de lucru bazate pe pandas către clustere EMR și medii de procesare serverless. Se specializează în continuare în coordonarea procesării distribuite a datelor prin inițializarea clusterelor Ray pentru a gestiona seturi de date care depășesc memoria unei singure mașini. Biblioteca acoperă o gamă largă de capabilități, inclusiv gestionarea stocării obiectelor pentru S3, execuția interogărilor SQL pentru Athena și Redshift și integrarea cu baze de date NoSQL, graf și serii temporale. Include, de asemenea, utilitare pentru gestionarea metadatelor prin catalogul Glue, indexarea datelor OpenSearch și gestionarea activelor de business intelligence în QuickSight. Funcționalitatea suplimentară include recuperarea secretelor, analizarea log-urilor CloudWatch și gestionarea seturilor de reguli de calitate a datelor.

Dinky is a real-time data platform for developing, deploying, and operating streaming applications based on Apache Flink. It functions as a SQL streaming IDE and a real-time data pipeline orchestrator, providing a web-based environment for writing and verifying queries with integrated logic plan visualization and lineage tracking. The platform acts as a distributed cluster manager, allowing the registration, monitoring, and administration of multiple processing clusters from a centralized interface. It also serves as a change data capture integration tool, synchronizing real-time database cha