Awesome GitHub RepositoriesCloud Storage Definition Loading

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Elsa Core is a workflow engine framework designed for defining, executing, and managing long-running business processes. It functions as a distributed workflow orchestrator and event-driven trigger system, capable of operating as a multi-tenant platform with secure data isolation. The project distinguishes itself through a flexible approach to workflow definitions, supporting a visual drag-and-drop designer, programmatic C# definitions, and portable JSON specifications. It provides a highly extensible architecture allowing for the development of custom activities and the use of a dynamic expr

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

pgai este un toolkit și framework AI pentru PostgreSQL, conceput pentru a integra modele de limbaj mari (LLM) și vector embeddings direct în baza de date. Acesta servește drept punte pentru executarea cererilor către modele de machine learning și pentru efectuarea traducerilor text-to-SQL în cadrul interogărilor standard de bază de date. Proiectul oferă un pipeline automatizat de vector embedding care gestionează încărcarea, parsarea și fragmentarea textului din tabele și documente nestructurate. Acest sistem utilizează un background worker pentru a sincroniza automat embedding-urile pe măsură ce datele sursă se modifică și include instrumente specializate pentru construirea de aplicații de tip retrieval-augmented generation (RAG) și motoare de căutare semantică. Toolkit-ul acoperă domenii largi de capabilități, inclusiv procesarea datelor nestructurate cu OCR, crearea de cataloage semantice pentru maparea schemelor de bază de date în limbaj natural și implementarea căutărilor de similaritate de înaltă performanță prin indexare vectorială și reranking. De asemenea, permite îmbogățirea datelor, clasificarea și moderarea conținutului prin apelarea modelelor externe via SQL.

AliSQL is a fork of MySQL by Alibaba that extends the relational database management system with enhancements for high performance, scalability, and enterprise-grade availability. It retains the core MySQL identity as a SQL-based database for storing, organizing, and retrieving structured data, while adding optimizations for large-scale transactional and analytical workloads. The project differentiates itself through a set of Alibaba-specific improvements, including a columnar engine for accelerating analytical queries directly on MySQL tables, and a distributed, shared-nothing NDB Cluster en

KServe is a Kubernetes-native platform for deploying and serving machine learning models as scalable inference services. It supports both generative AI models, including large language models, and traditional predictive models from frameworks such as TensorFlow, PyTorch, Scikit-Learn, XGBoost, and ONNX. The platform manages the full lifecycle of model deployments, including revision tracking, canary rollouts, A/B testing, and automatic rollbacks, and provides serverless scale-to-zero capabilities for cost-efficient resource management. KServe distinguishes itself through a standardized infere

lakeFS is a data lake versioning system that provides Git-like branching and commits for large datasets stored in object storage. It functions as a version control layer, enabling the creation of immutable snapshots, atomic commits, and zero-copy branching to create isolated environments for data experimentation without duplicating physical files. The system serves as an S3-compatible storage gateway and an Iceberg REST catalog, allowing standard cloud storage protocols and compatible clients to manage versioned tables. It acts as a data quality gatekeeper by using an event-driven hook system

GAM is a command-line tool for administering Google Workspace and Cloud Identity. It translates command-line arguments into structured API calls, enabling administrators to manage users, groups, organizational units, and domain settings across a Google Workspace environment. The tool handles authentication through OAuth2 flows, service accounts, and workload identity federation, and supports multi-tenant configurations for managing multiple domains or cloud projects from a single installation. GAM distinguishes itself through its batch processing and automation capabilities. It can process la

Acest proiect este o bibliotecă de integrare AWS pandas și framework de pipeline de date conceput pentru a simplifica mișcarea și transformarea datelor între memoria locală și serviciile de stocare și analiză AWS. Acesta funcționează ca un toolkit de data lake cloud și manager de fișiere de stocare, permițând utilizatorilor să citească, să scrie și să transforme date structurate în diverse medii cloud. Biblioteca se distinge ca un orchestrator de calcul distribuit capabil să gestioneze clustere în medii precum EMR pentru a procesa seturi de date care depășesc limitele de memorie ale unei singure mașini. Oferă, de asemenea, capabilități specializate pentru gestionarea indicilor vectoriali și efectuarea căutărilor de similaritate în bucket-urile de stocare cloud. Suprafața sa mai largă de capabilități acoperă ETL pentru baze de date cloud pentru servicii precum DynamoDB, RDS și Timestream, precum și gestionarea catalogului de date cloud prin AWS Glue. Suportă analiza datelor serverless prin Athena și Redshift și oferă utilitare pentru gestionarea obiectelor S3, indexarea documentelor în OpenSearch și analizarea log-urilor CloudWatch.

aws-sdk-pandas este o bibliotecă Python care integrează dataframe-urile pandas cu serviciile AWS, acționând ca un instrument ETL de date cloud și conector de data lake. Oferă o interfață unificată pentru a muta și transforma datele între dataframe-urile din memorie și stocarea cloud, bazele de date și depozitele de date. Proiectul se distinge ca un orchestrator de calcul distribuit capabil să trimită sarcini de lucru bazate pe pandas către clustere EMR și medii de procesare serverless. Se specializează în continuare în coordonarea procesării distribuite a datelor prin inițializarea clusterelor Ray pentru a gestiona seturi de date care depășesc memoria unei singure mașini. Biblioteca acoperă o gamă largă de capabilități, inclusiv gestionarea stocării obiectelor pentru S3, execuția interogărilor SQL pentru Athena și Redshift și integrarea cu baze de date NoSQL, graf și serii temporale. Include, de asemenea, utilitare pentru gestionarea metadatelor prin catalogul Glue, indexarea datelor OpenSearch și gestionarea activelor de business intelligence în QuickSight. Funcționalitatea suplimentară include recuperarea secretelor, analizarea log-urilor CloudWatch și gestionarea seturilor de reguli de calitate a datelor.