Awesome GitHub RepositoriesData Transformation Rules

Payload is a headless content management system and application framework that uses a code-first approach to define data schemas and administrative interfaces. By utilizing a centralized, type-safe configuration object, it automatically generates database schemas, API endpoints, and a fully customizable admin panel. The system is built on a database-agnostic architecture, allowing it to interface with various storage engines while providing a unified, type-safe API for server-side operations, REST, and GraphQL. What distinguishes Payload is its deep extensibility and developer-centric design.

Rickshaw is a JavaScript library for building interactive, SVG-based time series charts in the browser. It provides a framework for rendering line, area, bar, and scatterplot visualizations from data series, with built-in support for axes, legends, color palettes, and interactive controls. The library distinguishes itself through a plugin-based architecture that allows renderers to be swapped at runtime, such as switching between stacked area and line chart views while preserving chart state. It includes an event-driven interaction layer for hover details, click behaviors, and drag-based rang

CloudQuery is a cloud infrastructure ETL tool and multi-cloud data pipeline designed to collect, synchronize, and normalize resource metadata from various cloud providers and SaaS platforms. It functions as a centralized asset inventory manager and security posture manager, extracting configuration and state data into relational databases, data lakes, or data warehouses. The system distinguishes itself by transforming complex, nested cloud API responses into flat relational tables, enabling the use of standard SQL for asset querying and analysis. It employs a modular plugin system for data ex

pgloader is a command-line tool that automates the migration of data and schema from various source databases and file formats into PostgreSQL. It combines schema discovery, parallel data pipelines, and type casting into a single, declarative workflow, using PostgreSQL's COPY protocol for high-throughput bulk loading. The tool distinguishes itself by compiling a dedicated command language into concurrent reader-writer pipelines that handle schema introspection, data transformation, and error-resilient batch processing. It supports migrating entire databases from MySQL, MS SQL, SQLite, and Pos

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

dlt este un instrument de ingestie a datelor Python și un framework de pipeline ETL conceput pentru a prelua date din surse diverse și a le persista în destinații structurate. Funcționează ca un motor de inferență a schemei care detectează automat tipurile de date și aplatizează structurile JSON imbricate în tabele relaționale, mutând datele din surse către lakehouse-uri, depozite de date sau baze de date vectoriale. Proiectul se distinge prin generarea de pipeline-uri bazată pe AI, utilizând modele lingvistice mari pentru a crea codul de extracție și conectorii pentru API-urile REST. De asemenea, suportă stocarea vectorială multimodală și popularea specializată a bazelor de date vectoriale pentru a susține aplicațiile AI și machine learning. Framework-ul acoperă o gamă largă de capabilități, inclusiv evoluția automată a schemei, încărcarea incrementală a datelor prin urmărirea stării și validarea calității datelor prin aplicarea contractelor de date. Oferă instrumente pentru normalizarea datelor relaționale, transformări pre- și post-încărcare și o varietate de adaptoare de destinație pentru baze de date SQL și stocare de obiecte în cloud. Observabilitatea este gestionată prin dashboard-uri de execuție a pipeline-ului, urmărirea lineage-ului coloanelor și verificarea versiunii schemei folosind hash-uri bazate pe conținut.

koa2-note este un proiect axat pe dezvoltarea de servere web cu Koa2 și programarea asincronă în Node.js. Oferă un framework pentru construirea de servere web și API-uri folosind un pipeline de middleware asincron pentru a gestiona ciclurile de request și response. Proiectul pune accent pe o arhitectură backend stratificată care decuplează rutarea, serviciile de business și modelele de date. Se distinge prin integrarea bazelor de date relaționale pentru persistența sesiunilor utilizatorilor și a datelor aplicației, alături de un proces de build care include compilarea JSX-to-JavaScript pentru asset-urile de frontend. Suprafața de capabilități acoperă designul API-urilor backend, inclusiv rutarea RESTful și parsarea datelor din request-uri, precum și randarea pe partea de server cu template engines. Include, de asemenea, suport pentru upload-uri asincrone de fișiere folosind parsarea de stream-uri multipart, gestionarea sesiunilor bazată pe cookie-uri și implementarea JSONP pentru request-uri cross-domain. Repository-ul servește ca resursă educațională cu tutoriale structurate și exemple pentru învățarea implementării framework-ului Koa și a arhitecturii de server.

Davinci este o platformă de business intelligence și vizualizare a datelor utilizată pentru construirea de dashboard-uri și rapoarte interactive. Funcționează ca un constructor de dashboard-uri bazat pe SQL și un serviciu de analiză multi-tenant care se conectează la baze de date prin JDBC și fișiere CSV pentru a transforma datele brute în componente vizuale. Platforma se distinge prin modelul său granular de securitate, care include permisiuni la nivel de rând și coloană integrate cu autentificarea LDAP și OAuth2. Oferă, de asemenea, un instrument de vizualizare încorporat care permite inserarea diagramelor și dashboard-urilor securizate și parametrizate în aplicații externe prin URL-uri și frame-uri. Sistemul acoperă o gamă largă de capabilități, inclusiv modelarea datelor cu șabloane SQL, un motor de layout drag-and-drop pentru dashboard-uri responsive și o mare varietate de tipuri de vizualizare, cum ar fi diagrame Sankey, diagrame radar și hărți geografice. Include, de asemenea, automatizare pentru programarea rapoartelor prin e-mail și utilizează caching-ul cheie-valoare pentru a optimiza performanța interogărilor.

Rudder Server is a customer data platform and event routing pipeline designed to collect, transform, and route customer event data from various sources to data warehouses and business tools. It functions as a customer identity resolver, linking identifiers from multiple sources to build a unified identity graph and comprehensive behavioral customer profiles. The system differentiates itself through reverse ETL capabilities, which push processed customer segments and audiences from data warehouses back into operational third-party applications. It also provides a containerized data plane for K