Awesome GitHub RepositoriesData Format Transformations

Pentaho Kettle este o platformă enterprise de integrare a datelor ETL, concepută pentru a extrage, transforma și încărca date între surse disparate și baze de date țintă. Funcționează ca un orchestrator bazat pe metadate care utilizează un designer vizual de flux de lucru pentru a crea și gestiona secvențe complexe de sarcini de date și pipeline-uri de transformare. Sistemul se distinge prin motorul său de procesare distribuită a datelor, care execută sarcinile de lucru pe clustere de noduri de server pentru a crește throughput-ul. Utilizează o arhitectură bazată pe plugin-uri, permițând extinderea platformei prin fișiere JAR externe pentru a oferi conectivitate către diverse baze de date și servicii cloud. Platforma acoperă o gamă largă de capabilități de integrare a datelor, inclusiv încărcarea în masă, gestionarea fișierelor la distanță și transformarea structurii datelor. Oferă instrumente pentru validarea calității datelor, automatizarea pipeline-urilor și gestionarea ciclului de viață al joburilor, alături de utilitare de monitorizare pentru urmărirea stării de sănătate a serverului și a stării de execuție în timp real.

AlaSQL is a JavaScript SQL database engine that allows for the filtering, grouping, and joining of in-memory object arrays and JSON data. It functions as an in-memory SQL database and client-side data processor, enabling the execution of SQL statements against JavaScript arrays and external data sources in both browser and server environments. The project serves as a universal data query tool capable of performing relational joins across diverse sources, such as merging Google Spreadsheets, SQLite files, and remote APIs into a single result set. It also acts as an IndexedDB SQL wrapper, allow

Bookshelf is a JavaScript ORM for Node.js that provides a structured way to define and interact with database models. It centers on a model-driven approach where developers register models, define their relations, and manage data persistence through a consistent interface. The library distinguishes itself through its comprehensive handling of model relationships and data transformations. It supports defining one-to-one, one-to-many, many-to-many, and polymorphic associations, with the ability to eager load related models in a single query to avoid performance pitfalls. Bookshelf also automate

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

Octosql este un motor de interogare SQL federat, un transformator de date și un procesor de SQL pentru streaming. Acesta permite utilizatorilor să execute instrucțiuni SQL unice peste surse de date multiple și disparate, inclusiv diferite tipuri de baze de date și formate de fișiere, pentru a îmbina și transforma rezultatele într-un set unitar. Sistemul se distinge prin tratarea fișierelor CSV, JSONLines și Parquet ca tabele virtuale și prin utilizarea unei arhitecturi bazate pe plugin-uri pentru a extinde conectivitatea către motoare de stocare externe. Funcționează ca un procesor de streaming pentru fluxuri de date infinite, folosind watermarks, retractions și tumbling windows pentru a menține consistența evenimentelor sosite în afara ordinii. În plus, servește ca generator de date SQL capabil să producă seturi de date sintetice și fluxuri de înregistrări prin funcții de tip tabel. Motorul include capabilități pentru join-uri cross-source și analiză multi-sursă, optimizate prin predicate push-down la nivel de sursă pentru a reduce transferul de date. Gestionează date complexe printr-un sistem de tipuri statice cu union types și oferă observabilitate prin vizualizarea planurilor de execuție a interogărilor.

Acest proiect este o colecție de framework-uri și pipeline-uri de big data, incluzând un framework de analiză Apache Hive, o platformă de analiză a datelor comportamentale, un motor de analiză predictivă și pipeline-uri de date în timp real. Oferă infrastructura necesară pentru construirea fluxurilor de lucru ETL (Extract, Transform, Load) pentru procesarea seturilor mari de date în vederea stocării distribuite și a analizei bazate pe SQL. Sistemul suportă implementări analitice diverse, cum ar fi un motor predictiv care utilizează regresia liniară pentru prognoza valorilor și o arhitectură în timp real care transmite datele prin message broker-e pentru raportare imediată. Include capabilități specializate pentru analiza comportamentului utilizatorilor, măsurarea performanței în e-commerce și analiza datelor de tranzit urban. Codul sursă acoperă o arie largă de inginerie și analiză a datelor, inclusiv curățarea și transformarea datelor, ingestia distribuită, procesarea fluxurilor bazată pe ferestre (window-based) și vizualizarea rezultatelor prin instrumente de business intelligence. De asemenea, permite calcularea unor metrici de business specifice, cum ar fi ratele de conversie, performanța monetizării și nivelurile de implicare a utilizatorilor.

Kiln este un workbench de dezvoltare LLM și un framework de evaluare conceput pentru proiectarea, testarea și optimizarea prompt-urilor și a agenților AI. Funcționează ca un orchestrator multi-agent și un instrument de optimizare RAG, oferind o interfață vizuală pentru dezvoltarea iterativă a sistemelor AI. Proiectul se distinge printr-un pipeline cuprinzător de fine-tuning care suportă antrenarea modelelor zero-code și distilarea raționamentului. Permite crearea de sisteme multi-agent ierarhice unde actorii specializați se coordonează prin apelarea instrumentelor și implementează un server Model Context Protocol pentru a expune acești agenți și capabilități de căutare ca instrumente standardizate pentru clienții externi. Platforma acoperă o gamă largă de capabilități, inclusiv notarea automată a judecătorilor AI pentru asigurarea calității, generarea de date sintetice pentru antrenare și evaluare și recuperarea hibridă vector-keyword pentru fundamentarea răspunsurilor modelului. Oferă, de asemenea, instrumente pentru evoluția prompt-urilor, auditarea urmelor (trace auditing) și gestionarea seturilor de date colaborative prin integrarea Git. Workbench-ul este accesibil printr-un REST API auto-găzduibil și o bibliotecă Python dedicată pentru execuția programatică a fluxurilor de lucru.

codeigniter-restserver este un framework REST API și o bibliotecă de controllere pentru construirea de servere RESTful în mediul PHP CodeIgniter. Funcționează ca o implementare backend care gestionează metodele HTTP standard pentru a expune date și funcționalități prin endpoint-uri structurate. Proiectul include un motor de răspuns personalizabil care permite transformarea datelor de ieșire în diverse formate specifice prin metode de formatare personalizate. Biblioteca oferă instrumente pentru maparea cererilor HTTP primite către metodele controller-ului, gestionarea răspunsurilor resurselor și implementarea controlului accesului bazat pe configurație.

Consul Template is a configuration renderer and dynamic configuration manager that generates files by populating templates with data from Consul and Vault. It functions as a service discovery template engine and secrets management integrator, transforming cluster catalog and health data into formatted configuration files. The tool distinguishes itself by acting as a process supervisor and notifier, capable of executing shell commands or restarting applications automatically after templates are updated. It features a long-polling watcher to monitor remote key-value stores and employs a shared

JSON-java is a Java library for parsing and generating JSON text and mapping it to Java objects and collections. It functions as a serialization framework for converting class instances and data structures into standardized JSON strings. The project includes a JSON pointer implementation for retrieving specific values from documents using string or URI fragment representations. It also provides a converter for translating data structures between JSON and XML, as well as a translator for transforming data between JSON and web formats such as HTTP headers, cookies, and comma-delimited lists. T

Rudder Server is a customer data platform and event routing pipeline designed to collect, transform, and route customer event data from various sources to data warehouses and business tools. It functions as a customer identity resolver, linking identifiers from multiple sources to build a unified identity graph and comprehensive behavioral customer profiles. The system differentiates itself through reverse ETL capabilities, which push processed customer segments and audiences from data warehouses back into operational third-party applications. It also provides a containerized data plane for K

llm-foundry este un framework de antrenare pentru modele de limbaj mari (LLM), oferind un sistem pentru pre-antrenarea modelelor de bază și fine-tuning supervizat. Include un trainer distribuit pentru scalarea sarcinilor pe mai multe noduri și GPU-uri, un pipeline de streaming pentru seturi de date din stocarea cloud și o implementare de fine-tuning eficientă din punct de vedere al parametrilor. Framework-ul se distinge prin utilizarea sharding-ului de parametri și a streaming-ului de date de mare viteză pentru a menține stabilitatea în timpul antrenării la scară largă. Încorporează adaptarea low-rank (LoRA) pentru a reduce costurile computaționale și utilizează precizia în virgulă mobilă pe opt biți pentru a crește viteza de calcul pe hardware compatibil. Codul sursă acoperă o gamă largă de capabilități, inclusiv ingineria seturilor de date pentru transformarea datelor brute în formate comprimate, benchmarking-ul performanței modelelor printr-o suită de evaluare și capacitatea de a exporta ponderile modelelor în formate standardizate din industrie. De asemenea, suportă înregistrarea componentelor personalizate prin decoratori și oferă control asupra metodelor de embedding pozițional.

Assemble este un generator de site-uri statice și un sistem de conducte de construcție (build pipeline) care compilează markdown, șabloane și date în fișiere HTML statice. Acesta funcționează ca un convertor markdown-la-HTML și un transformator de formate de date capabil să mute conținutul între formatele JSON, YAML, XML, PLIST și CSV. Proiectul dispune de un proces de construcție bazat pe conducte, unde utilizatorii pot defini secvențe ordonate de transformări de date și pași de procesare a fișierelor. Include instrumente de scheletare a proiectului pentru a inițializa structuri de directoare și fișiere de configurare din șabloane predefinite. Sistemul gestionează conținutul prin filtrare bazată pe colecții și imbricarea ierarhică a layout-urilor, permițând organizarea paginilor pe etichete și categorii. Suportă motoare de șabloane pluggable, funcții helper personalizabile și injectarea de metadate YAML front-matter pentru a controla logica de randare. Setul de instrumente oferă, de asemenea, utilitare pentru compilarea foilor de stil LESS, gestionarea permalink-urilor site-ului și monitorizarea fișierelor pentru modificări, pentru a declanșa sarcini de construcție automatizate.

Acest proiect este un strat de abstractizare a bazei de date pentru Laravel care implementează tiparul repository pentru a decupla logica de business de interogările bazei de date Eloquent. Oferă o interfață standardizată pentru regăsirea, paginarea și filtrarea datelor. Sistemul include un mecanism de criterii de interogare pentru aplicarea condițiilor de căutare reutilizabile bazate pe parametrii cererii și un wrapper de caching care șterge automat rezultatele stocate în timpul creării, actualizării sau ștergerii înregistrărilor. De asemenea, dispune de un strat de prezentare pentru a transforma atributele brute ale modelului bazei de date în output formatat pentru interfețele utilizator. Capabilitățile suplimentare includ un instrument CLI pentru scaffolding-ul modelelor, repository-urilor, controllerelor și service provider-elor, precum și instrumente pentru validarea datelor din repository și transformarea atributelor modelului.

AdalFlow este un framework de agenți AI autonomi și o bibliotecă de aplicații LLM concepută pentru construirea de fluxuri de lucru modulare. Servește ca interfață agnostic-model și orchestrator de pipeline-uri RAG, permițând utilizatorilor să dezvolte agenți ReAct care utilizează raționamentul iterativ și execuția de instrumente externe pentru a rezolva sarcini complexe. Proiectul se distinge printr-un sistem de optimizare a prompt-urilor care utilizează gradient descent textual pentru a rafina automat template-urile de prompt și exemplele few-shot. Acesta tratează feedback-ul modelului ca pe un semnal diferențiabil, permițând o formă de backpropagation pentru LLM-uri pentru a îmbunătăți iterativ calitatea output-ului pe baza metricilor de evaluare. Framework-ul acoperă o suprafață largă de capabilități, inclusiv retrieval-augmented generation cu căutare semantică vectorială și reranking, urmărirea execuției bazată pe span pentru observabilitate și parsare structurată bazată pe schemă. Oferă un strat de comunicare unificat pentru numeroși furnizori de modele proprietare și open-source și suportă conversia funcțiilor Python în interfețe standardizate de instrumente. Sistemul este implementat în Python și se integrează cu MLflow pentru urmărirea și analiza fluxurilor de lucru.

fsql este un instrument de interfață în linie de comandă care oferă un limbaj de interogare de tip SQL pentru găsirea fișierelor și directoarelor pe un disc local. Acesta funcționează ca un motor de interogare a sistemului de fișiere, permițând utilizatorilor să izoleze fișierele prin executarea unor instrucțiuni structurate împotriva metadatelor în loc de utilizarea flag-urilor standard de linie de comandă. Instrumentul dispune de un loop interactiv read-eval-print care suportă interogări pe mai multe linii și subinterogări recursive, unde rezultatele operațiunilor de căutare imbricate servesc drept criterii pentru interogările exterioare. Domeniile de căutare sunt configurabile prin rezoluția căilor absolute, căilor relative, variabilelor de mediu și modelelor glob. Sistemul aplică operatori algebrici, expresii regulate și filtre logice asupra atributelor fișierelor, cum ar fi hash, dimensiune și timpul de modificare. Include utilitare de transformare a datelor pentru a formata aceste atribute în marcaje temporale lizibile și unități de dimensiune standardizate.

Acest proiect este un framework de procesare a datelor tabelare de înaltă performanță pentru R, conceput pentru a gestiona seturi de date masive cu eficiență a memoriei și viteză. Oferă o structură de date îmbunătățită care utilizează semantica de referință și modificarea in-place pentru a efectua transformări complexe fără overhead-ul copierii inutile a obiectelor. Biblioteca se distinge prin optimizările sale arhitecturale de nivel scăzut, inclusiv procesarea paralelă multi-threaded, sortarea bazată pe radix și parsarea fișierelor mapate în memorie. Prin descărcarea rutinelor critice de manipulare și agregare a datelor către cod C compilat, permite execuția rapidă a sarcinilor care altfel ar fi costisitoare din punct de vedere computațional. Motorul său de bază suportă operațiuni relaționale avansate, cum ar fi join-uri non-equi, rolling și intervale suprapuse, alături de indexarea secundară automată pentru a accelera accesul repetat la date. Dincolo de capabilitățile sale primare de procesare, proiectul oferă o suită cuprinzătoare de instrumente pentru gestionarea ciclului de viață al datelor. Aceasta include utilitare de ingestie și serializare de mare viteză cu detectare automată a tipului, precum și suport specializat pentru analiza seriilor temporale și agregarea multidimensională. Framework-ul este construit pentru a scala, permițând utilizatorilor să efectueze operațiuni complexe de grupare, filtrare și remodelare pe seturi de date care conțin miliarde de rânduri, menținând în același timp stabilitatea și performanța sistemului.

dsq is a command-line interface and data engine for executing SQL queries against local structured files, such as CSV, JSON, Parquet, and Excel, without requiring a formal database import. It functions as a schema-inference engine that automatically detects data types and maps heterogeneous file structures into relational tables for analysis. The tool utilizes a lazy stream data processor and checksum-based disk caching to handle large datasets with minimal memory usage. It provides a persistent interactive shell for iterative data exploration, allowing users to inspect inferred schemas and r

Tabletop is a JavaScript library and data parser designed to retrieve data from public Google Sheets and convert it into structured JSON objects. It functions as a client-side tool for fetching remote spreadsheet data and transforming rows into lists of objects or arrays for use in web applications. The library enables the use of Google Sheets as a lightweight database, allowing for dynamic content management where application data can be updated by editing a spreadsheet. It supports selective worksheet retrieval to limit the amount of transferred data and provides programmatic interfaces for

This project is a PHP SQL REST API generator and database API wrapper that automatically transforms SQL database tables into a functional web interface. It serves as a lightweight layer that maps HTTP methods to SQL commands, allowing for the creation, reading, updating, and deletion of records without writing manual endpoint code. The tool distinguishes itself by providing a dedicated spatial data API gateway for querying and exporting geometry columns using GeoJSON and WKT standards. It also functions as a multi-tenant data API, capable of isolating records for different users through share