Awesome GitHub RepositoriesCross-Source Data Integration

Pentaho Kettle este o platformă enterprise de integrare a datelor ETL, concepută pentru a extrage, transforma și încărca date între surse disparate și baze de date țintă. Funcționează ca un orchestrator bazat pe metadate care utilizează un designer vizual de flux de lucru pentru a crea și gestiona secvențe complexe de sarcini de date și pipeline-uri de transformare. Sistemul se distinge prin motorul său de procesare distribuită a datelor, care execută sarcinile de lucru pe clustere de noduri de server pentru a crește throughput-ul. Utilizează o arhitectură bazată pe plugin-uri, permițând extinderea platformei prin fișiere JAR externe pentru a oferi conectivitate către diverse baze de date și servicii cloud. Platforma acoperă o gamă largă de capabilități de integrare a datelor, inclusiv încărcarea în masă, gestionarea fișierelor la distanță și transformarea structurii datelor. Oferă instrumente pentru validarea calității datelor, automatizarea pipeline-urilor și gestionarea ciclului de viață al joburilor, alături de utilitare de monitorizare pentru urmărirea stării de sănătate a serverului și a stării de execuție în timp real.

AlaSQL is a JavaScript SQL database engine that allows for the filtering, grouping, and joining of in-memory object arrays and JSON data. It functions as an in-memory SQL database and client-side data processor, enabling the execution of SQL statements against JavaScript arrays and external data sources in both browser and server environments. The project serves as a universal data query tool capable of performing relational joins across diverse sources, such as merging Google Spreadsheets, SQLite files, and remote APIs into a single result set. It also acts as an IndexedDB SQL wrapper, allow

Octosql este un motor de interogare SQL federat, un transformator de date și un procesor de SQL pentru streaming. Acesta permite utilizatorilor să execute instrucțiuni SQL unice peste surse de date multiple și disparate, inclusiv diferite tipuri de baze de date și formate de fișiere, pentru a îmbina și transforma rezultatele într-un set unitar. Sistemul se distinge prin tratarea fișierelor CSV, JSONLines și Parquet ca tabele virtuale și prin utilizarea unei arhitecturi bazate pe plugin-uri pentru a extinde conectivitatea către motoare de stocare externe. Funcționează ca un procesor de streaming pentru fluxuri de date infinite, folosind watermarks, retractions și tumbling windows pentru a menține consistența evenimentelor sosite în afara ordinii. În plus, servește ca generator de date SQL capabil să producă seturi de date sintetice și fluxuri de înregistrări prin funcții de tip tabel. Motorul include capabilități pentru join-uri cross-source și analiză multi-sursă, optimizate prin predicate push-down la nivel de sursă pentru a reduce transferul de date. Gestionează date complexe printr-un sistem de tipuri statice cu union types și oferă observabilitate prin vizualizarea planurilor de execuție a interogărilor.

Acest proiect este un tutorial cuprinzător de analiză a datelor pandas și un ghid instrucțional conceput pentru învățarea manipulării și analizei datelor. Acesta servește drept ghid de procesare a datelor tabelare și un manual pentru analiza seriilor temporale, oferind o abordare structurată pentru curățarea, fuziunea și transformarea seturilor de date. Repository-ul funcționează ca un curs de feature engineering pentru date, oferind tutoriale despre construirea și selectarea caracteristicilor setului de date pentru a îmbunătăți performanța modelului de machine learning. Include, de asemenea, un ghid de operațiuni vectorizate pe date pentru efectuarea de calcule matematice element-cu-element și manipulări de matrice. Materialul acoperă o gamă largă de capabilități, inclusiv fluxuri de lucru de curățare a datelor, sarcini de integrare a datelor și analiză a datelor tabelare. Oferă îndrumări privind procesarea informațiilor textuale, gestionarea datelor categorice și optimizarea vitezei de execuție pentru seturi de date mari. Proiectul este livrat sub forma unei serii de Jupyter Notebooks care conțin exerciții practice și probleme de practică țintite.

Calcite este un framework pentru parsarea, optimizarea și traducerea interogărilor SQL în algebră relațională pentru execuție pe diverse surse de date. Funcționează ca un motor de interogare cross-source, o bibliotecă de parsare SQL și un optimizator de algebră relațională. Proiectul oferă un motor de optimizare bazat pe costuri care transformă planurile logice de interogare în planuri de execuție fizică eficiente, folosind reguli pluggable. Utilizează adaptoare de traducere pentru a converti cererile SQL standard în formatele native ale bazelor de date externe și ale sistemelor de mesagerie, permițând federarea datelor între sisteme de stocare eterogene. Sistemul acoperă întregul ciclu de viață al interogării, incluzând parsarea SQL și validarea pe baza schemelor, traducerea expresiilor în operatori algebrici și selectarea planurilor de execuție eficiente. Include, de asemenea, o interfață de linie de comandă pentru executarea interogărilor și gestionarea conexiunilor la sursele de date.

Davinci este o platformă de business intelligence și vizualizare a datelor utilizată pentru construirea de dashboard-uri și rapoarte interactive. Funcționează ca un constructor de dashboard-uri bazat pe SQL și un serviciu de analiză multi-tenant care se conectează la baze de date prin JDBC și fișiere CSV pentru a transforma datele brute în componente vizuale. Platforma se distinge prin modelul său granular de securitate, care include permisiuni la nivel de rând și coloană integrate cu autentificarea LDAP și OAuth2. Oferă, de asemenea, un instrument de vizualizare încorporat care permite inserarea diagramelor și dashboard-urilor securizate și parametrizate în aplicații externe prin URL-uri și frame-uri. Sistemul acoperă o gamă largă de capabilități, inclusiv modelarea datelor cu șabloane SQL, un motor de layout drag-and-drop pentru dashboard-uri responsive și o mare varietate de tipuri de vizualizare, cum ar fi diagrame Sankey, diagrame radar și hărți geografice. Include, de asemenea, automatizare pentru programarea rapoartelor prin e-mail și utilizează caching-ul cheie-valoare pentru a optimiza performanța interogărilor.

esProc este un framework ETL distribuit și un motor de calcul de date încorporat. Oferă un limbaj de date structurate pentru Java Virtual Machine, conceput pentru interogări relaționale, calcul complex de date și analiză de date structurate. Sistemul dispune de o interfață de interogare a datelor în limbaj natural care utilizează modele de limbaj mari pentru a traduce cererile în interogări executabile pe seturi de date structurate. Utilizează un limbaj de interogare specific domeniului, cu o sintaxă concisă pentru a stabili relații între tabele și a recupera informații. Platforma acoperă integrarea datelor din surse relaționale și NoSQL disparate și gestionează fluxurile de lucru ETL pentru a muta datele între fișiere și baze de date. Capabilitățile suplimentare includ generarea de rapoarte de date structurate, o interfață de grilă în timp real pentru vizualizarea execuției pas cu pas și capacitatea de a integra biblioteci externe partajate personalizate.

This project is a distributed machine learning platform and sparse deep learning framework designed for training and serving models with high-dimensional sparse data. It functions as an online model serving infrastructure and recommendation system engine, enabling real-time item retrieval and scoring using deep tree matching and neural networks. The system distinguishes itself through a multi-task learning framework that optimizes multiple objective functions within a shared representation space. It features a specialized online serving infrastructure that supports dynamic model hot-loading a

SimpleTransformers este un framework de nivel înalt pentru antrenarea și fine-tuning-ul modelelor transformer pentru diverse sarcini de procesare a limbajului natural. Funcționează ca un toolkit pentru dezvoltarea modelelor de clasificare a textului, recunoașterea entităților numite și răspunsul la întrebări, servind totodată ca instrument sequence-to-sequence și generator de embedding-uri de text. Biblioteca se distinge prin furnizarea unui trainer de modele multi-modale capabil să proceseze și să clasifice date care combină atât input-uri de text, cât și de imagine. De asemenea, suportă workflow-uri specializate pentru antrenarea AI-ului conversațional, generarea de modele de limbaj și recuperarea densă a documentelor pentru sistemele de recuperare a informațiilor. Framework-ul acoperă o gamă largă de capabilități, inclusiv gestionarea workflow-ului de antrenare cu early stopping, optimizarea performanței modelului prin cuantizare și crearea de tokenizatoare personalizate specifice domeniului. De asemenea, integrează urmărirea experimentelor și vizualizarea predicțiilor prin dashboard-uri de telemetrie externe.

Chunjun este un framework distribuit de integrare a datelor și pipeline ETL bazat pe SQL, conceput pentru a sincroniza datele între surse eterogene. Acesta funcționează ca un instrument de change data capture și un sincronizator de date eterogene, utilizând un mediu de procesare distribuit pentru a muta și transforma datele între diferite tipuri de baze de date. Sistemul se distinge prin arhitectura sa de conectori bazată pe plugin-uri, care permite dezvoltarea de plugin-uri personalizate de sursă și destinație pentru a extinde conectivitatea către sisteme de date neacceptate. Suportă change data capture în timp real din log-urile bazelor de date relaționale și implementează propagarea evoluției schemei pentru a aplica automat modificările structurale de la tabelele sursă la cele de destinație. Framework-ul oferă capabilități pentru sincronizarea incrementală a datelor și calculul datelor între surse folosind logica SQL. Fiabilitatea este gestionată prin recuperarea sarcinilor bazată pe checkpoint-uri pentru a relua transferurile întrerupte și cozi de mesaje dead-letter pentru gestionarea datelor murdare, pentru a audita înregistrările malformate. Sarcinile de integrare pot fi implementate pe clustere standalone, Yarn sau medii Kubernetes, cu suport pentru implementare containerizată prin Docker.