Awesome GitHub RepositoriesCross-Source Data Integration

Pentaho Kettle est une plateforme d'intégration de données ETL d'entreprise conçue pour extraire, transformer et charger des données entre des sources disparates et des bases de données cibles. Il fonctionne comme un orchestrateur piloté par les métadonnées qui utilise un concepteur de flux de travail visuel pour créer et gérer des séquences complexes de tâches de données et de pipelines de transformation. Le système se distingue par son moteur de traitement de données distribué, qui exécute les charges de travail sur des clusters de nœuds de serveur pour augmenter le débit. Il emploie une architecture basée sur des plugins, permettant à la plateforme d'être étendue via des fichiers JAR externes pour fournir une connectivité à diverses bases de données et services cloud. La plateforme couvre un large éventail de capacités d'intégration de données, notamment le chargement en masse, la gestion de fichiers à distance et la transformation de structures de données. Elle fournit des outils pour la validation de la qualité des données, l'automatisation des pipelines et la gestion du cycle de vie des tâches, ainsi que des utilitaires de surveillance pour suivre la santé du serveur et l'état d'exécution en temps réel.

AlaSQL is a JavaScript SQL database engine that allows for the filtering, grouping, and joining of in-memory object arrays and JSON data. It functions as an in-memory SQL database and client-side data processor, enabling the execution of SQL statements against JavaScript arrays and external data sources in both browser and server environments. The project serves as a universal data query tool capable of performing relational joins across diverse sources, such as merging Google Spreadsheets, SQLite files, and remote APIs into a single result set. It also acts as an IndexedDB SQL wrapper, allow

Octosql est un moteur de requête SQL fédéré, un transformateur de données et un processeur SQL de flux. Il permet aux utilisateurs d'exécuter des instructions SQL uniques sur plusieurs sources de données disparates, y compris différents types de bases de données et formats de fichiers, afin de fusionner et transformer les résultats en un ensemble unifié. Le système se distingue en traitant les fichiers CSV, JSONLines et Parquet comme des tables virtuelles et en utilisant une architecture basée sur des plugins pour étendre la connectivité aux moteurs de stockage externes. Il fonctionne comme un processeur de flux pour les flux de données infinis, utilisant des filigranes (watermarks), des rétractions et des fenêtres glissantes pour maintenir la cohérence des événements hors séquence. De plus, il sert de générateur de données SQL capable de produire des jeux de données synthétiques et des flux d'enregistrements via des fonctions table. Le moteur inclut des capacités de jointure de données inter-sources et d'analyse multi-sources, optimisées par le push-down de prédicats côté source pour réduire le transfert de données. Il gère des données complexes via un système de typage statique avec des types union et offre une observabilité grâce à la visualisation des plans d'exécution de requêtes.

Ce projet est un tutoriel complet d'analyse de données pandas et un guide pédagogique conçu pour apprendre la manipulation et l'analyse de données. Il sert de guide de traitement de données tabulaires et de manuel pour l'analyse de séries temporelles, fournissant une approche structurée pour nettoyer, fusionner et transformer les jeux de données. Le dépôt fonctionne comme un cours d'ingénierie de caractéristiques de données, fournissant des tutoriels sur la construction et la sélection de caractéristiques de jeu de données pour améliorer les performances des modèles d'apprentissage automatique. Il inclut également un guide d'opérations de données vectorisées pour effectuer des calculs mathématiques élément par élément et des manipulations de matrices. Le matériel couvre un large éventail de capacités, notamment les flux de travail de nettoyage de données, les tâches d'intégration de données et l'analyse de données tabulaires. Il fournit des conseils sur le traitement des informations textuelles, la gestion des données catégorielles et l'optimisation de la vitesse d'exécution pour les grands jeux de données. Le projet est livré sous forme d'une série de Jupyter Notebooks contenant des exercices pratiques et des problèmes d'entraînement ciblés.

Calcite est un framework pour l'analyse, l'optimisation et la traduction de requêtes SQL en algèbre relationnelle pour une exécution sur diverses sources de données. Il fonctionne comme un moteur de requête multi-sources, une bibliothèque d'analyse SQL et un optimiseur d'algèbre relationnelle. Le projet fournit un moteur d'optimisation basé sur les coûts qui transforme les plans de requête logiques en plans d'exécution physiques efficaces à l'aide de règles enfichables. Il utilise des adaptateurs de traduction pour convertir les requêtes SQL standard dans les formats natifs de bases de données et systèmes de messagerie externes, permettant la fédération de données sur des systèmes de stockage hétérogènes. Le système couvre le cycle de vie complet des requêtes, incluant l'analyse SQL et la validation par rapport aux schémas, la traduction d'expressions en opérateurs algébriques et la sélection de plans d'exécution efficaces. Il inclut également une interface en ligne de commande pour exécuter des requêtes et gérer les connexions aux sources de données.

Davinci est une plateforme de business intelligence et de visualisation de données utilisée pour construire des tableaux de bord et des rapports interactifs. Elle fonctionne comme un constructeur de tableaux de bord basé sur SQL et un service d'analyse multi-tenant qui se connecte aux bases de données via JDBC et des fichiers CSV pour transformer des données brutes en composants visuels. La plateforme se distingue par son modèle de sécurité granulaire, qui inclut des permissions au niveau des lignes et des colonnes intégrées avec l'authentification LDAP et OAuth2. Elle fournit également un outil de visualisation intégré qui permet d'insérer des graphiques et des tableaux de bord sécurisés et paramétrés dans des applications externes via des URL et des cadres (frames). Le système couvre un large éventail de capacités, y compris la modélisation de données avec des modèles SQL, un moteur de mise en page par glisser-déposer pour les tableaux de bord réactifs, et une grande variété de types de visualisation tels que les diagrammes de Sankey, les graphiques radar et les cartes géographiques. Elle inclut en outre l'automatisation pour la planification de rapports par e-mail et utilise la mise en cache clé-valeur pour optimiser les performances des requêtes.

esProc est un framework ETL distribué et un moteur de calcul de données embarqué. Il fournit un langage de données structurées pour la Java Virtual Machine conçu pour les requêtes relationnelles, le calcul de données complexe et l'analyse de données structurées. Le système dispose d'une interface de requête de données en langage naturel qui exploite les grands modèles de langage pour traduire les requêtes en requêtes exécutables sur des jeux de données structurés. Il emploie un langage de requête spécifique au domaine avec une syntaxe concise pour établir des relations de table et récupérer des informations. La plateforme couvre l'intégration de données à travers des sources relationnelles et NoSQL disparates et gère les flux de travail ETL pour déplacer les données entre les fichiers et les bases de données. Les capacités supplémentaires incluent la génération de rapports de données structurées, une interface de grille en temps réel pour la visualisation de l'exécution étape par étape, et la capacité d'intégrer des bibliothèques partagées externes personnalisées.

Ce projet est une plateforme d'apprentissage automatique distribué et un framework d'apprentissage profond creux (sparse) conçu pour entraîner et servir des modèles avec des données creuses de haute dimension. Il fonctionne comme une infrastructure de service de modèles en ligne et un moteur de système de recommandation, permettant la récupération et le scoring d'éléments en temps réel en utilisant le deep tree matching et les réseaux de neurones. Le système se distingue par un framework d'apprentissage multi-tâches qui optimise plusieurs fonctions objectives au sein d'un espace de représentation partagé. Il dispose d'une infrastructure de service en ligne spécialisée qui prend en charge le chargement à chaud dynamique des modèles et la transformation des checkpoints standard en un format optimisé personnalisé pour une inférence haute performance. La plateforme couvre un large éventail de capacités, incluant la gestion distribuée des paramètres pour mettre à l'échelle l'entraînement sur plusieurs travailleurs, le calcul d'embeddings creux pour les caractéristiques catégorielles, et la récupération neuronale basée sur des arbres pour les catalogues à grande échelle. Elle fournit également des outils pour la gestion de l'entraînement en flux continu, le contrôle du cycle de vie des caractéristiques via des seuils de probabilité, et le profilage de performance pour identifier les goulots d'étranglement d'exécution. Le projet inclut une interface d'entraînement unifiée et une intégration de framework backend pour standardiser l'exécution des tâches d'entraînement, de prédiction et d'évaluation.

SimpleTransformers est un framework de haut niveau pour l'entraînement et le fine-tuning de modèles transformer pour diverses tâches de traitement du langage naturel. Il fonctionne comme une boîte à outils pour développer des modèles de classification de texte, de reconnaissance d'entités nommées et de réponse aux questions, tout en servant d'outil de séquence-à-séquence et de générateur d'embeddings de texte. La bibliothèque se distingue en fournissant un entraîneur de modèles multi-modaux capable de traiter et de classifier des données combinant à la fois des entrées texte et image. Elle prend également en charge des workflows spécialisés pour l'entraînement d'IA conversationnelle, la génération de modèles de langage et la récupération de documents denses pour les systèmes de recherche d'informations. Le framework couvre un large éventail de capacités, incluant la gestion du workflow d'entraînement avec arrêt précoce (early stopping), l'optimisation des performances du modèle par quantification et la création de tokenizers personnalisés spécifiques au domaine. Il intègre également le suivi d'expériences et la visualisation des prédictions via des tableaux de bord de télémétrie externes.

Chunjun est un framework d'intégration de données distribué et un pipeline ETL basé sur SQL conçu pour synchroniser les données entre des sources hétérogènes. Il fonctionne comme un outil de capture de données modifiées (CDC) et un synchroniseur de données hétérogènes, utilisant un environnement de traitement distribué pour déplacer et transformer les données à travers différents types de bases de données. Le système se distingue par son architecture de connecteurs basée sur des plugins, qui permet le développement de plugins de source et de destination personnalisés pour étendre la connectivité aux systèmes de données non pris en charge. Il prend en charge la capture de données modifiées en temps réel à partir des journaux de bases de données relationnelles et implémente la propagation de l'évolution de schéma pour appliquer automatiquement les changements structurels des tables sources aux tables de destination. Le framework fournit des capacités pour la synchronisation de données incrémentielle et le calcul de données inter-sources utilisant la logique SQL. La fiabilité est gérée via une récupération de tâche basée sur des points de contrôle pour reprendre les transferts interrompus et des files d'attente de lettres mortes pour la gestion des données sales afin d'auditer les enregistrements mal formés. Les tâches d'intégration peuvent être déployées sur des clusters autonomes, Yarn ou des environnements Kubernetes, avec une prise en charge du déploiement conteneurisé via Docker.