Awesome GitHub RepositoriesField Transformations

Keystone Classic is a Node.js headless content management system and web application framework. It provides a database schema framework for defining structured data models and validation rules to organize information. The system automatically generates a responsive administrative dashboard based on predefined data models and database fields, allowing for content management and record editing without custom administration code. The framework covers identity and security through session state management and password encryption. It includes capabilities for request routing, form submission proc

Miller is a command-line data processor used for filtering, transforming, and aggregating name-indexed tabular data. It functions as a tool for querying and reshaping records across multiple file formats, serving as a converter between CSV, JSON, and YAML. The tool distinguishes itself by using a name-indexed data model, allowing users to manipulate fields by name rather than numeric position. It utilizes single-pass streaming algorithms to compute statistics and summaries on large datasets that exceed available system memory. Its capabilities cover data transformation and analysis, includin

SeaTunnel is a distributed data integration engine designed to synchronize structured and unstructured data across diverse sources and sinks. It functions as a multi-engine execution framework that can run data integration tasks across different distributed computing backends to optimize workload performance. The project is distinguished by a visual data pipeline designer for configuring workflows without manual code and a specialized change data capture tool for streaming incremental database updates. It also includes an enrichment pipeline that integrates large language models and embedding

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

csvkit is a composable Unix-style command-line toolkit for converting, filtering, and analyzing CSV files directly from the terminal. It provides a suite of focused single-purpose commands that can be combined via pipes to build complex data processing workflows, with a modular architecture that includes a column-type inference engine for automatically detecting data types and a streaming-pipeline design for efficient handling of tabular data. The toolkit distinguishes itself through its SQL-engine abstraction layer, which allows users to run SQL queries directly against CSV files without req

pgloader is a command-line tool that automates the migration of data and schema from various source databases and file formats into PostgreSQL. It combines schema discovery, parallel data pipelines, and type casting into a single, declarative workflow, using PostgreSQL's COPY protocol for high-throughput bulk loading. The tool distinguishes itself by compiling a dedicated command language into concurrent reader-writer pipelines that handle schema introspection, data transformation, and error-resilient batch processing. It supports migrating entire databases from MySQL, MS SQL, SQLite, and Pos

RediSearch is a Redis module that adds secondary indexing, full-text search, aggregation, and vector similarity search directly into the in-memory data store. It operates as an in-process search engine, extending the core key-value store with capabilities for indexing hash and JSON documents, enabling fast field-level lookups beyond primary key access. The module provides a full-text search engine built on inverted indexes, supporting stemming, fuzzy matching, and relevance scoring via tf-idf. It also includes a vector similarity search engine using a Hierarchical Navigable Small World graph

attrs is a Python library that automatically generates initialization, representation, equality, hashing, and ordering methods from declarative class attribute definitions. At its core, it provides a class decorator metaprogramming framework that intercepts class creation to rewrite the class body, producing dunder methods without manual boilerplate. The library includes a comprehensive attribute validation toolkit with built-in validators for type checks, range constraints, regex matching, length limits, and logical composition of validation rules. The library distinguishes itself through it

GluonTS est un framework pour la prévision probabiliste de séries temporelles, conçu pour prédire les valeurs futures sous forme de distributions de probabilité avec des intervalles de confiance. Il prend en charge à la fois l'entraînement de modèle traditionnel et la prévision zero-shot, où des modèles pré-entraînés génèrent des prédictions pour de nouvelles séries sans entraînement supplémentaire. Le projet se distingue en intégrant une grande variété d'approches de prévision dans un flux de travail unifié. Cela inclut des architectures de deep learning telles que les réseaux neuronaux récurrents et les convolutions causales, ainsi que l'intégration de modèles statistiques externes, la bibliothèque Prophet et les packages R. La boîte à outils fournit une surface complète pour l'ingénierie des données de séries temporelles, couvrant la mise à l'échelle des ensembles de données, la division et la transformation des données temporelles brutes en tenseurs. Elle inclut également une suite d'outils d'évaluation pour mesurer la précision des prévisions et les intervalles d'incertitude, ainsi que des utilitaires pour la persistance des ensembles de données utilisant des formats comme Arrow et Parquet. Le framework prend en charge le déploiement de modèles de prévision au sein de l'infrastructure cloud.

GluonTS est une bibliothèque de séries temporelles probabilistes et un framework de prévision par deep learning. Il fournit une boîte à outils pour construire, entraîner et évaluer des architectures de réseau neuronal qui prédisent les valeurs futures sous forme de distributions de probabilité pour quantifier l'incertitude. Le projet se distingue en prenant en charge la prévision zero-shot et en intégrant diverses approches de modélisation, y compris les réseaux neuronaux probabilistes profonds et des wrappers pour des bibliothèques statistiques externes telles que Prophet et R forecast. Il implémente des primitives architecturales spécialisées comme les convolutions causales et les réseaux résiduels inversibles pour empêcher la fuite d'informations et mapper les représentations latentes en distributions de probabilité valides. Le framework couvre une surface d'ingénierie de données complète, y compris la mise à l'échelle des séries temporelles, les transformations bijectives et la modélisation hiérarchique. Il utilise Apache Arrow et Parquet pour la diffusion d'ensembles de données haute performance et la gestion de l'accès aléatoire. Pour l'évaluation des modèles, il inclut une suite d'évaluation pour mesurer la précision des prévisions et la couverture probabiliste en utilisant des métriques comme la perte quantile et les scores de probabilité de rang continu. La bibliothèque prend en charge le déploiement de modèles via l'intégration avec Amazon SageMaker.

Vega-Lite is a high-level declarative language for specifying interactive, multi-view visualizations. It compiles a concise JSON specification into a full Vega visualization, automatically inferring scales, axes, and legends from encoding declarations. The grammar-of-graphics encoding maps data fields to visual channels such as position, color, size, and shape, while a multi-view composition grammar enables layered, faceted, concatenated, and repeated layouts. Reactive parameter binding links named parameters to input widgets, selections, and expressions for dynamic updates. The project suppo

Mimesis est un générateur de données synthétiques Python utilisé pour créer des jeux de données fictifs réalistes et des données de test pour le développement logiciel. Il fonctionne comme un générateur de jeux de données basé sur des schémas, capable de produire des enregistrements structurés et des jeux de données relationnels, tout en servant d'anonymiseur de données de production pour remplacer les informations sensibles par des valeurs synthétiques. La bibliothèque se distingue par une prise en charge multilingue complète, permettant la génération d'informations spécifiques à une locale pour simuler des profils utilisateur régionaux. Elle garantit la reproductibilité grâce à une génération de données déterministe utilisant des graines (seeds), permettant la création de jeux de données cohérents sur différentes exécutions. L'outil couvre un large éventail de contenus synthétiques, notamment l'identité personnelle, les données financières, les adresses géographiques, les métadonnées réseau et les séquences scientifiques. Ses capacités s'étendent à la transformation de données via une logique conditionnelle et le piping, ainsi qu'à l'intégration avec des dataframes et des modèles de fabrique (factory patterns). Il prend également en charge la génération de codes système standardisés, de jetons cryptographiques et le mocking de fichiers binaires. Le framework est extensible via des fournisseurs de données personnalisés et des gestionnaires de champs, permettant aux utilisateurs d'intégrer une logique spécifique au domaine et des fichiers JSON externes pour une génération de données spécialisée.

Visual Insights est une plateforme d'analyse exploratoire de données automatisée et un outil d'inférence causale conçu pour découvrir des modèles et des relations de cause à effet au sein des jeux de données. Il fonctionne comme une bibliothèque de visualisation de données interactive utilisant une approche de grammaire graphique pour générer des graphiques et des tableaux de bord multidimensionnels. Le projet se distingue par une interface en langage naturel qui traduit les questions en texte brut en réponses de données et visualisations via un modèle de langage. Il fournit un framework spécialisé pour la découverte et l'inférence causales, permettant aux utilisateurs d'identifier les liens entre variables via des graphes causaux interactifs et d'effectuer des analyses de type « et si » pour valider des hypothèses. La plateforme couvre un large éventail de capacités, incluant le nettoyage visuel des données, le profilage statistique et la transformation automatisée des jeux de données. Elle prend en charge l'intégration de données diverses provenant de fichiers locaux et de bases de données distantes, et dispose d'un moteur de traitement haute performance pour gérer de grands jeux de données localement. De plus, le système permet l'intégration de composants d'analyse interactifs dans des applications web et des notebooks.

This project is a desktop-based bibliographic reference manager designed to organize academic research libraries and automate citation workflows. It functions as a research assistant that integrates directly with word processors and text editors, enabling users to insert and format references while writing. The application is built on a Java-based portable runtime, allowing it to operate as a self-contained tool that stores preferences and data in local configuration files. The platform distinguishes itself through a modular plugin architecture and a commitment to human-readable, text-based f

Ce projet est un système de capture de données modifiées (CDC) et une couche de synchronisation qui déplace les données des bases de données MySQL vers des index Elasticsearch. Il fonctionne comme un mappeur relationnel-vers-document, transformant les tables de base de données en documents interrogeables pour permettre l'intégration de données en temps réel et la recherche plein texte. Le synchroniseur se différencie en prenant en charge la dénormalisation des données relationnelles, qui transforme les jointures un-à-plusieurs de la base de données en structures de documents parent-enfant. Il permet également l'agrégation de tables partitionnées, en utilisant des expressions régulières pour regrouper plusieurs tables de base de données dans un seul index de recherche. Le système couvre le mappage et la transformation complets des données, incluant la conversion de types de champs, le mappage de schémas et le filtrage de champs synchronisés. Il emploie un modèle de traitement basé sur un pipeline pour décoder et fusionner les champs, utilisant à la fois le chargement initial basé sur des snapshots pour les bases de référence et le streaming de logs binaires pour les mises à jour en temps réel.

NeoSync est un outil de synchronisation de base de données et un orchestrateur de pipeline de données conçu pour déplacer et transformer des jeux de données entre différents environnements. Il fonctionne comme une plateforme de sécurité des données PII et un générateur de données synthétiques, permettant la synchronisation des données de production tout en garantissant la conformité à la confidentialité. Le système utilise un coordinateur basé sur l'événementiel pour gérer les mouvements de données asynchrones, fournissant une gestion automatisée des tentatives et des échecs. Il se différencie en combinant l'anonymisation et la détection des PII basées sur des règles avec la génération de données synthétiques basées sur des schémas pour créer des jeux de données artificiels qui imitent les propriétés de production sans exposer d'informations privées. Le projet couvre de larges domaines de capacités, notamment le sous-échantillonnage de base de données pour réduire le volume de données pour les tests, les transformations de champs basées sur des modèles pour remodeler les informations, et l'orchestration de pipelines de données pour maintenir l'intégrité relationnelle pendant la synchronisation.

Baserow is a self-hosted, no-code relational database platform built on PostgreSQL. It provides a spreadsheet-like interface for structuring and managing data without writing code, while exposing all database resources via a REST API to support headless architectures. The platform distinguishes itself by integrating large language models and embedding servers to power AI assistants and automated data generation. It further extends its utility as a no-code application builder, allowing users to create custom internal portals, dashboards, and business tools using visual logic and managed data.

dcat-admin est un framework de panneau d'administration Laravel utilisé pour construire rapidement des interfaces d'administration pilotées par les données. Il fonctionne comme un générateur de CRUD et un outil de scaffolding backend qui produit automatiquement des interfaces de création, lecture, mise à jour et suppression basées sur les schémas de tables de base de données. Le système se distingue par une architecture d'extension basée sur des plugins et la capacité d'exécuter plusieurs instances administratives indépendantes au sein d'une seule installation. Il fournit des outils spécialisés pour mapper des API externes vers des formulaires et des tableaux, ainsi qu'un cycle de vie de formulaire piloté par les événements pour exécuter une logique personnalisée lors de la résolution et de la soumission. Le framework couvre un large éventail de domaines de capacités, notamment le contrôle d'accès basé sur les rôles pour gérer les permissions hiérarchiques, une suite complète de grilles de gestion de données avec édition en ligne et des workflows de formulaires multi-étapes. Il inclut également des outils de visualisation de données pour les tableaux de bord opérationnels et une variété d'utilitaires de gestion de contenu pour les téléchargements de fichiers volumineux par morceaux et l'édition de texte riche. Des utilitaires en ligne de commande sont fournis pour automatiser la génération de composants administratifs et de classes d'action.

Angle Grinder is a command line log processor and analytics tool used for parsing, filtering, and aggregating logs through a pipeline of text transformations. It functions as a text transformation pipeline that converts unstructured logs, as well as JSON and logfmt serialized data, into structured fields for analysis. The tool enables the computation of summary statistics, including running totals, counts, averages, and percentiles. It specifically supports time series log processing by partitioning data into discrete time windows to analyze event frequency and system behavior. The processin

Ce projet est une bibliothèque de gestion d'état réactive conçue pour gérer des données de formulaire complexes et une logique de validation. Elle utilise des modèles basés sur les observables pour synchroniser les composants de l'interface utilisateur avec les modèles de données sous-jacents, garantissant que les états des formulaires restent cohérents tout au long d'une application. La bibliothèque fournit une approche structurée pour gérer l'initialisation des formulaires, le suivi des champs et les événements du cycle de vie. La bibliothèque se distingue par sa prise en charge des structures de données profondément imbriquées et de la composition hiérarchique, permettant une validation récursive et des mises à jour dynamiques au sein d'arbres d'objets complexes. Elle dispose d'un moteur de validation piloté par schéma qui prend en charge à la fois les règles synchrones et asynchrones, ainsi qu'une interception de type middleware qui permet à une logique personnalisée de surveiller ou de transformer les données lors des mises à jour des champs. Les développeurs peuvent accéder et manipuler des champs spécifiques dynamiquement en utilisant un adressage basé sur le chemin, offrant une flexibilité lors du travail avec des modèles de formulaires volumineux ou évolutifs. Au-delà de la gestion d'état de base, la bibliothèque inclut des utilitaires pour la transformation des données, tels que le formatage des valeurs d'entrée et le calcul des valeurs des champs basés sur d'autres données de formulaire. Elle offre des capacités d'orchestration multi-formulaires pour coordonner la validation et la soumission sur plusieurs instances, et elle reste découplée des couches de présentation spécifiques pour permettre l'intégration avec n'importe quelle bibliothèque de composants d'interface utilisateur. Le framework fournit également des outils intégrés pour surveiller les événements du cycle de vie des champs et déboguer les transitions d'état internes.