Awesome GitHub RepositoriesField Transformations

Keystone Classic is a Node.js headless content management system and web application framework. It provides a database schema framework for defining structured data models and validation rules to organize information. The system automatically generates a responsive administrative dashboard based on predefined data models and database fields, allowing for content management and record editing without custom administration code. The framework covers identity and security through session state management and password encryption. It includes capabilities for request routing, form submission proc

Miller is a command-line data processor used for filtering, transforming, and aggregating name-indexed tabular data. It functions as a tool for querying and reshaping records across multiple file formats, serving as a converter between CSV, JSON, and YAML. The tool distinguishes itself by using a name-indexed data model, allowing users to manipulate fields by name rather than numeric position. It utilizes single-pass streaming algorithms to compute statistics and summaries on large datasets that exceed available system memory. Its capabilities cover data transformation and analysis, includin

SeaTunnel is a distributed data integration engine designed to synchronize structured and unstructured data across diverse sources and sinks. It functions as a multi-engine execution framework that can run data integration tasks across different distributed computing backends to optimize workload performance. The project is distinguished by a visual data pipeline designer for configuring workflows without manual code and a specialized change data capture tool for streaming incremental database updates. It also includes an enrichment pipeline that integrates large language models and embedding

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

csvkit is a composable Unix-style command-line toolkit for converting, filtering, and analyzing CSV files directly from the terminal. It provides a suite of focused single-purpose commands that can be combined via pipes to build complex data processing workflows, with a modular architecture that includes a column-type inference engine for automatically detecting data types and a streaming-pipeline design for efficient handling of tabular data. The toolkit distinguishes itself through its SQL-engine abstraction layer, which allows users to run SQL queries directly against CSV files without req

pgloader is a command-line tool that automates the migration of data and schema from various source databases and file formats into PostgreSQL. It combines schema discovery, parallel data pipelines, and type casting into a single, declarative workflow, using PostgreSQL's COPY protocol for high-throughput bulk loading. The tool distinguishes itself by compiling a dedicated command language into concurrent reader-writer pipelines that handle schema introspection, data transformation, and error-resilient batch processing. It supports migrating entire databases from MySQL, MS SQL, SQLite, and Pos

RediSearch is a Redis module that adds secondary indexing, full-text search, aggregation, and vector similarity search directly into the in-memory data store. It operates as an in-process search engine, extending the core key-value store with capabilities for indexing hash and JSON documents, enabling fast field-level lookups beyond primary key access. The module provides a full-text search engine built on inverted indexes, supporting stemming, fuzzy matching, and relevance scoring via tf-idf. It also includes a vector similarity search engine using a Hierarchical Navigable Small World graph

attrs is a Python library that automatically generates initialization, representation, equality, hashing, and ordering methods from declarative class attribute definitions. At its core, it provides a class decorator metaprogramming framework that intercepts class creation to rewrite the class body, producing dunder methods without manual boilerplate. The library includes a comprehensive attribute validation toolkit with built-in validators for type checks, range constraints, regex matching, length limits, and logical composition of validation rules. The library distinguishes itself through it

GluonTS es una librería de series temporales probabilísticas y framework de pronóstico de aprendizaje profundo. Proporciona un kit de herramientas para construir, entrenar y evaluar arquitecturas de redes neuronales que predicen valores futuros como distribuciones de probabilidad para cuantificar la incertidumbre. El proyecto se distingue por soportar el pronóstico zero-shot e integrar diversos enfoques de modelado, incluyendo redes neuronales probabilísticas profundas y envoltorios para librerías estadísticas externas como Prophet y R forecast. Implementa primitivas arquitectónicas especializadas como convoluciones causales y redes residuales invertibles para prevenir la fuga de información y mapear representaciones latentes en distribuciones de probabilidad válidas. El framework cubre una superficie de ingeniería de datos integral, incluyendo escalado de series temporales, transformaciones biyectivas y modelado jerárquico. Utiliza Apache Arrow y Parquet para el streaming de conjuntos de datos de alto rendimiento y la gestión de acceso aleatorio. Para la evaluación de modelos, incluye una suite de evaluación para medir la precisión del pronóstico y la cobertura probabilística utilizando métricas como la pérdida de cuantiles y puntuaciones de probabilidad de rango continuo. La librería soporta el despliegue de modelos a través de la integración con Amazon SageMaker.

GluonTS es un framework para el pronóstico probabilístico de series temporales, diseñado para predecir valores futuros como distribuciones de probabilidad con intervalos de confianza. Soporta tanto el entrenamiento de modelos tradicionales como el pronóstico zero-shot, donde modelos preentrenados generan predicciones para nuevas series sin entrenamiento adicional. El proyecto se distingue por integrar una amplia variedad de enfoques de pronóstico en un flujo de trabajo unificado. Esto incluye arquitecturas de aprendizaje profundo como redes neuronales recurrentes y convoluciones causales, así como la integración de modelos estadísticos externos, la librería Prophet y paquetes de R. El kit de herramientas proporciona una superficie integral para la ingeniería de datos de series temporales, cubriendo el escalado de conjuntos de datos, la división y la transformación de datos temporales sin procesar en tensores. También incluye un conjunto de herramientas de evaluación para medir la precisión del pronóstico y los intervalos de incertidumbre, así como utilidades para la persistencia de conjuntos de datos utilizando formatos como Arrow y Parquet. El framework soporta el despliegue de modelos de pronóstico dentro de la infraestructura en la nube.

Vega-Lite is a high-level declarative language for specifying interactive, multi-view visualizations. It compiles a concise JSON specification into a full Vega visualization, automatically inferring scales, axes, and legends from encoding declarations. The grammar-of-graphics encoding maps data fields to visual channels such as position, color, size, and shape, while a multi-view composition grammar enables layered, faceted, concatenated, and repeated layouts. Reactive parameter binding links named parameters to input widgets, selections, and expressions for dynamic updates. The project suppo

Mimesis es un generador de datos sintéticos en Python utilizado para crear conjuntos de datos falsos realistas y datos de prueba para el desarrollo y testing de software. Funciona como un generador de datasets basado en esquemas capaz de producir registros estructurados y conjuntos de datos relacionales, sirviendo también como anonimizador de datos de producción para reemplazar información sensible con valores sintéticos. La biblioteca se distingue por su soporte multilingüe integral, permitiendo la generación de información específica de una región para simular perfiles de usuario locales. Garantiza la reproducibilidad mediante la generación determinista de datos usando semillas, lo que permite crear conjuntos de datos consistentes en diferentes ejecuciones. La herramienta cubre una amplia gama de contenido sintético, incluyendo identidad personal, datos financieros, direcciones geográficas, metadatos de red y secuencias científicas. Sus capacidades se extienden a la transformación de datos mediante lógica condicional y tuberías (piping), así como la integración con dataframes y patrones de fábrica. Además, admite la generación de códigos de sistema estandarizados, tokens criptográficos y simulación de archivos binarios. El framework es extensible mediante proveedores de datos personalizados y manejadores de campos, permitiendo a los usuarios integrar lógica específica de dominio y archivos JSON externos para la generación de datos especializada.

Visual Insights es una plataforma de análisis exploratorio de datos automatizado y herramienta de inferencia causal diseñada para descubrir patrones y relaciones de causa y efecto dentro de los datasets. Funciona como una librería de visualización de datos interactiva utilizando un enfoque de gramática de gráficos para generar gráficos y dashboards multidimensionales. El proyecto se distingue por una interfaz de lenguaje natural que traduce preguntas en texto plano a respuestas y visualizaciones de datos mediante un modelo de lenguaje. Proporciona un framework especializado para el descubrimiento e inferencia causal, permitiendo a los usuarios identificar enlaces entre variables mediante gráficos causales interactivos y realizar análisis de tipo "qué pasaría si" (what-if) para validar hipótesis. La plataforma cubre un amplio rango de capacidades, incluyendo limpieza visual de datos, perfilado estadístico y transformación automatizada de datasets. Soporta la integración de datos diversos desde archivos locales y bases de datos remotas, y cuenta con un motor de procesamiento de alto rendimiento para manejar grandes datasets localmente. Además, el sistema permite embeber componentes de análisis interactivos en aplicaciones web y notebooks.

This project is a desktop-based bibliographic reference manager designed to organize academic research libraries and automate citation workflows. It functions as a research assistant that integrates directly with word processors and text editors, enabling users to insert and format references while writing. The application is built on a Java-based portable runtime, allowing it to operate as a self-contained tool that stores preferences and data in local configuration files. The platform distinguishes itself through a modular plugin architecture and a commitment to human-readable, text-based f

Este proyecto es un sistema de captura de datos modificados (CDC) y capa de sincronización que mueve datos desde bases de datos MySQL a índices de Elasticsearch. Funciona como un mapeador de relacional a documento, transformando tablas de bases de datos en documentos buscables para permitir la integración de datos en tiempo real y la búsqueda de texto completo. El sincronizador se diferencia por admitir la desnormalización de datos relacionales, lo que transforma los joins de base de datos uno-a-muchos en estructuras de documentos padre-hijo. También permite la agregación de tablas particionadas, utilizando patrones de expresiones regulares para agrupar múltiples tablas de bases de datos en un solo índice de búsqueda. El sistema cubre el mapeo y transformación integral de datos, incluyendo conversión de tipos de campo, mapeo de esquemas y filtrado de campos sincronizados. Emplea un modelo de procesamiento basado en pipeline para decodificar y fusionar campos, utilizando tanto carga inicial basada en snapshots para líneas base como streaming de logs binarios para actualizaciones en tiempo real.

NeoSync es una herramienta de sincronización de bases de datos y orquestador de pipelines de datos diseñado para mover y transformar conjuntos de datos entre diferentes entornos. Funciona como una plataforma de seguridad de datos PII y un generador de datos sintéticos, permitiendo la sincronización de datos de producción mientras se garantiza el cumplimiento de la privacidad. El sistema utiliza un coordinador basado en eventos para gestionar los movimientos de datos asíncronos, proporcionando reintentos automatizados y manejo de fallos. Se diferencia al combinar la anonimización y detección de PII basada en reglas con la generación de datos sintéticos basada en esquemas para crear conjuntos de datos artificiales que imitan las propiedades de producción sin exponer información privada. El proyecto cubre áreas de capacidad amplias, incluyendo el subconjunto de bases de datos para reducir el volumen de datos para pruebas, transformaciones de campos basadas en plantillas para remodelar la información y la orquestación de pipelines de datos para mantener la integridad relacional durante la sincronización.

Baserow is a self-hosted, no-code relational database platform built on PostgreSQL. It provides a spreadsheet-like interface for structuring and managing data without writing code, while exposing all database resources via a REST API to support headless architectures. The platform distinguishes itself by integrating large language models and embedding servers to power AI assistants and automated data generation. It further extends its utility as a no-code application builder, allowing users to create custom internal portals, dashboards, and business tools using visual logic and managed data.

dcat-admin is a Laravel admin panel framework used to rapidly build data-driven administration interfaces. It functions as a CRUD generator and backend scaffolding tool that automatically produces create, read, update, and delete interfaces based on database table schemas. The system distinguishes itself through a plugin-based extension architecture and the ability to run multiple independent administrative instances within a single installation. It provides specialized tools for mapping external APIs to forms and tables, as well as an event-driven form lifecycle for executing custom logic du

Angle Grinder is a command line log processor and analytics tool used for parsing, filtering, and aggregating logs through a pipeline of text transformations. It functions as a text transformation pipeline that converts unstructured logs, as well as JSON and logfmt serialized data, into structured fields for analysis. The tool enables the computation of summary statistics, including running totals, counts, averages, and percentiles. It specifically supports time series log processing by partitioning data into discrete time windows to analyze event frequency and system behavior. The processin

Este proyecto es una biblioteca de gestión de estado reactiva diseñada para manejar datos de formularios complejos y lógica de validación. Utiliza patrones basados en observables para sincronizar componentes de interfaz de usuario con modelos de datos subyacentes, asegurando que los estados de los formularios permanezcan consistentes en toda la aplicación. La biblioteca proporciona un enfoque estructurado para gestionar la inicialización de formularios, el seguimiento de campos y los eventos del ciclo de vida. La biblioteca se distingue por su soporte para estructuras de datos profundamente anidadas y composición jerárquica, permitiendo la validación recursiva y actualizaciones dinámicas dentro de árboles de objetos complejos. Cuenta con un motor de validación basado en esquemas que admite reglas tanto síncronas como asíncronas, junto con una interceptación estilo middleware que permite a la lógica personalizada monitorear o transformar datos durante las actualizaciones de campos. Los desarrolladores pueden acceder y manipular campos específicos dinámicamente utilizando direccionamiento basado en rutas, proporcionando flexibilidad al trabajar con modelos de formularios grandes o en evolución. Más allá de la gestión de estado central, la biblioteca incluye utilidades para la transformación de datos, como formatear valores de entrada y calcular valores de campos basados en otros datos del formulario. Ofrece capacidades de orquestación de múltiples formularios para coordinar la validación y el envío en múltiples instancias, y permanece desacoplada de capas de presentación específicas para permitir la integración con cualquier biblioteca de componentes de interfaz de usuario. El framework también proporciona herramientas integradas para monitorear eventos del ciclo de vida de los campos y depurar transiciones de estado internas.