Awesome GitHub RepositoriesData Quality and Validation

Pydantic is a data validation and serialization library that enforces schema constraints and performs type conversion on complex data structures. It utilizes standard Python type annotations to define data models, allowing developers to establish structured schemas that automatically enforce business rules and constraints without the need for custom domain-specific languages. The library distinguishes itself by transforming high-level model definitions into optimized code during initialization to minimize runtime overhead. It supports recursive validation for nested data structures and employ

Ludwig is a multimodal machine learning platform and low-code framework designed for building, training, and deploying neural networks. It enables the construction of models that process text, images, audio, and tabular data through a unified interface using declarative configuration files rather than custom code. The system features a specialized low-code framework for large language models, supporting supervised fine-tuning, preference alignment, and a constrained decoding tool to force structured data output via logit extraction. It also includes an automated model architecture search to i

PyOD is a Python anomaly detection library used to identify outliers in tabular, time series, graph, text, and image data. It provides a collection of algorithms for detecting anomalous data points and includes a unified detector interface that standardizes input and output signatures across its available detection algorithms. The project features a multi-modal outlier detector for identifying anomalies across diverse formats including unstructured text and images, as well as a specialized toolkit for graph-based and time-series anomaly detection. It includes an ensemble framework for combini

SeaTunnel is a distributed data integration engine designed to synchronize structured and unstructured data across diverse sources and sinks. It functions as a multi-engine execution framework that can run data integration tasks across different distributed computing backends to optimize workload performance. The project is distinguished by a visual data pipeline designer for configuring workflows without manual code and a specialized change data capture tool for streaming incremental database updates. It also includes an enrichment pipeline that integrates large language models and embedding

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Luban es una cadena de herramientas de configuración de juegos diseñada para convertir datos basados en hojas de cálculo en formatos binarios optimizados y código fuente con tipado fuerte para múltiples lenguajes. Funciona como una suite integral para la validación de configuración, pipelines de serialización de datos y generación de código para asegurar la consistencia de los datos en diferentes plataformas. El sistema cuenta con un generador de código multilenguaje que produce clases de datos fuertemente tipadas a partir de esquemas, eliminando la necesidad de reflexión. Incluye un gestor de localización para exportar texto traducido y activos con parches específicos de la configuración regional, y un pipeline de serialización que transforma archivos fuente estructurados en binarios para una transferencia de red eficiente. La cadena de herramientas proporciona un motor de validación de configuración para realizar comprobaciones de integridad referencial y verificación de rutas de recursos. Además, soporta el modelado de datos complejo a través de un sistema de tipos orientado a objetos que permite la herencia de datos y estructuras anidadas dentro de los archivos de configuración.

Pandera is a data pipeline validation framework and statistical type validation tool. It functions as a library for defining and enforcing schemas on datasets to ensure data quality and consistency, specifically providing validation capabilities for Pandas dataframes. The project includes a schema inference tool that automates setup by analyzing existing dataset samples to generate validation schemas. It also serves as a synthetic data generator, creating artificial datasets based on predefined schemas to verify data-producing functions. The framework covers data engineering quality assuranc

Lightweight, extensible data validation library for Python

Data engineering practice repository providing tutorials, distributed processing engines, and Python data pipeline automation scripts. The system encompasses automated data validation, distributed compute aggregation, embedded columnar querying, lazy evaluation planning, partitioned storage export, and cloud storage retrieval. The capability surface covers cloud integration and storage, data engineering and pipelines, data processing and analytics, data quality and testing, database and storage, file management, and monitoring and observability.

Algorithms for outlier, adversarial and drift detection

Este proyecto es una plataforma de gestión de relaciones con el cliente de código abierto que funciona como un marco de desarrollo de aplicaciones de bajo código. Proporciona una interfaz unificada para rastrear tuberías de ventas, gestionar interacciones con clientes y automatizar el enrutamiento de clientes potenciales. La plataforma está construida para servir como una herramienta de automatización de procesos de negocio, permitiendo a los usuarios definir estructuras de datos y flujos de trabajo personalizados para agilizar las tareas operativas. El sistema se distingue por su arquitectura impulsada por metadatos, que permite la generación dinámica de formularios y el modelado de documentos relacionales. Al utilizar la inyección de scripts del lado del servidor y la creación de scripts de formularios personalizados, los usuarios pueden imponer lógica de negocio compleja y reglas de validación de datos directamente dentro de la aplicación. También se integra con la planificación de recursos empresariales y sistemas de comunicación externos, centralizando registros financieros y canales de mensajería en un único panel de gestión. La plataforma admite una amplia gama de capacidades operativas, incluida la asignación automatizada de clientes potenciales, la aplicación de acuerdos de nivel de servicio y la comunicación multicanal. Los usuarios pueden organizar datos a través de vistas y visualizaciones personalizadas, mientras que el marco subyacente facilita la colaboración en equipo a través de notas compartidas e historiales de tareas. El sistema está diseñado para su despliegue en entornos contenedorizados, asegurando un rendimiento consistente en infraestructura privada o basada en la nube.

Tools for exploratory data analysis in Python