Awesome GitHub RepositoriesData Quality and Validation

Pydantic is a data validation and serialization library that enforces schema constraints and performs type conversion on complex data structures. It utilizes standard Python type annotations to define data models, allowing developers to establish structured schemas that automatically enforce business rules and constraints without the need for custom domain-specific languages. The library distinguishes itself by transforming high-level model definitions into optimized code during initialization to minimize runtime overhead. It supports recursive validation for nested data structures and employ

Ludwig is a multimodal machine learning platform and low-code framework designed for building, training, and deploying neural networks. It enables the construction of models that process text, images, audio, and tabular data through a unified interface using declarative configuration files rather than custom code. The system features a specialized low-code framework for large language models, supporting supervised fine-tuning, preference alignment, and a constrained decoding tool to force structured data output via logit extraction. It also includes an automated model architecture search to i

PyOD is a Python anomaly detection library used to identify outliers in tabular, time series, graph, text, and image data. It provides a collection of algorithms for detecting anomalous data points and includes a unified detector interface that standardizes input and output signatures across its available detection algorithms. The project features a multi-modal outlier detector for identifying anomalies across diverse formats including unstructured text and images, as well as a specialized toolkit for graph-based and time-series anomaly detection. It includes an ensemble framework for combini

SeaTunnel is a distributed data integration engine designed to synchronize structured and unstructured data across diverse sources and sinks. It functions as a multi-engine execution framework that can run data integration tasks across different distributed computing backends to optimize workload performance. The project is distinguished by a visual data pipeline designer for configuring workflows without manual code and a specialized change data capture tool for streaming incremental database updates. It also includes an enrichment pipeline that integrates large language models and embedding

Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma

Luban este un toolchain de configurare a jocurilor conceput pentru a converti datele bazate pe foi de calcul în formate binare optimizate și cod sursă type-safe pentru mai multe limbaje. Funcționează ca o suită cuprinzătoare pentru validarea configurației, pipeline-uri de serializare a datelor și generarea de cod pentru a asigura consistența datelor pe diferite platforme. Sistemul dispune de un generator de cod multi-limbaj care produce clase de date puternic tipizate din scheme, eliminând nevoia de reflexie. Include un manager de localizare pentru exportul textului tradus și al activelor cu patching specific localității, precum și un pipeline de serializare care transformă fișierele sursă structurate în binare pentru transfer eficient în rețea. Toolchain-ul oferă un motor de validare a configurației pentru a efectua verificări de integritate referențială și verificare a căilor resurselor. De asemenea, suportă modelarea complexă a datelor printr-un sistem de tipuri orientat pe obiecte care permite moștenirea datelor și structuri imbricate în fișierele de configurare.

Pandera is a data pipeline validation framework and statistical type validation tool. It functions as a library for defining and enforcing schemas on datasets to ensure data quality and consistency, specifically providing validation capabilities for Pandas dataframes. The project includes a schema inference tool that automates setup by analyzing existing dataset samples to generate validation schemas. It also serves as a synthetic data generator, creating artificial datasets based on predefined schemas to verify data-producing functions. The framework covers data engineering quality assuranc

Lightweight, extensible data validation library for Python

Data engineering practice repository providing tutorials, distributed processing engines, and Python data pipeline automation scripts. The system encompasses automated data validation, distributed compute aggregation, embedded columnar querying, lazy evaluation planning, partitioned storage export, and cloud storage retrieval. The capability surface covers cloud integration and storage, data engineering and pipelines, data processing and analytics, data quality and testing, database and storage, file management, and monitoring and observability.

Algorithms for outlier, adversarial and drift detection

Acest proiect este o platformă open-source de gestionare a relațiilor cu clienții (CRM) care funcționează ca un framework de dezvoltare de aplicații low-code. Oferă o interfață unificată pentru urmărirea pipeline-urilor de vânzări, gestionarea interacțiunilor cu clienții și automatizarea rutării lead-urilor. Platforma este construită pentru a servi drept instrument de automatizare a proceselor de business, permițând utilizatorilor să definească structuri de date și fluxuri de lucru personalizate pentru a eficientiza sarcinile operaționale. Sistemul se distinge prin arhitectura sa bazată pe metadate, care permite generarea dinamică de formulare și modelarea documentelor relaționale. Prin utilizarea injecției de scripturi pe partea de server și a scriptării personalizate a formularelor, utilizatorii pot impune logică de business complexă și reguli de validare a datelor direct în aplicație. De asemenea, se integrează cu sisteme de planificare a resurselor întreprinderii (ERP) și sisteme de comunicare externe, centralizând înregistrările financiare și canalele de mesagerie într-un singur tablou de bord de gestionare. Platforma susține o gamă largă de capabilități operaționale, inclusiv alocarea automatizată a lead-urilor, impunerea acordurilor privind nivelul serviciilor (SLA) și comunicarea multi-canal. Utilizatorii pot organiza datele prin vizualizări și perspective personalizate, în timp ce framework-ul subiacent facilitează colaborarea în echipă prin note partajate și istoricul sarcinilor. Sistemul este conceput pentru implementare în medii containerizate, asigurând performanțe consistente pe infrastructură privată sau bazată pe cloud.

Tools for exploratory data analysis in Python