Awesome GitHub RepositoriesData Cleaning Procedures

This project is a comprehensive educational curriculum designed to teach the fundamental concepts, workflows, and tools of data science. It provides a structured learning path that covers the end-to-end data science lifecycle, including data acquisition, maintenance, processing, and pattern discovery, while grounding theoretical knowledge in practical, real-world applications. The curriculum distinguishes itself through a data-driven pedagogical design that utilizes interactive, notebook-based lessons. By combining narrative text with live code blocks, the platform allows learners to experime

This repository is a comprehensive collection of instructional guides and practical examples for Python development, focusing on machine learning, data science, and web scraping. It provides implementations for neural networks, reinforcement learning algorithms, and deep learning architectures using PyTorch, alongside detailed manuals for scientific computing and data visualization. The project distinguishes itself by offering specialized tutorials on concurrent programming to optimize CPU performance and guides for setting up Linux development environments. It covers the implementation of ad

Cleanlab is a data-centric AI library and toolkit designed to improve machine learning model performance by detecting label errors and increasing overall dataset quality. It implements a confident learning framework that iteratively refines label noise estimates by comparing model predictions with estimated label probabilities to identify mislabeled examples. The project provides specialized utilities for active learning optimization, allowing for the selection of the most impactful examples for labeling or re-labeling. It also includes an outlier detection tool to identify atypical data poin

AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

This project is an AI-powered IDE extension and LLM coding assistant that provides a conversational interface for generating, refactoring, and debugging code. It functions as an AI agent framework and a Model Context Protocol client, connecting AI models to external data sources and tools to automate complex development tasks. The system is distinguished by its use of autonomous AI agents capable of multi-step task execution, including the ability to read files, modify code, and run terminal commands iteratively. It supports recursive agent orchestration through subagent delegation and employ

Ce projet est un livre de recettes d'analyse de données pandas et un guide de science des données Python. Il fournit une collection de recettes programmatiques et d'exemples pour nettoyer, manipuler et analyser des données structurées. Le projet se concentre sur la fourniture d'un environnement d'analyse conteneurisé pour assurer un espace de travail cohérent et des dépendances reproductibles lors de l'exécution de scripts de traitement de données. Il couvre un large éventail de capacités en science des données, y compris l'ingestion de données à partir de sources externes, le nettoyage de données brutes et l'analyse exploratoire des données. Ces recettes démontrent comment effectuer une analyse de données structurées via des techniques telles que le filtrage, l'agrégation de données groupées et le traitement de données textuelles.

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

csvkit is a composable Unix-style command-line toolkit for converting, filtering, and analyzing CSV files directly from the terminal. It provides a suite of focused single-purpose commands that can be combined via pipes to build complex data processing workflows, with a modular architecture that includes a column-type inference engine for automatically detecting data types and a streaming-pipeline design for efficient handling of tabular data. The toolkit distinguishes itself through its SQL-engine abstraction layer, which allows users to run SQL queries directly against CSV files without req

SAHI est un framework d'inférence par découpage (sliced inference) et un pipeline de vision par ordinateur conçu pour détecter de petits objets dans des images haute résolution. Il fournit un système pour diviser les grandes images en patchs chevauchants afin d'éviter la perte de détails qui se produit généralement lors de la réduction d'échelle standard des modèles, aux côtés d'un utilitaire de tuilage d'image et d'une boîte à outils de jeu de données COCO. Le projet se distingue en offrant un wrapper de prédiction agnostique au modèle qui standardise différents frameworks d'apprentissage automatique dans une interface unifiée. Cela lui permet d'implémenter l'inférence par découpage et la détection d'objets à travers divers backends de modèles tout en maintenant un format de sortie cohérent. Au-delà de l'inférence, le framework couvre la gestion de jeux de données pour les formats COCO et YOLO, incluant des outils pour le découpage d'images annotées, le remapping de catégories et la fusion de jeux de données. Il inclut également une suite pour l'évaluation et la surveillance des performances des modèles, présentant le calcul de métriques pour la précision et le rappel, l'analyse des erreurs de détection et la visualisation des résultats. La boîte à outils est accessible via une interface en ligne de commande pour automatiser les workflows d'inférence à travers les répertoires d'images et les flux vidéo.

Ce projet est une ressource pédagogique complète sur le machine learning, présentée sous forme d'une série de tutoriels dans des Jupyter Notebooks interactifs. Il propose des implémentations pratiques en Python pour l'ensemble du cycle de vie du machine learning, couvrant l'apprentissage supervisé et non supervisé, le deep learning et l'apprentissage par renforcement. La ressource se distingue par des guides d'implémentation détaillés pour des architectures complexes, notamment les transformers, les réseaux antagonistes génératifs (GAN) et les réseaux de neurones convolutifs. Elle propose également des cours spécialisés pour développer des agents d'apprentissage par renforcement utilisant le Q-learning et les Deep Q-Networks dans des environnements simulés. Le contenu couvre un large spectre de capacités en data science, incluant les pipelines d'ingénierie de données, l'encodage de caractéristiques et la réduction de dimensionnalité. Il fournit un matériel étendu sur l'évaluation des modèles via la validation croisée et des métriques de diagnostic, ainsi que des sujets avancés comme le traitement du langage naturel (NLP), l'analyse de sentiment et l'IA générative. L'ensemble du cursus est conçu pour une exécution interactive dans des Jupyter Notebooks, combinant code exécutable, texte riche et visualisations.

Ce projet est un tutoriel complet d'analyse de données pandas et un guide pédagogique conçu pour apprendre la manipulation et l'analyse de données. Il sert de guide de traitement de données tabulaires et de manuel pour l'analyse de séries temporelles, fournissant une approche structurée pour nettoyer, fusionner et transformer les jeux de données. Le dépôt fonctionne comme un cours d'ingénierie de caractéristiques de données, fournissant des tutoriels sur la construction et la sélection de caractéristiques de jeu de données pour améliorer les performances des modèles d'apprentissage automatique. Il inclut également un guide d'opérations de données vectorisées pour effectuer des calculs mathématiques élément par élément et des manipulations de matrices. Le matériel couvre un large éventail de capacités, notamment les flux de travail de nettoyage de données, les tâches d'intégration de données et l'analyse de données tabulaires. Il fournit des conseils sur le traitement des informations textuelles, la gestion des données catégorielles et l'optimisation de la vitesse d'exécution pour les grands jeux de données. Le projet est livré sous forme d'une série de Jupyter Notebooks contenant des exercices pratiques et des problèmes d'entraînement ciblés.

Danfo.js est une bibliothèque d'analyse et de prétraitement de données pour JavaScript qui fournit des structures de données étiquetées haute performance. Elle implémente des dataframes et des séries pour permettre une analyse de données complexe, le calcul statistique et la manipulation de données tabulaires structurées. Le projet sert de bibliothèque de prétraitement pour le machine learning, offrant des utilitaires pour l'encodage d'étiquettes catégorielles, l'encodage one-hot, ainsi que la mise à l'échelle et la standardisation des caractéristiques numériques. Elle facilite spécifiquement la conversion de structures de données étiquetées en tenseurs pour l'entraînement et l'évaluation de modèles. La bibliothèque couvre un large ensemble de capacités incluant les statistiques descriptives, les opérations relationnelles comme la fusion et la jointure, et le traitement de séries temporelles. Elle inclut des outils pour le nettoyage, le filtrage et le regroupement de données, ainsi qu'une interface de visualisation pour générer des graphiques interactifs directement à partir des dataframes. Le système prend en charge l'importation et l'exportation de données via les formats CSV, JSON et Excel.

Libpostal est une bibliothèque C conçue pour l'analyse et la normalisation d'adresses internationales. Elle utilise le NLP statistique et un classificateur de langue pour décomposer des chaînes d'adresses mondiales non structurées en composants structurés, et pour standardiser les adresses postales en développant les abréviations et en résolvant les variations de nommage régionales dans plusieurs langues. Le projet fournit des outils de translittération de texte, convertissant divers scripts en formes standardisées Latin-ASCII ou NFD. Il inclut également des capacités de déduplication d'adresses, utilisant une correspondance floue (fuzzy matching) symétrique pour identifier si différents enregistrements d'adresses font référence au même emplacement physique. La bibliothèque couvre des besoins plus larges de traitement de texte tels que la normalisation UTF-8 et la conversion de nombres écrits en toutes lettres et de chiffres romains en représentations numériques standard. Elle permet des extensions pour la reconnaissance d'adresses via des fichiers de configuration externes afin d'ajouter de nouvelles langues et synonymes.

Ce projet est une collection de ressources éducatives et de supports d'étude axés sur le calcul scientifique et l'analyse de données avec Python. Il se compose de notes traduites et de notebooks Jupyter conçus pour guider les apprenants à travers l'écosystème de données Python. Le contenu couvre des flux de travail spécialisés, notamment le calcul numérique, le nettoyage de données et l'analyse de séries temporelles. Ces supports servent de référence pour effectuer des manipulations de données complexes et traiter des données séquentielles afin d'identifier des modèles. La ressource est organisée sous forme d'une série de fichiers statiques et de documents markdown utilisant une structure de répertoire à plat. Elle intègre des cellules de code exécutables au sein des blocs de documents et utilise le contrôle de version git pour gérer les mises à jour des traductions et des extraits de code.

CrawlerTutorial est un tutoriel complet de web scraping en Python et un framework conçu pour extraire des données de sites web statiques et dynamiques. Il fonctionne comme un pipeline d'extraction de données web et un orchestrateur de requêtes HTTP, couvrant tout le cycle de vie des applications de scraping, de la récupération initiale au stockage final des données. Le projet fournit des conseils spécialisés sur les techniques de contournement anti-bot et l'ingénierie inverse d'API web. Il inclut des méthodes pour échapper à la détection par navigateur via le masquage d'identité et la rotation de proxies, ainsi que des techniques pour identifier les points de terminaison d'API cachés en analysant le trafic réseau et les signatures de requêtes. Le framework englobe un large ensemble de capacités, incluant l'automatisation de navigateur pour les pages riches en JavaScript, l'authentification utilisateur automatisée via codes QR ou SMS, et la gestion de la persistance de session. Il dispose également d'outils de prétraitement de données pour nettoyer le texte brut, supprimer les enregistrements en double et persister les informations recueillies dans des fichiers plats ou des bases de données relationnelles.

Ce projet fournit une collection de jeux de données conversationnels chinois traités et des flux de travail de prétraitement conçus pour l'entraînement et le réglage d'instructions de grands modèles de langage. Il fonctionne comme un corpus d'entraînement de texte chinois nettoyé et standardisé, formaté sous forme de paires requête-réponse. Le dépôt inclut un pipeline de prétraitement et un agrégateur de jeux de données qui combinent plusieurs sources de chat publiques en fichiers unifiés. Ces outils normalisent le texte en convertissant les caractères chinois traditionnels en caractères simplifiés et en transformant les fils de discussion complexes en une séquence standardisée de tours uniques. Les données résultantes sont exportées sous forme de fichiers séparés par des tabulations, assurant un schéma cohérent à travers des sources disparates. Ce flux de travail d'ingénierie se concentre sur la suppression des incohérences de formatage pour préparer les données conversationnelles brutes aux tâches de machine learning.

Ce projet est une collection de supports de référence et de directives pour implémenter des frameworks d'audit de données. Il sert de guide de référence sur la qualité des données et de manuel de validation de jeux de données pour identifier les erreurs structurelles et statistiques courantes dans les jeux de données. Le projet fournit une base de connaissances structurée pour le nettoyage des données, présentant un catalogue d'erreurs de données réelles et des stratégies pratiques pour leur détection et leur résolution. Il inclut des frameworks spécifiques pour évaluer la provenance des données et la fiabilité des informations agrégées. Le matériel couvre un large éventail de capacités d'analyse de données, incluant la validation de l'intégrité statistique pour détecter la manipulation, des évaluations de la validité de l'échantillonnage pour identifier les biais de population, et des méthodes pour la détection d'erreurs structurelles telles que les problèmes d'encodage. Il décrit également des processus pour récupérer des informations tabulaires à partir de documents visuels via la reconnaissance optique de caractères (OCR).

Camelot is a Python-based library designed to parse, extract, and clean tabular data from PDF files. It converts table elements from text-based PDF documents into programmable data structures and dataframes. The tool identifies tabular regions using coordinate-based grouping, lattice-based line detection, and stream-based text extraction. It can also rasterize PDF pages into images to utilize computer vision for detecting structural lines and boundaries. Extracted data is validated through accuracy and whitespace metrics to filter out low-quality extractions. The processed information can be

qsv is a high-performance command line toolkit for querying, transforming, and analyzing comma-separated value files. It functions as a data wrangling interface and a tabular data profiler, featuring a query engine capable of executing SQL statements and joins directly on flat files without requiring a database. The project is distinguished by its ability to process massive datasets that exceed available system memory. This is achieved through disk-based external memory processing, including multithreaded merge sorting, on-disk hash tables for deduplication, and lightweight file indexing for

Ce projet sert de ressource éducative et pratique pour maîtriser les flux de travail de machine learning en utilisant Python. Il fournit une collection complète d'exemples de code et d'exercices conçus pour guider les utilisateurs à travers l'implémentation de systèmes prédictifs, allant des algorithmes fondamentaux aux architectures d'apprentissage profond. Le dépôt se distingue en offrant une approche structurée à la fois pour le machine learning classique et l'entraînement de réseaux de neurones. Il couvre le cycle de vie complet du développement de modèles, y compris l'orchestration de pipelines de transformation de données réutilisables, des stratégies d'ensemble avancées comme le stacking et l'entraînement séquentiel, et des techniques pour gérer des jeux de données à grande échelle via un traitement incrémental. Le matériel englobe une large surface de capacités, incluant la classification, la régression, le clustering et la réduction de dimensionnalité. Il fournit des outils pour une évaluation rigoureuse des modèles, tels que l'analyse d'erreurs et les métriques de performance, aux côtés de techniques d'optimisation comme le réglage des hyperparamètres, la régularisation et des contrôles d'entraînement automatisés pour garantir la fiabilité et la généralisation du modèle. Le contenu est organisé comme une série de tutoriels et d'exercices pratiques, en faisant une référence pour construire et déployer des systèmes intelligents avec des frameworks standards de l'industrie.