Awesome GitHub RepositoriesData Cleaning Procedures

This project is a comprehensive educational curriculum designed to teach the fundamental concepts, workflows, and tools of data science. It provides a structured learning path that covers the end-to-end data science lifecycle, including data acquisition, maintenance, processing, and pattern discovery, while grounding theoretical knowledge in practical, real-world applications. The curriculum distinguishes itself through a data-driven pedagogical design that utilizes interactive, notebook-based lessons. By combining narrative text with live code blocks, the platform allows learners to experime

This repository is a comprehensive collection of instructional guides and practical examples for Python development, focusing on machine learning, data science, and web scraping. It provides implementations for neural networks, reinforcement learning algorithms, and deep learning architectures using PyTorch, alongside detailed manuals for scientific computing and data visualization. The project distinguishes itself by offering specialized tutorials on concurrent programming to optimize CPU performance and guides for setting up Linux development environments. It covers the implementation of ad

Cleanlab is a data-centric AI library and toolkit designed to improve machine learning model performance by detecting label errors and increasing overall dataset quality. It implements a confident learning framework that iteratively refines label noise estimates by comparing model predictions with estimated label probabilities to identify mislabeled examples. The project provides specialized utilities for active learning optimization, allowing for the selection of the most impactful examples for labeling or re-labeling. It also includes an outlier detection tool to identify atypical data poin

AutoGluon is an automated machine learning framework and multimodal library designed to automate the end-to-end pipeline from data preprocessing to high-accuracy model training and validation. It functions as an automated model trainer for tabular, image, text, and time series data, as well as a tool for time series forecasting and foundation model finetuning. The project is distinguished by its ability to jointly process and fuse different data types, allowing for the construction of multimodal neural networks that integrate images, text, and structured tables. It supports zero-shot inferenc

This project is an AI-powered IDE extension and LLM coding assistant that provides a conversational interface for generating, refactoring, and debugging code. It functions as an AI agent framework and a Model Context Protocol client, connecting AI models to external data sources and tools to automate complex development tasks. The system is distinguished by its use of autonomous AI agents capable of multi-step task execution, including the ability to read files, modify code, and run terminal commands iteratively. It supports recursive agent orchestration through subagent delegation and employ

This project is a pandas data analysis cookbook and Python data science guide. It provides a collection of programmatic recipes and examples for cleaning, manipulating, and analyzing structured data. The project focuses on providing a containerized analysis environment to ensure a consistent workspace and reproducible dependencies when executing data processing scripts. It covers a broad range of data science capabilities, including data ingestion from external sources, raw data cleaning, and exploratory data analysis. These recipes demonstrate how to perform structured data analysis through

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

csvkit is a composable Unix-style command-line toolkit for converting, filtering, and analyzing CSV files directly from the terminal. It provides a suite of focused single-purpose commands that can be combined via pipes to build complex data processing workflows, with a modular architecture that includes a column-type inference engine for automatically detecting data types and a streaming-pipeline design for efficient handling of tabular data. The toolkit distinguishes itself through its SQL-engine abstraction layer, which allows users to run SQL queries directly against CSV files without req

SAHI este un framework de inferență prin tăiere (sliced inference) și un pipeline de computer vision conceput pentru a detecta obiecte mici în imagini de înaltă rezoluție. Acesta oferă un sistem pentru divizarea imaginilor mari în patch-uri suprapuse pentru a preveni pierderea detaliilor care apare de obicei în timpul downscaling-ului standard al modelelor, alături de un utilitar de tiling al imaginilor și un toolkit pentru seturi de date COCO. Proiectul se distinge prin oferirea unui wrapper de predicție model-agnostic care standardizează diferite framework-uri de machine learning într-o interfață unificată. Acest lucru îi permite să implementeze inferența prin tăiere și detectarea obiectelor pe diverse backend-uri de modele, menținând în același timp un format de output consistent. Dincolo de inferență, framework-ul acoperă gestionarea seturilor de date pentru formatele COCO și YOLO, inclusiv instrumente pentru tăierea imaginilor adnotate, remaparea categoriilor și fuziunea seturilor de date. Include, de asemenea, o suită pentru evaluarea și monitorizarea performanței modelelor, având calculul metricilor pentru precizie și recall, analiza erorilor de detecție și vizualizarea rezultatelor. Toolkit-ul este accesibil printr-o interfață în linie de comandă pentru automatizarea fluxurilor de lucru de inferență pe directoare de imagini și fluxuri video.

Acest proiect este o resursă educațională cuprinzătoare de machine learning și o serie de tutoriale livrate sub formă de colecție de Jupyter Notebooks interactive. Oferă implementări practice în Python pentru întregul ciclu de viață al machine learning-ului, acoperind învățarea supervizată și nesupervizată, deep learning și reinforcement learning. Resursa se remarcă prin ghiduri detaliate de implementare pentru arhitecturi complexe, inclusiv transformatoare, rețele generative adversariale (GAN) și rețele neuronale convoluționale. Include, de asemenea, cursuri specializate pentru dezvoltarea de agenți de reinforcement learning folosind Q-learning și Deep Q-Networks în medii simulate. Conținutul acoperă o gamă largă de capabilități în data science, inclusiv pipeline-uri de data engineering, codificarea trăsăturilor (feature encoding) și reducerea dimensionalității. Oferă materiale extinse despre evaluarea modelelor prin cross-validation și metrici de diagnostic, precum și subiecte avansate precum procesarea limbajului natural (NLP), analiza sentimentelor și AI generativ. Întregul curriculum este conceput pentru execuție interactivă în Jupyter Notebooks, combinând cod executabil, text bogat și vizualizări.

Acest proiect este un tutorial cuprinzător de analiză a datelor pandas și un ghid instrucțional conceput pentru învățarea manipulării și analizei datelor. Acesta servește drept ghid de procesare a datelor tabelare și un manual pentru analiza seriilor temporale, oferind o abordare structurată pentru curățarea, fuziunea și transformarea seturilor de date. Repository-ul funcționează ca un curs de feature engineering pentru date, oferind tutoriale despre construirea și selectarea caracteristicilor setului de date pentru a îmbunătăți performanța modelului de machine learning. Include, de asemenea, un ghid de operațiuni vectorizate pe date pentru efectuarea de calcule matematice element-cu-element și manipulări de matrice. Materialul acoperă o gamă largă de capabilități, inclusiv fluxuri de lucru de curățare a datelor, sarcini de integrare a datelor și analiză a datelor tabelare. Oferă îndrumări privind procesarea informațiilor textuale, gestionarea datelor categorice și optimizarea vitezei de execuție pentru seturi de date mari. Proiectul este livrat sub forma unei serii de Jupyter Notebooks care conțin exerciții practice și probleme de practică țintite.

Danfo.js este o bibliotecă de analiză și preprocesare a datelor pentru JavaScript care oferă structuri de date etichetate de înaltă performanță. Implementează data frame-uri și serii pentru a permite analiza complexă a datelor, calculul statistic și manipularea datelor tabulare structurate. Proiectul servește ca o bibliotecă de preprocesare pentru învățarea automată, oferind utilitare pentru codificarea etichetelor categorice, one-hot encoding și scalarea și standardizarea caracteristicilor numerice. Acesta facilitează în mod specific conversia structurilor de date etichetate în tensori pentru antrenarea și evaluarea modelelor. Biblioteca acoperă un set larg de capabilități, inclusiv statistici descriptive, operațiuni relaționale precum îmbinarea și unirea, și procesarea seriilor temporale. Include instrumente pentru curățarea, filtrarea și gruparea datelor, precum și o interfață de vizualizare pentru generarea de grafice și diagrame interactive direct din data frame-uri. Sistemul suportă importul și exportul datelor prin formate CSV, JSON și Excel.

Libpostal este o bibliotecă C concepută pentru parsarea și normalizarea adreselor internaționale. Utilizează NLP statistic și un clasificator de limbă pentru a descompune șirurile de adrese globale nestructurate în componente structurate și pentru a standardiza adresele poștale prin extinderea abrevierilor și rezolvarea variațiilor regionale de denumire în mai multe limbi. Proiectul oferă instrumente pentru transliterarea textului, convertind diverse scripturi în forme standardizate Latin-ASCII sau NFD. Include, de asemenea, capabilități pentru deduplicarea adreselor, folosind potrivirea fuzzy simetrică pentru a identifica dacă diferite înregistrări de adrese se referă la aceeași locație fizică. Biblioteca acoperă nevoi mai largi de procesare a textului, cum ar fi normalizarea UTF-8 și conversia numerelor scrise și a cifrelor romane în reprezentări numerice standard. Permite extensii pentru recunoașterea adreselor prin fișiere de configurare externe pentru a adăuga noi limbi și sinonime.

Acest proiect este o colecție de resurse educaționale și materiale de studiu axate pe calculul științific și analiza datelor folosind Python. Constă în note traduse și Jupyter notebooks concepute pentru a ghida cursanții prin ecosistemul de date Python. Conținutul acoperă fluxuri de lucru specializate, inclusiv calculul numeric, curățarea datelor și analiza seriilor temporale. Aceste materiale oferă o referință pentru efectuarea manipulărilor complexe de date și procesarea datelor secvențiale pentru identificarea tiparelor. Resursa este organizată ca o serie de fișiere statice și documente markdown folosind o structură de directoare flat-file. Integrează celule de cod executabil în blocurile de documente și utilizează controlul versiunilor bazat pe git pentru a gestiona actualizările traducerilor și ale fragmentelor de cod.

CrawlerTutorial este un tutorial cuprinzător de web scraping în Python și un framework conceput pentru extragerea datelor de pe site-uri web statice și dinamice. Acesta funcționează ca o conductă de extracție a datelor web și un orchestrator de cereri HTTP, acoperind întregul ciclu de viață al aplicațiilor de scraping, de la preluarea inițială până la stocarea finală a datelor. Proiectul oferă îndrumări specializate privind tehnicile de evitare a sistemelor anti-bot și ingineria inversă a API-urilor web. Include metode pentru evitarea detectării browserului prin mascarea identității și rotația proxy-urilor, precum și tehnici pentru identificarea endpoint-urilor API ascunse prin analizarea traficului de rețea și a semnăturilor cererilor. Framework-ul cuprinde un set larg de capabilități, inclusiv automatizarea browserului pentru pagini cu conținut JavaScript intens, autentificarea automată a utilizatorilor prin coduri QR sau SMS și gestionarea persistenței sesiunii. De asemenea, dispune de instrumente de preprocesare a datelor pentru curățarea textului brut, eliminarea înregistrărilor duplicate și persistența informațiilor colectate în fișiere plate sau baze de date relaționale.

Acest proiect oferă o colecție de seturi de date conversaționale în limba chineză procesate și fluxuri de lucru de preprocesare concepute pentru antrenarea și reglarea instrucțiunilor (instruction tuning) a modelelor de limbaj mari (LLM). Funcționează ca un corpus de antrenament de text chinezesc curățat și standardizat, formatat ca perechi interogare-răspuns. Repository-ul include un pipeline de preprocesare și un agregator de seturi de date care combină mai multe surse de chat publice în fișiere unificate. Aceste instrumente normalizează textul prin convertirea caracterelor chinezești tradiționale în caractere simplificate și transformarea firelor de dialog complexe într-o secvență standardizată de schimburi unice. Datele rezultate sunt exportate ca fișiere independente separate prin tab-uri, asigurând o schemă consistentă între surse disparate. Acest flux de lucru de inginerie se concentrează pe eliminarea inconsecvențelor de formatare pentru a pregăti datele conversaționale brute pentru sarcinile de machine learning.

Acest proiect este o colecție de materiale de referință și linii directoare pentru implementarea framework-urilor de audit al datelor. Servește drept ghid de referință pentru calitatea datelor și manual de validare a seturilor de date pentru identificarea erorilor structurale și statistice comune în seturile de date. Proiectul oferă o bază de cunoștințe structurată pentru curățarea datelor, prezentând un catalog de erori de date din lumea reală și strategii practice pentru detectarea și rezolvarea acestora. Include framework-uri specifice pentru evaluarea provenienței datelor și a fiabilității informațiilor agregate. Materialul acoperă o gamă largă de capabilități de analiză a datelor, inclusiv validarea integrității statistice pentru a detecta manipularea, evaluări ale validității eșantionării pentru a identifica bias-ul populației și metode pentru detectarea erorilor structurale, cum ar fi problemele de encodare. De asemenea, descrie procese pentru recuperarea informațiilor tabelare din documente vizuale prin recunoașterea optică a caracterelor (OCR).

Camelot is a Python-based library designed to parse, extract, and clean tabular data from PDF files. It converts table elements from text-based PDF documents into programmable data structures and dataframes. The tool identifies tabular regions using coordinate-based grouping, lattice-based line detection, and stream-based text extraction. It can also rasterize PDF pages into images to utilize computer vision for detecting structural lines and boundaries. Extracted data is validated through accuracy and whitespace metrics to filter out low-quality extractions. The processed information can be

qsv is a high-performance command line toolkit for querying, transforming, and analyzing comma-separated value files. It functions as a data wrangling interface and a tabular data profiler, featuring a query engine capable of executing SQL statements and joins directly on flat files without requiring a database. The project is distinguished by its ability to process massive datasets that exceed available system memory. This is achieved through disk-based external memory processing, including multithreaded merge sorting, on-disk hash tables for deduplication, and lightweight file indexing for

This project serves as an educational and practical resource for mastering machine learning workflows using Python. It provides a comprehensive collection of code examples and exercises designed to guide users through the implementation of predictive systems, ranging from fundamental algorithms to deep learning architectures. The repository distinguishes itself by offering a structured approach to both classical machine learning and neural network training. It covers the full lifecycle of model development, including the orchestration of reusable data transformation pipelines, advanced ensemb