4 dépôts
Awesome GitHub RepositoriesData Normalization
Standardizes raw input formats into a consistent internal representation.
Distinct from Input Validation: Distinct from Input Validation: focuses on the process of cleaning and standardizing data rather than simply verifying correctness.
Explore 4 awesome GitHub repositories matching part of an awesome list · Data Normalization. Refine with filters or upvote what's useful.
Awesome Data Normalization GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- modood/administrative-divisions-of-china
modood/Administrative-divisions-of-China
20,829Voir sur GitHubThis project provides a structured dataset of the administrative divisions of China, covering five levels from provinces down to villages. It delivers this geographical information in a standardized JSON format designed for data exchange and integration. The dataset is organized as a hierarchical source specifically for building cascading address selectors and region pickers. It uses linked data to enable sequential filtering from higher-level provinces down to village-level boundaries. The project covers geographic data management and regional data normalization. It provides the necessary m
Standardizes regional inputs using a consistent hierarchy of provinces, cities, districts, towns, and villages.
JavaScriptaddressadministrative-divisionsarea - open-circle/valibot
open-circle/valibot
8,769Voir sur GitHubValibot is a modular, type-safe schema library for validating and parsing structural data in TypeScript environments.
Transforms raw input into a standardized format during the validation process.
TypeScriptbundle-sizemodularparsing - openvenues/libpostal
openvenues/libpostal
4,819Voir sur GitHubLibpostal est une bibliothèque C conçue pour l'analyse et la normalisation d'adresses internationales. Elle utilise le NLP statistique et un classificateur de langue pour décomposer des chaînes d'adresses mondiales non structurées en composants structurés, et pour standardiser les adresses postales en développant les abréviations et en résolvant les variations de nommage régionales dans plusieurs langues. Le projet fournit des outils de translittération de texte, convertissant divers scripts en formes standardisées Latin-ASCII ou NFD. Il inclut également des capacités de déduplication d'adresses, utilisant une correspondance floue (fuzzy matching) symétrique pour identifier si différents enregistrements d'adresses font référence au même emplacement physique. La bibliothèque couvre des besoins plus larges de traitement de texte tels que la normalisation UTF-8 et la conversion de nombres écrits en toutes lettres et de chiffres romains en représentations numériques standard. Elle permet des extensions pour la reconnaissance d'adresses via des fichiers de configuration externes afin d'ajouter de nouvelles langues et synonymes.
Provides multi-language expansion of shorthand address terms into their full-form equivalents.
C - dathere/qsv
dathere/qsv
3,687Voir sur GitHubqsv is a high-performance command line toolkit for querying, transforming, and analyzing comma-separated value files. It functions as a data wrangling interface and a tabular data profiler, featuring a query engine capable of executing SQL statements and joins directly on flat files without requiring a database. The project is distinguished by its ability to process massive datasets that exceed available system memory. This is achieved through disk-based external memory processing, including multithreaded merge sorting, on-disk hash tables for deduplication, and lightweight file indexing for
Reads data with specific quoting or transcoding rules to standardize input for processing.
Rustaickancsv
