4 مستودعات
Awesome GitHub RepositoriesData Normalization
Standardizes raw input formats into a consistent internal representation.
Distinct from Input Validation: Distinct from Input Validation: focuses on the process of cleaning and standardizing data rather than simply verifying correctness.
Explore 4 awesome GitHub repositories matching part of an awesome list · Data Normalization. Refine with filters or upvote what's useful.
Awesome Data Normalization GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- modood/administrative-divisions-of-china
modood/Administrative-divisions-of-China
20,829عرض على GitHubThis project provides a structured dataset of the administrative divisions of China, covering five levels from provinces down to villages. It delivers this geographical information in a standardized JSON format designed for data exchange and integration. The dataset is organized as a hierarchical source specifically for building cascading address selectors and region pickers. It uses linked data to enable sequential filtering from higher-level provinces down to village-level boundaries. The project covers geographic data management and regional data normalization. It provides the necessary m
Standardizes regional inputs using a consistent hierarchy of provinces, cities, districts, towns, and villages.
JavaScriptaddressadministrative-divisionsarea - open-circle/valibot
open-circle/valibot
8,769عرض على GitHubValibot is a modular, type-safe schema library for validating and parsing structural data in TypeScript environments.
Transforms raw input into a standardized format during the validation process.
TypeScriptbundle-sizemodularparsing - openvenues/libpostal
openvenues/libpostal
4,819عرض على GitHubLibpostal هي مكتبة C مصممة لتحليل وتطبيع العناوين الدولية. تستخدم معالجة اللغات الطبيعية (NLP) الإحصائية ومصنف لغات لتفكيك سلاسل العناوين العالمية غير المهيكلة إلى مكونات منظمة، وتوحيد عناوين الشوارع من خلال توسيع الاختصارات وحل اختلافات التسمية الإقليمية عبر لغات متعددة. يوفر المشروع أدوات لتحويل النصوص (Transliteration)، وتحويل النصوص المختلفة إلى صيغ Latin-ASCII أو NFD موحدة. كما يتضمن قدرات لإزالة تكرار العناوين، باستخدام مطابقة تقريبية متماثلة لتحديد ما إذا كانت سجلات العناوين المختلفة تشير إلى نفس الموقع الفعلي. تغطي المكتبة احتياجات معالجة النصوص الأوسع مثل تطبيع UTF-8 وتحويل الأرقام المكتوبة والأرقام الرومانية إلى تمثيلات رقمية قياسية. وتسمح بإضافات للتعرف على العناوين من خلال ملفات تهيئة خارجية لإضافة لغات ومرادفات جديدة.
Provides multi-language expansion of shorthand address terms into their full-form equivalents.
C - dathere/qsv
dathere/qsv
3,687عرض على GitHubqsv is a high-performance command line toolkit for querying, transforming, and analyzing comma-separated value files. It functions as a data wrangling interface and a tabular data profiler, featuring a query engine capable of executing SQL statements and joins directly on flat files without requiring a database. The project is distinguished by its ability to process massive datasets that exceed available system memory. This is achieved through disk-based external memory processing, including multithreaded merge sorting, on-disk hash tables for deduplication, and lightweight file indexing for
Reads data with specific quoting or transcoding rules to standardize input for processing.
Rustaickancsv
