Awesome GitHub RepositoriesData Loading Extraction

Datasets is a library designed for the management, processing, and sharing of large-scale data collections for machine learning workflows. It functions as both a data processing framework and a versioning platform, providing tools to organize, filter, and transform massive datasets while ensuring reproducibility across research and development teams. The library distinguishes itself by enabling the handling of datasets that exceed available system memory. It utilizes memory-mapped file access, disk-based caching, and lazy iterative streaming to maintain performance when working with large-sca

Faker is a Python library designed to generate realistic synthetic data for software testing, database prototyping, and privacy-preserving anonymization. It provides a comprehensive suite of tools to create diverse information types, including personal identities, financial records, geographic locations, and technical system metadata, allowing developers to populate environments with mock data that mimics real-world structures. The library is built on a modular provider architecture that supports dynamic method dispatch, enabling users to extend functionality by registering custom data genera

csvkit is a composable Unix-style command-line toolkit for converting, filtering, and analyzing CSV files directly from the terminal. It provides a suite of focused single-purpose commands that can be combined via pipes to build complex data processing workflows, with a modular architecture that includes a column-type inference engine for automatically detecting data types and a streaming-pipeline design for efficient handling of tabular data. The toolkit distinguishes itself through its SQL-engine abstraction layer, which allows users to run SQL queries directly against CSV files without req

Snorkel is a weak supervision system that enables users to programmatically generate training labels for machine learning models without manual annotation. At its core, it provides a framework for writing labeling functions as Python callables that each vote on data points, and then trains a probabilistic graphical model over these multiple weak supervision sources to estimate latent true labels without any ground truth data. The system automatically learns accuracy and correlation parameters between labeling functions by analyzing observed agreement patterns on unlabeled data, converting lab

xmltodict هي مكتبة Python توفر تسلسلاً ثنائي الاتجاه بين مستندات XML والقواميس (dictionaries). تعمل كمحلل (parser) يحول المدخلات المرمزة إلى أزواج مفتاح-قيمة، وأداة تسلسل تحول القواميس مرة أخرى إلى مستندات XML مهيكلة. يتضمن المشروع معالج تدفق تزايدي يستخدم استدعاءات تعتمد على العمق للتعامل مع ملفات XML الكبيرة مع الحفاظ على استهلاك ثابت للذاكرة. يتميز بمدير مساحات أسماء (namespace manager) لتعيين البادئات والإعلانات، بالإضافة إلى مطهر أمني (security sanitizer) يحظر توسيع الكيانات الخارجية ويتحقق من صحة أسماء العناصر لمنع هجمات الحقن. توفر المكتبة إمكانيات لفرض أنواع البيانات، مثل إجبار عناصر معينة على أن تُمثل كقوائم بغض النظر عن عدد العناصر الفرعية. كما تدعم معالجة البيانات اللاحقة من خلال استدعاءات يحددها المستخدم، وتوفر عناصر تحكم قابلة للتكوين لتوسيع أو طي أو تخطي مساحات الأسماء أثناء عملية التحويل.

gdown is a command-line tool that downloads public files and folders from Google Drive without requiring authentication. It bypasses the mandatory virus-scan warning page to retrieve large files that conventional download tools block, and can resume interrupted transfers using HTTP range requests. Beyond simple file downloads, gdown can recursively download entire folder hierarchies while preserving the local directory structure. It lists the contents of a public folder as structured JSON without downloading the files themselves, and resolves a file's real name and extension without retrievin

Tablib is a Python library designed for importing, exporting, and manipulating tabular datasets. It functions as a multi-format data converter and manager, allowing users to move information between different file standards. The library supports data transformation across CSV, JSON, YAML, and Excel formats. It provides a programmatic interface to manage these datasets by adding rows, filtering columns, and segregating records. The system uses a common internal representation and adapter-based mapping to normalize diverse input sources. This allows for consistent reading and writing routines

Textract هو أداة لاستخراج النصوص من تنسيقات متعددة ومحلل بيانات. يوفر واجهة موحدة لاستخراج النصوص العادية من مجموعة متنوعة من المصادر، بما في ذلك المستندات والصور والملفات الصوتية. يعمل النظام كمحلل لمحتوى المستندات لملفات PDF وجداول البيانات، ومستخرج للنصوص من الصور باستخدام التعرف الضوئي على الحروف (OCR)، ومحول للكلام إلى نص للتسجيلات الصوتية.

img2dataset هو خط معالجة عالي الأداء لمجموعات بيانات الصور وأداة معالجة مسبقة مصممة لتنزيل ومعالجة ملايين الصور من روابط URL لتدريب تعلم الآلة. يعمل كأداة تنزيل صور موزعة ومصدر بيانات للتخزين السحابي، حيث ينقل مجموعات البيانات البصرية الكبيرة من مصادر الويب مباشرة إلى تنسيقات مهيكلة. يعطي النظام الأولوية للحصول على البيانات ذات الإنتاجية العالية من خلال توزيع أحمال العمل عبر أنوية CPU متعددة وأجهزة متعددة. يتكامل مباشرة مع حاويات التخزين السحابي البعيدة ويستخدم نظام تتبع قائماً على البيان (manifest-based) لاستئناف التنزيلات المتقطعة دون إعادة معالجة البيانات الموجودة. توفر الأداة مجموعة معالجة مسبقة كاملة لإعداد مجموعات بيانات تعلم الآلة، بما في ذلك تغيير حجم الصور، والقص، وترشيح الخصائص بناءً على الحجم أو نسبة العرض إلى الارتفاع. كما تتحقق من سلامة الصور عبر مقارنة الهاش (hash) وتضمن الامتثال لتوجيهات الروبوتات أثناء سير عمل الكشط (scraping). تم تنفيذ المشروع بلغة Python.

Camelot is a Python library and processing engine designed to extract tabular data from PDF documents. It converts unstructured tables into machine-readable formats such as CSV, JSON, and Excel. The project provides specialized toolsets for different document types, using line detection for ruled tables and whitespace analysis for borderless tables. It includes an optical character recognition system to recover structured data from image-based scanned PDFs that lack a digital text layer. The library handles complex document layouts, including encrypted files, rotated pages, and tables that s

Synthetic data generation for tabular data

xlwings - Make Excel fly with Python!

Extract data from a wide range of Internet sources into a pandas DataFrame.

python-magic is a C-binding wrapper that provides a Python interface for the libmagic system library. It functions as a file signature analyzer and MIME type detector, identifying file formats by comparing header bytes against a database of known binary signatures. The library enables the identification of file types from both file paths and raw data buffers. It supports custom file signature matching through the injection of user-provided magic databases, allowing for the detection of specialized or proprietary formats. The project covers binary data analysis and MIME type mapping to transl

Please use openpyxl where you can...

Singer is an open source standard for moving data between databases, web APIs, files, queues, and just about anything else you can think of. The Singer spec describes how data extraction scripts — called “Taps” — and data loading scripts — called “Targets” — should communicate using a standard…

Intake is a lightweight package for finding, investigating, loading and disseminating data.

Convert CSV files into a SQLite database. Browse and publish that SQLite database with Datasette.

Data search & enrichment library for Machine Learning → Easily find and add relevant features to your ML & AI pipeline from hundreds of public and premium external data sources, including open & commercial LLMs