Awesome GitHub RepositoriesData Loading Extraction

Datasets is a library designed for the management, processing, and sharing of large-scale data collections for machine learning workflows. It functions as both a data processing framework and a versioning platform, providing tools to organize, filter, and transform massive datasets while ensuring reproducibility across research and development teams. The library distinguishes itself by enabling the handling of datasets that exceed available system memory. It utilizes memory-mapped file access, disk-based caching, and lazy iterative streaming to maintain performance when working with large-sca

Faker is a Python library designed to generate realistic synthetic data for software testing, database prototyping, and privacy-preserving anonymization. It provides a comprehensive suite of tools to create diverse information types, including personal identities, financial records, geographic locations, and technical system metadata, allowing developers to populate environments with mock data that mimics real-world structures. The library is built on a modular provider architecture that supports dynamic method dispatch, enabling users to extend functionality by registering custom data genera

csvkit is a composable Unix-style command-line toolkit for converting, filtering, and analyzing CSV files directly from the terminal. It provides a suite of focused single-purpose commands that can be combined via pipes to build complex data processing workflows, with a modular architecture that includes a column-type inference engine for automatically detecting data types and a streaming-pipeline design for efficient handling of tabular data. The toolkit distinguishes itself through its SQL-engine abstraction layer, which allows users to run SQL queries directly against CSV files without req

Snorkel is a weak supervision system that enables users to programmatically generate training labels for machine learning models without manual annotation. At its core, it provides a framework for writing labeling functions as Python callables that each vote on data points, and then trains a probabilistic graphical model over these multiple weak supervision sources to estimate latent true labels without any ground truth data. The system automatically learns accuracy and correlation parameters between labeling functions by analyzing observed agreement patterns on unlabeled data, converting lab

xmltodict एक Python लाइब्रेरी है जो XML दस्तावेज़ों और डिक्शनरी के बीच द्विदिश (bidirectional) सीरियलाइज़ेशन प्रदान करती है। यह एक पार्सर के रूप में कार्य करती है जो मार्क-अप इनपुट को की-वैल्यू पेयर्स में बदलती है, और एक सीरियलाइज़ेशन यूटिलिटी के रूप में जो डिक्शनरी को वापस स्ट्रक्चर्ड XML दस्तावेज़ों में बदलती है। इस प्रोजेक्ट में एक इंक्रीमेंटल स्ट्रीम प्रोसेसर शामिल है जो बड़ी XML फ़ाइलों को संभालने के लिए डेप्थ-बेस्ड कॉलबैक्स का उपयोग करता है, जबकि मेमोरी का उपयोग स्थिर रखता है। इसमें प्रीफ़िक्स और डिक्लेरेशन्स को मैप करने के लिए एक नेमस्पेस मैनेजर, और बाहरी एंटिटी एक्सपेंशन को ब्लॉक करने और इंजेक्शन हमलों को रोकने के लिए एलिमेंट नामों को वैलिडेट करने वाला एक सिक्योरिटी सैनिटाइज़र शामिल है। यह लाइब्रेरी डेटा टाइप एनफोर्समेंट की क्षमताएं प्रदान करती है, जैसे कि चाइल्ड काउंट की परवाह किए बिना विशिष्ट एलिमेंट्स को लिस्ट के रूप में प्रस्तुत करने के लिए मजबूर करना। यह उपयोगकर्ता-परिभाषित कॉलबैक्स के माध्यम से डेटा पोस्ट-प्रोसेसिंग को भी सपोर्ट करती है और कन्वर्ज़न प्रक्रिया के दौरान नेमस्पेस को एक्सपैंड, कोलैप्स या स्किप करने के लिए कॉन्फ़िगर करने योग्य कंट्रोल्स प्रदान करती है।

gdown is a command-line tool that downloads public files and folders from Google Drive without requiring authentication. It bypasses the mandatory virus-scan warning page to retrieve large files that conventional download tools block, and can resume interrupted transfers using HTTP range requests. Beyond simple file downloads, gdown can recursively download entire folder hierarchies while preserving the local directory structure. It lists the contents of a public folder as structured JSON without downloading the files themselves, and resolves a file's real name and extension without retrievin

Tablib सारणीबद्ध (tabular) डेटासेट को इम्पोर्ट, एक्सपोर्ट और मैनिपुलेट करने के लिए डिज़ाइन की गई एक Python लाइब्रेरी है। यह एक मल्टी-फ़ॉर्मेट डेटा कनवर्टर और मैनेजर के रूप में कार्य करता है, जो यूज़र्स को विभिन्न फ़ाइल मानकों के बीच जानकारी स्थानांतरित करने की अनुमति देता है। लाइब्रेरी CSV, JSON, YAML और Excel प्रारूपों में डेटा ट्रांसफ़ॉर्मेशन का सपोर्ट करती है। यह पंक्तियों को जोड़ने, कॉलम को फ़िल्टर करने और रिकॉर्ड्स को अलग करने के लिए इन डेटासेट को प्रबंधित करने के लिए एक प्रोग्रामेटिक इंटरफ़ेस प्रदान करती है। सिस्टम विविध इनपुट स्रोतों को सामान्य करने के लिए एक सामान्य आंतरिक प्रतिनिधित्व और एडाप्टर-आधारित मैपिंग का उपयोग करता है। यह समर्थित फ़ाइल प्रारूपों में सुसंगत पढ़ने और लिखने की दिनचर्या की अनुमति देता है।

Textract एक मल्टी-फॉर्मेट टेक्स्ट एक्सट्रैक्शन टूल और पार्सर है। यह दस्तावेज़ों, इमेजेस और ऑडियो फ़ाइलों सहित विभिन्न स्रोतों से प्लेन टेक्स्ट निकालने के लिए एक एकीकृत इंटरफेस प्रदान करता है। यह सिस्टम PDF और स्प्रेडशीट्स के लिए एक दस्तावेज़ कंटेंट पार्सर, ऑप्टिकल कैरेक्टर रिकग्निशन का उपयोग करने वाला एक इमेज टेक्स्ट एक्सट्रैक्टर, और ऑडियो रिकॉर्डिंग के लिए स्पीच-टू-टेक्स्ट ट्रांसक्राइबर के रूप में कार्य करता है।

img2dataset is a high-performance image dataset pipeline and preprocessing tool designed to download and process millions of images from URLs for machine learning training. It functions as a distributed image downloader and cloud storage data exporter, moving large visual datasets from web sources directly into structured formats. The system prioritizes high-throughput data acquisition by distributing workloads across multiple CPU cores and machines. It integrates directly with remote cloud storage buckets and employs a manifest-based tracking system to resume interrupted downloads without re

Camelot is a Python library and processing engine designed to extract tabular data from PDF documents. It converts unstructured tables into machine-readable formats such as CSV, JSON, and Excel. The project provides specialized toolsets for different document types, using line detection for ruled tables and whitespace analysis for borderless tables. It includes an optical character recognition system to recover structured data from image-based scanned PDFs that lack a digital text layer. The library handles complex document layouts, including encrypted files, rotated pages, and tables that s

Synthetic data generation for tabular data

xlwings - Make Excel fly with Python!

Extract data from a wide range of Internet sources into a pandas DataFrame.

python-magic is a C-binding wrapper that provides a Python interface for the libmagic system library. It functions as a file signature analyzer and MIME type detector, identifying file formats by comparing header bytes against a database of known binary signatures. The library enables the identification of file types from both file paths and raw data buffers. It supports custom file signature matching through the injection of user-provided magic databases, allowing for the detection of specialized or proprietary formats. The project covers binary data analysis and MIME type mapping to transl

Please use openpyxl where you can...

Singer is an open source standard for moving data between databases, web APIs, files, queues, and just about anything else you can think of. The Singer spec describes how data extraction scripts — called “Taps” — and data loading scripts — called “Targets” — should communicate using a standard…

Intake is a lightweight package for finding, investigating, loading and disseminating data.

Convert CSV files into a SQLite database. Browse and publish that SQLite database with Datasette.

Data search & enrichment library for Machine Learning → Easily find and add relevant features to your ML & AI pipeline from hundreds of public and premium external data sources, including open & commercial LLMs