Awesome GitHub RepositoriesStructured Data File Extractors

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Kreuzberg is a document extraction engine that converts PDFs, Office files, images, and over 90 other formats into clean, structured text and metadata. It is built around a compiled Rust core that can be used as a native library, a command-line tool, a REST API server, or a WebAssembly module for browser-based processing. The system is designed to run entirely on self-hosted infrastructure, with no data leaving the user's environment. What distinguishes Kreuzberg is its breadth of integration surfaces and its pipeline architecture. It exposes extraction capabilities through native bindings fo

Pholcus este un framework de web crawler distribuit scris în Go, conceput pentru extragerea de date cu concurență ridicată. Acesta funcționează ca un orchestrator de crawling distribuit și un motor de extragere dinamică a datelor, utilizând o arhitectură server-client pentru a coordona sarcinile pe mai multe noduri. Sistemul integrează un motor de browser headless pentru a randa conținut dinamic și a executa JavaScript, permițându-i să extragă date din aplicații single-page. Dispune de o interfață de gestionare bazată pe web pentru configurarea parametrilor spider-ului și monitorizarea progresului execuției, alături de capacitatea de a actualiza regulile de extragere prin fișiere de configurare cu hot-reloading, fără a reporni sistemul. Gestionarea traficului este realizată prin rotația pool-ului de proxy-uri și randomizarea cererilor pentru a evita detectarea bot-urilor și limitările de rată. Framework-ul include recuperarea stării bazată pe puncte de control pentru a relua sarcinile după eșecuri și oferă adaptoare de stocare pluggable pentru a exporta datele extrase în baze de date, cozi de mesaje sau fișiere.

snscrape is a Python-based social media web scraper and crawler designed to extract public posts, profiles, and hashtags from social networks without the use of official APIs. It functions as an archival tool and a utility for open-source intelligence data collection, allowing for the gathering of publicly available information to investigate trends and people. The tool facilitates social media data extraction for research and archival purposes, enabling the creation of historical records of conversations and user activity. It supports workflows for academic social analysis and the export of

Scraperr is a self-hosted web scraping and crawling platform designed for extracting structured data from websites using XPath selectors. It functions as a containerized system for managing scraping jobs through a queue and analyzing the resulting content using artificial intelligence. The project differentiates itself through its Kubernetes-native architecture, allowing for scalable deployment and management via package managers. It includes a crawling engine capable of domain-level spidering to discover linked pages and a data analyzer that uses artificial intelligence to query extracted we

Spider_XHS is a data extraction and automation tool built specifically for the Xiaohongshu social platform. It orchestrates multi-step workflows that combine comment tree traversal, cookie-based session reuse, high-resolution media retrieval, keyword search, proxy-backed retries, QR-code login, structured file export, and aggregated user profile collection into a single pipeline. The tool distinguishes itself through its integrated authentication and publishing capabilities, supporting login via QR code scanning or phone verification codes to establish and maintain authenticated sessions. It

Acest proiect este un repository de resurse pentru cursuri universitare și o arhivă de materiale de studiu academic. Acesta servește drept bibliotecă digitală structurată și repository de documente educaționale, oferind o colecție centralizată de notițe de curs, ghiduri de studiu și materiale de pregătire pentru examene, pe care studenții le pot descărca și studia. Sistemul funcționează ca o arhivă academică digitală pentru distribuirea materialelor de studiu, organizând ghidurile de învățare și referințele academice pe materii universitare specifice și programe de licență. Acesta permite gestionarea materialelor de recapitulare pentru a facilita pregătirea examenelor academice. Platforma utilizează generarea de site-uri statice și conținut bazat pe markdown pentru a livra resursele. Include indexarea căutării pe partea de client pentru a localiza materialele academice și folosește o schemă de date bazată pe fișiere pentru a mapa identificatorii cursurilor la căile resurselor statice.

Acest proiect este un framework de procesare a datelor tabelare de înaltă performanță pentru R, conceput pentru a gestiona seturi de date masive cu eficiență a memoriei și viteză. Oferă o structură de date îmbunătățită care utilizează semantica de referință și modificarea in-place pentru a efectua transformări complexe fără overhead-ul copierii inutile a obiectelor. Biblioteca se distinge prin optimizările sale arhitecturale de nivel scăzut, inclusiv procesarea paralelă multi-threaded, sortarea bazată pe radix și parsarea fișierelor mapate în memorie. Prin descărcarea rutinelor critice de manipulare și agregare a datelor către cod C compilat, permite execuția rapidă a sarcinilor care altfel ar fi costisitoare din punct de vedere computațional. Motorul său de bază suportă operațiuni relaționale avansate, cum ar fi join-uri non-equi, rolling și intervale suprapuse, alături de indexarea secundară automată pentru a accelera accesul repetat la date. Dincolo de capabilitățile sale primare de procesare, proiectul oferă o suită cuprinzătoare de instrumente pentru gestionarea ciclului de viață al datelor. Aceasta include utilitare de ingestie și serializare de mare viteză cu detectare automată a tipului, precum și suport specializat pentru analiza seriilor temporale și agregarea multidimensională. Framework-ul este construit pentru a scala, permițând utilizatorilor să efectueze operațiuni complexe de grupare, filtrare și remodelare pe seturi de date care conțin miliarde de rânduri, menținând în același timp stabilitatea și performanța sistemului.