Awesome GitHub RepositoriesStructured Data Extractors

Firecrawl is a headless browser automation tool and web crawling engine designed to extract structured data from the web. It functions as an API that transforms raw website content and documents into clean markdown and JSON formats to serve as context for large language models. The project distinguishes itself by using natural language prompts to translate human instructions into targeted data extraction tasks and browser actions. It can execute interactive page navigation, such as clicking and scrolling, and perform automated web research to retrieve structured data without manual interventi

MinerU is a document parsing pipeline designed to transform unstructured files into machine-readable, structured data. It utilizes deep learning models to perform layout analysis, identifying document regions and extracting complex content such as mathematical expressions. By combining these neural network inferences with geometric heuristics, the system reconstructs the reading order and structural hierarchy of documents to ensure accurate data representation. The project distinguishes itself through a multi-stage processing workflow that integrates layout detection, optical character recogn

Docling is a modular framework designed for document parsing, layout analysis, and structured data extraction. It transforms unstructured files and web content into a unified, hierarchical data model that preserves the spatial and semantic relationships between text, tables, images, and layout elements. By normalizing diverse input formats into a consistent internal representation, the library enables uniform processing across various document types. The project distinguishes itself through a schema-driven approach that maps document regions to strongly-typed objects, ensuring data accuracy t

Guardrails is a Python SDK that wraps calls to large language models with configurable validation pipelines, corrective actions, and structured output generation. It provides a unified API layer that connects to over 100 language models, applying consistent validation, streaming, and error-handling across providers. The framework validates and corrects model responses against safety and quality rules, detecting and mitigating risks in both inputs and outputs using pre-built and custom validators. The project distinguishes itself through a validator-pipeline architecture that sequentially appl

X-ray este un scraper web cu browser headless și un crawler de conținut HTML conceput pentru a extrage date structurate de pe site-uri web. Funcționează ca un scraper de date bazat pe flux și un extractor de date structurate, utilizând selectori pentru a prelua text și atribute din HTML sub formă de obiecte sau array-uri imbricate. Proiectul include un controler de rată a cererilor pentru a gestiona traficul de rețea prin limite de concurență, throttle-uri și timeout-uri. Gestionează scraping-ul site-urilor dinamice prin randarea JavaScript-ului via un browser headless și efectuează crawling automat al site-urilor folosind parcurgerea link-urilor în lățime (breadth-first) și gestionarea paginării. Sistemul oferă un pipeline de date care aplică transformări funcționale de valori asupra șirurilor brute și scrie rezultatele într-un flux (stream) lizibil pentru a preveni depășirea memoriei în timpul sarcinilor de scraping web la scară largă.

Acest proiect este un framework de web scraping Node.js conceput pentru a automatiza extragerea datelor printr-un flux de lucru programatic de cereri, parsare și interacțiune cu documentele. Acesta funcționează ca un crawler web headless, un manager de cereri HTTP și un parser și extractor DOM. Framework-ul se distinge prin combinarea unui motor de execuție JavaScript pentru a interacționa cu conținutul dinamic și a unui sistem hibrid de selecție care utilizează atât selectori CSS, cât și XPath. Include middleware specializat pentru rotația proxy-urilor și gestionarea sesiunilor cookie-jar pentru a menține stările autentificate și a gestiona traficul automatizat. Capabilitățile sale mai largi acoperă crawling-ul recursiv al link-urilor, gestionarea paginării și automatizarea formularelor web. Instrumentul oferă, de asemenea, funcții de gestionare a traficului, cum ar fi limitarea ratei cererilor prin întârzieri temporizate și configurarea antetelor HTTP personalizate.

Jodd este o suită de extensii Java lightweight și utilitare de bibliotecă standard concepute pentru configurarea aplicațiilor, maparea bazelor de date, injecția de dependențe și parsarea HTML. Oferă un set consolidat de instrumente de bază pentru a facilita dezvoltarea în Java, cu un nucleu fără dependențe pentru a asigura compatibilitatea și o amprentă redusă în diverse medii. Proiectul dispune de un container pragmatic de injecție a dependențelor pentru gestionarea ciclului de viață al obiectelor și un mapper de baze de date care utilizează template-uri SQL pentru a mapa seturile de rezultate direct în obiecte Java. Include un manager de configurare specializat care suportă profiluri, secțiuni și macro-uri, precum și un parser HTML care extrage elemente folosind selectori CSS3. Capabilitățile suplimentare acoperă comunicarea în rețea printr-un client HTTP lightweight, serializarea JSON și transmiterea/recepționarea de e-mailuri. Toolkit-ul oferă, de asemenea, utilitare pentru validarea datelor, conversia tipurilor, gestionarea tranzacțiilor și generarea de proxy-uri dinamice pentru interceptarea comportamentală.

Epicenter is a local-first knowledge management system and data orchestrator designed to structure information generated by large language models into validated schemas. It functions as a storage architecture that persists application data in human-readable files and databases to ensure user ownership and portability. The system distinguishes itself by projecting language model outputs into structured, schema-validated tables and utilizing conflict-free replicated data types to synchronize application state across multiple devices without a central server. This allows for offline access and c