Awesome GitHub RepositoriesStructured Data Extractors

Firecrawl is a headless browser automation tool and web crawling engine designed to extract structured data from the web. It functions as an API that transforms raw website content and documents into clean markdown and JSON formats to serve as context for large language models. The project distinguishes itself by using natural language prompts to translate human instructions into targeted data extraction tasks and browser actions. It can execute interactive page navigation, such as clicking and scrolling, and perform automated web research to retrieve structured data without manual interventi

MinerU is a document parsing pipeline designed to transform unstructured files into machine-readable, structured data. It utilizes deep learning models to perform layout analysis, identifying document regions and extracting complex content such as mathematical expressions. By combining these neural network inferences with geometric heuristics, the system reconstructs the reading order and structural hierarchy of documents to ensure accurate data representation. The project distinguishes itself through a multi-stage processing workflow that integrates layout detection, optical character recogn

Docling is a modular framework designed for document parsing, layout analysis, and structured data extraction. It transforms unstructured files and web content into a unified, hierarchical data model that preserves the spatial and semantic relationships between text, tables, images, and layout elements. By normalizing diverse input formats into a consistent internal representation, the library enables uniform processing across various document types. The project distinguishes itself through a schema-driven approach that maps document regions to strongly-typed objects, ensuring data accuracy t

Guardrails is a Python SDK that wraps calls to large language models with configurable validation pipelines, corrective actions, and structured output generation. It provides a unified API layer that connects to over 100 language models, applying consistent validation, streaming, and error-handling across providers. The framework validates and corrects model responses against safety and quality rules, detecting and mitigating risks in both inputs and outputs using pre-built and custom validators. The project distinguishes itself through a validator-pipeline architecture that sequentially appl

X-ray es un scraper web de navegador headless y crawler de contenido HTML diseñado para extraer datos estructurados de sitios web. Funciona como un scraper de datos basado en flujos y extractor de datos estructurados, utilizando selectores para recuperar texto y atributos de HTML como objetos o arrays anidados. El proyecto incluye un controlador de tasa de solicitudes para gestionar el tráfico de red mediante límites de concurrencia, aceleradores (throttles) y tiempos de espera. Maneja el scraping de sitios web dinámicos renderizando JavaScript a través de un navegador headless y realiza el rastreo automatizado de sitios web utilizando el seguimiento de enlaces en anchura (breadth-first) y gestión de paginación. El sistema proporciona una tubería de datos que aplica transformaciones de valores funcionales a cadenas sin formato y escribe los resultados en un flujo legible para evitar el desbordamiento de memoria durante trabajos de scraping web a gran escala.

Este proyecto es un framework de web scraping en Node.js diseñado para automatizar la extracción de datos a través de un flujo de trabajo programático de peticiones, análisis e interacción con documentos. Funciona como un crawler web headless, un gestor de peticiones HTTP y un parser y extractor de DOM. El framework se distingue por combinar un motor de ejecución de JavaScript para interactuar con contenido dinámico y un sistema de selección híbrido que utiliza selectores CSS y XPath. Incluye middleware especializado para la rotación de proxies y la gestión de sesiones de cookie-jar para mantener estados autenticados y gestionar tráfico automatizado. Sus capacidades más amplias cubren el rastreo recursivo de enlaces, el manejo de paginación y la automatización de formularios web. La herramienta también proporciona funciones de gestión de tráfico como limitación de tasa de peticiones mediante retrasos temporizados y configuración de cabeceras HTTP personalizadas.

Jodd es una suite de extensiones ligeras para Java y utilidades de biblioteca estándar diseñadas para la configuración de aplicaciones, mapeo de bases de datos, inyección de dependencias y análisis de HTML. Proporciona un conjunto consolidado de herramientas principales para facilitar el desarrollo en Java con un núcleo sin dependencias para garantizar la compatibilidad y una huella pequeña en todos los entornos. El proyecto cuenta con un contenedor de inyección de dependencias pragmático para gestionar ciclos de vida de objetos y un mapeador de bases de datos que utiliza plantillas SQL para mapear conjuntos de resultados directamente a objetos Java. Incluye un gestor de configuración especializado que admite perfiles, secciones y macros, así como un analizador de HTML que extrae elementos mediante selectores CSS3. Las capacidades adicionales cubren la comunicación de red a través de un cliente HTTP ligero, serialización JSON y transmisión y recepción de correo electrónico. El kit de herramientas también proporciona utilidades para validación de datos, conversión de tipos, gestión de transacciones y la generación de proxies dinámicos para interceptación de comportamiento.

Epicenter is a local-first knowledge management system and data orchestrator designed to structure information generated by large language models into validated schemas. It functions as a storage architecture that persists application data in human-readable files and databases to ensure user ownership and portability. The system distinguishes itself by projecting language model outputs into structured, schema-validated tables and utilizing conflict-free replicated data types to synchronize application state across multiple devices without a central server. This allows for offline access and c