Awesome GitHub RepositoriesStructured Data Extractors

Firecrawl is a headless browser automation tool and web crawling engine designed to extract structured data from the web. It functions as an API that transforms raw website content and documents into clean markdown and JSON formats to serve as context for large language models. The project distinguishes itself by using natural language prompts to translate human instructions into targeted data extraction tasks and browser actions. It can execute interactive page navigation, such as clicking and scrolling, and perform automated web research to retrieve structured data without manual interventi

MinerU is a document parsing pipeline designed to transform unstructured files into machine-readable, structured data. It utilizes deep learning models to perform layout analysis, identifying document regions and extracting complex content such as mathematical expressions. By combining these neural network inferences with geometric heuristics, the system reconstructs the reading order and structural hierarchy of documents to ensure accurate data representation. The project distinguishes itself through a multi-stage processing workflow that integrates layout detection, optical character recogn

Docling is a modular framework designed for document parsing, layout analysis, and structured data extraction. It transforms unstructured files and web content into a unified, hierarchical data model that preserves the spatial and semantic relationships between text, tables, images, and layout elements. By normalizing diverse input formats into a consistent internal representation, the library enables uniform processing across various document types. The project distinguishes itself through a schema-driven approach that maps document regions to strongly-typed objects, ensuring data accuracy t

Guardrails is a Python SDK that wraps calls to large language models with configurable validation pipelines, corrective actions, and structured output generation. It provides a unified API layer that connects to over 100 language models, applying consistent validation, streaming, and error-handling across providers. The framework validates and corrects model responses against safety and quality rules, detecting and mitigating risks in both inputs and outputs using pre-built and custom validators. The project distinguishes itself through a validator-pipeline architecture that sequentially appl

X-ray ist ein Headless-Browser-Web-Scraper und HTML-Content-Crawler, der darauf ausgelegt ist, strukturierte Daten von Websites zu extrahieren. Er fungiert als Stream-basierter Data-Scraper und Extraktor, der Selektoren verwendet, um Text und Attribute aus HTML als verschachtelte Objekte oder Arrays abzurufen. Das Projekt enthält einen Request-Rate-Controller zur Steuerung des Netzwerkverkehrs durch Concurrency-Limits, Throttles und Timeouts. Es handhabt das Scrapen dynamischer Websites durch das Rendern von JavaScript via Headless-Browser und führt automatisiertes Website-Crawling mittels Breadth-First-Link-Following und Paginierungs-Management durch. Das System bietet eine Daten-Pipeline, die funktionale Werttransformationen auf Roh-Strings anwendet und Ergebnisse in einen lesbaren Stream schreibt, um Speicherüberläufe bei groß angelegten Web-Scraping-Jobs zu verhindern.

Dieses Projekt ist ein Node.js-Web-Scraping-Framework zur Automatisierung der Datenextraktion durch einen programmatischen Workflow aus Anfragen, Parsing und Dokumentinteraktion. Es fungiert als Headless-Web-Crawler, HTTP-Request-Manager sowie DOM-Parser und -Extraktor. Das Framework zeichnet sich durch die Kombination einer JavaScript-Execution-Engine zur Interaktion mit dynamischen Inhalten und einem hybriden Selektionssystem aus, das sowohl CSS- als auch XPath-Selektoren nutzt. Es enthält spezialisierte Middleware für Proxy-Rotation und Cookie-Jar-Session-Management, um authentifizierte Zustände beizubehalten und automatisierten Traffic zu verwalten. Die breiteren Funktionen umfassen rekursives Link-Crawling, Paginierungs-Handling und Web-Formular-Automatisierung. Das Tool bietet zudem Traffic-Management-Funktionen wie Request-Rate-Limiting durch zeitliche Verzögerungen und benutzerdefinierte HTTP-Header-Konfiguration.

Jodd ist eine Suite von leichtgewichtigen Java-Erweiterungen und Standardbibliotheks-Utilities für Anwendungskonfiguration, Datenbank-Mapping, Dependency Injection und HTML-Parsing. Es bietet ein konsolidiertes Set an Core-Tools, um die Java-Entwicklung zu erleichtern, mit einem Zero-Dependency-Kern, der Kompatibilität und einen geringen Footprint in verschiedenen Umgebungen sicherstellt. Das Projekt bietet einen pragmatischen Dependency-Injection-Container zur Verwaltung von Objekt-Lebenszyklen und einen Datenbank-Mapper, der SQL-Templates verwendet, um Result-Sets direkt auf Java-Objekte zu mappen. Es enthält einen spezialisierten Konfigurationsmanager, der Profile, Sektionen und Makros unterstützt, sowie einen HTML-Parser, der Elemente mittels CSS3-Selektoren extrahiert. Zusätzliche Funktionen umfassen Netzwerkkommunikation über einen leichtgewichtigen HTTP-Client, JSON-Serialisierung sowie E-Mail-Versand und -Empfang. Das Toolkit bietet zudem Utilities für Datenvalidierung, Typkonvertierung, Transaktionsmanagement und die Generierung dynamischer Proxys für Verhaltens-Interzeption.

Epicenter is a local-first knowledge management system and data orchestrator designed to structure information generated by large language models into validated schemas. It functions as a storage architecture that persists application data in human-readable files and databases to ensure user ownership and portability. The system distinguishes itself by projecting language model outputs into structured, schema-validated tables and utilizing conflict-free replicated data types to synchronize application state across multiple devices without a central server. This allows for offline access and c