Awesome GitHub RepositoriesSchema-Driven Extraction

Crawl4AI is an AI-powered web crawling and data extraction engine designed to transform complex web content into structured formats. It functions as a headless browser orchestrator, enabling the navigation of dynamic websites, the execution of custom scripts, and the capture of visual assets like screenshots and PDFs. By integrating language models directly into the extraction workflow, the system converts raw HTML into clean, structured data or Markdown files optimized for downstream ingestion. The platform distinguishes itself through a distributed, self-hosted infrastructure that manages l

Maigret is an open-source intelligence framework designed for automated digital footprint discovery and identity investigation. It functions as a search engine that aggregates profile metadata by querying thousands of websites for specific usernames, mapping an individual's online presence across diverse platforms. The tool distinguishes itself through recursive discovery capabilities, which identify links within discovered profiles to expand the scope of an investigation automatically. It supports cross-platform identity correlation by mapping disparate accounts and pseudonymous personas, in

Parsr es un extractor de datos no estructurados y pipeline de análisis de documentos que convierte archivos sin procesar e imágenes en formatos limpios y legibles por máquina. Funciona como un analizador de diseño de documentos y un pipeline para extraer datos estructurados y etiquetas utilizando modelos de lenguaje de gran tamaño (LLM). El sistema incluye un visualizador de análisis de documentos, proporcionando una interfaz gráfica para cargar documentos e inspeccionar la salida de datos estructurados resultante. El proyecto cubre flujos de trabajo de digitalización de documentos, incluyendo análisis de diseño para detectar encabezados, tablas y listas, y entrada de datos automatizada mediante la limpieza y enriquecimiento de contenido no estructurado.

sChandra is a document processing platform that converts images, PDFs, Word documents, spreadsheets, and other formats into structured output such as HTML, Markdown, or JSON while preserving layout. It can also extract specific data fields from invoices, contracts, or reports using user-defined JSON schemas, with citations back to source locations. The service supports form filling in PDF and image documents, document generation from Markdown, and extraction of tracked changes from Word files. The platform distinguishes itself with pipeline-based processing chains that combine multiple proces

Este proyecto es un rastreador de competiciones académicas y repositorio de métricas que proporciona tasas históricas de envío y aceptación para las principales conferencias de investigación en inteligencia artificial. Sirve como un conjunto de datos de estadísticas de conferencias de IA para monitorear las tendencias de la competencia en investigación. El repositorio permite el seguimiento de las tasas de aceptación de conferencias para analizar datos históricos, evaluar la competitividad de las publicaciones y monitorear el crecimiento interanual en los volúmenes de envío en los foros de aprendizaje automático. El proyecto se implementa como un sitio estático que utiliza almacenamiento de datos basado en Markdown y análisis basado en esquemas para renderizar tablas de datos responsivas.

DeepKE es un kit de herramientas y framework de extracción de conocimiento diseñado para transformar texto no estructurado en grafos de conocimiento estructurados. Proporciona una tubería para identificar y clasificar entidades nombradas, relaciones semánticas y eventos, convirtiendo conjuntos de datos crudos en triples estructurados. El proyecto utiliza modelos de lenguaje grandes como llamadores de herramientas a través de un protocolo de contexto estandarizado para impulsar procesos automatizados de extracción de datos. Admite la extracción basada en esquemas en múltiples dominios y texto bilingüe, empleando la extracción conjunta de entidades y relaciones para identificar componentes en una única salida estructurada. El kit de herramientas incluye capacidades para el entrenamiento y ajuste fino de modelos, optimización de hiperparámetros y preparación de datos mediante supervisión distante y etiquetado automático de relaciones. También cuenta con entrenamiento distribuido en GPU, optimización de memoria de modelos mediante cuantización y la capacidad de desplegar modelos entrenados como servicios de inferencia a través de endpoints de API.

UABE es un conjunto de herramientas especializado para extraer, modificar y convertir activos almacenados dentro de archivos de paquetes (bundle) del motor Unity. Funciona como un extractor de paquetes de activos y una utilidad de modding de juegos diseñada para alterar mallas 3D, texturas y audio dentro de los juegos de Unity. El proyecto incluye un convertidor de formato de activos que transforma datos internos de Unity en formatos de archivo comunes para su edición externa. También cuenta con un generador de instaladores de mods para crear paquetes de instalación independientes a partir de archivos de paquetes de activos modificados. El software proporciona capacidades para la extracción de recursos de juegos y la conversión de activos, permitiendo a los usuarios recuperar archivos incrustados y transformar activos internos propietarios en tipos de medios estándar.

This project is an MCP browser automation server that connects large language models to headless cloud browsers. It functions as an autonomous web workflow engine and an LLM web agent interface, enabling the translation of natural language instructions into browser actions and structured data retrieval. The system distinguishes itself through a managed headless browser cloud API that supports concurrent Chromium sessions with integrated stealth modes, CAPTCHA solving, and proxy traffic routing. It utilizes self-healing element selection to maintain automation resilience when page structures c

AnyCrawl is an AI-powered data extractor, automated web crawler, and headless browser orchestrator. It serves as a web content extraction API and a gateway that connects crawling and scraping tools to language models using a standardized API protocol. The project specializes in converting unstructured website content into structured JSON or markdown optimized for AI assistants. It utilizes language models and JSON schemas to pull specific information into validated formats and provides capabilities for AI page summarization and LLM-optimized content extraction. The system manages comprehensi

Este proyecto es un servidor del Model Context Protocol que permite a los asistentes de inteligencia artificial interactuar directamente con archivos de Microsoft Excel. Funciona como un puente, permitiendo que sistemas externos lean, escriban y modifiquen datos de hojas de cálculo a través de una interfaz estandarizada. Al admitir tanto la manipulación directa de archivos como la automatización de aplicaciones headless, el servidor proporciona una utilidad integral para la gestión programática de libros de trabajo. El servidor se distingue por combinar capacidades de procesamiento de datos con un pipeline de renderizado visual. Puede generar capturas de imagen de rangos específicos de hojas de cálculo y tomar capturas de pantalla de la interfaz activa de la aplicación, proporcionando contexto visual para tareas automatizadas e informes. Estas características permiten a los usuarios extraer datos estructurados mientras mantienen la capacidad de visualizar y documentar el estado de libros de trabajo complejos. Más allá de las operaciones básicas de datos, la herramienta admite flujos de trabajo extensos de reestructuración y formato de libros de trabajo. Permite la creación, duplicación y organización de hojas, así como la aplicación programática de estilos de celda y patrones numéricos. Para garantizar la estabilidad durante operaciones a gran escala, el sistema implementa streaming de datos basado en paginación, lo que optimiza el uso de memoria y la transferencia de datos al manejar archivos extensos.