9 repositorios
Engines that execute complex document transformations and rendering tasks on a host machine.
Explore 9 awesome GitHub repositories matching content management & publishing · PDF Processing. Refine with filters or upvote what's useful.
Stirling-PDF is a self-hosted document processing suite designed for secure, private file management. It functions as a comprehensive transformation engine that executes complex operations—such as merging, splitting, converting, and redacting documents—directly on the host machine. The platform provides both a browser-based interface for interactive editing and a programmatic, API-first architecture that allows for the automation of document workflows through standard HTTP requests. The project distinguishes itself through its focus on private, infrastructure-agnostic deployment and granular
Executes complex document transformations and rendering tasks locally to ensure data privacy.
This project is a framework for building custom AI chatbots capable of PDF document analysis. It implements Retrieval Augmented Generation to connect a large language model to private document data. The system utilizes graph-based agent orchestration to control conversation flow and decision logic. It maintains context across interactions through thread-based state management and delivers AI responses to the user interface via real-time streaming. The project covers PDF document ingestion through chunk-based processing and vector-store retrieval. It includes mechanisms for query-based data r
Converts PDF files into a searchable vector database to enable efficient information retrieval.
llm-universe is a structured learning resource and technical guide focused on the development of large language model applications. It serves as a curriculum for mastering model orchestration, the creation of autonomous conversational agents, and the implementation of retrieval-augmented generation systems. The project provides detailed instructions on connecting model APIs with memory and tools to create execution chains. It specifically covers the construction of retrieval pipelines, including the process of cleaning raw documents, generating embeddings, and integrating vector databases to
Implements a technical pipeline for cleaning, splitting, and embedding raw documents for vector store ingestion.
Remark es un procesador de markdown que analiza texto markdown en un árbol de sintaxis abstracta (AST) JSON estructurado para análisis y transformación programáticos. Funciona como un analizador y procesador de AST de markdown, utilizando un framework de plugins para gestionar reglas de sintaxis y transformación extensibles. El proyecto permite extensiones de sintaxis de markdown personalizadas y la transformación de contenido a través de un sistema de plugins, permitiendo la adición de marcado y metadatos no estándar. También incluye un linter de markdown para identificar inconsistencias de estilo y garantizar el cumplimiento de los estándares de escritura. El conjunto de herramientas cubre el formato de documentos markdown, la conversión de formato a HTML y la generación de AST. Se proporciona una interfaz de línea de comandos para verificar y reescribir archivos markdown para un formato consistente en todo el proyecto.
Implements a sequential pipeline of tasks for extracting, transforming, and formatting document content.
Kreuzberg is a document extraction engine that converts PDFs, Office files, images, and over 90 other formats into clean, structured text and metadata. It is built around a compiled Rust core that can be used as a native library, a command-line tool, a REST API server, or a WebAssembly module for browser-based processing. The system is designed to run entirely on self-hosted infrastructure, with no data leaving the user's environment. What distinguishes Kreuzberg is its breadth of integration surfaces and its pipeline architecture. It exposes extraction capabilities through native bindings fo
Processes thousands of documents with high throughput by calling directly into a compiled Rust core without subprocess or HTTP overhead.
Hatchet is an open-source durable workflow engine and task orchestration platform. It provides a framework for building and executing fault-tolerant, multi-step pipelines as directed acyclic graphs (DAGs), with automatic retries, scheduling, and real-time observability. The system is built around durable task checkpointing, which persists execution state after each step so work can resume from the last checkpoint after a worker crash or restart, and it supports event-driven task resumption that pauses a task until a matching external event arrives. The platform distinguishes itself through it
Defines a directed acyclic graph of tasks that extract, classify, summarize, and format document content in parallel.
Sparrow es una plataforma de extracción de documentos basada en LLM y un motor de inferencia visual diseñado para convertir imágenes y PDFs en datos estructurados validados. Funciona como un orquestador de flujos de trabajo agenticos que encadena tareas de clasificación, extracción y validación en pipelines de múltiples pasos. El sistema se distingue por una capa de inferencia agnóstica al backend que gestiona modelos en GPUs locales, Apple Silicon y proveedores en la nube. Emplea grounding visual basado en coordenadas para mapear el texto extraído a coordenadas precisas de cuadros delimitadores y utiliza dirección de modelos basada en pistas para guiar la atención y normalizar formatos de datos. La plataforma cubre flujos de trabajo de inteligencia documental, incluyendo procesamiento especializado de tablas basadas en imágenes para mantener la integridad estructural y validación basada en esquemas para verificar la exactitud de los campos extraídos. También proporciona un panel de análisis documental para monitorear el rendimiento de la API, analíticas de uso y el estado del sistema. La arquitectura incluye un sistema de extensión basado en plugins para integrar librerías de terceros utilizadas en indexación y orquestación.
Extracts and analyzes data across documents containing multiple pages using orchestrated pipelines.
sChandra is a document processing platform that converts images, PDFs, Word documents, spreadsheets, and other formats into structured output such as HTML, Markdown, or JSON while preserving layout. It can also extract specific data fields from invoices, contracts, or reports using user-defined JSON schemas, with citations back to source locations. The service supports form filling in PDF and image documents, document generation from Markdown, and extraction of tracked changes from Word files. The platform distinguishes itself with pipeline-based processing chains that combine multiple proces
Chains multiple document processing steps into versioned, reusable pipelines that execute as single requests with webhook notifications.
PDF-Guru es un procesador de documentos y convertidor de material de estudio impulsado por IA, diseñado para transformar libros de texto, artículos de investigación y contenido multimedia en flashcards estructuradas para sistemas de repetición espaciada como Anki. Funciona como un pipeline de contenido que utiliza modelos de lenguaje para extraer conceptos clave y hechos de documentos no estructurados para generar pares de pregunta-respuesta, cloze deletions y tarjetas de opción múltiple. El sistema se distingue por una suite completa de gestión de PDF y análisis de múltiples formatos. Proporciona utilidades avanzadas de documentos, incluyendo reconocimiento óptico de caracteres (OCR) para crear PDFs buscables, anotación por lotes y manipulación de páginas de bajo nivel como fusión, división, recorte y rotación. También admite la conversión de diversas entradas, incluyendo hojas de cálculo, mapas mentales, libros electrónicos y videos —completos con capturas de fotogramas con marca de tiempo— en activos de estudio. Más allá de la generación de contenido, el proyecto incluye herramientas para la gestión de tarjetas y mazos, como edición masiva de campos y configuración de plantillas. Admite la sincronización de datos entre dispositivos a través de redes locales, servidores remotos o backends autohospedados, e integra bibliotecas de investigación Zotero. La plataforma también maneja la optimización de activos reemplazando imágenes incrustadas con enlaces en la nube para reducir el tiempo de almacenamiento y sincronización. Los usuarios pueden exportar sus notas de lectura y mazos de tarjetas en múltiples formatos, incluyendo Markdown, TXT, XLSX y PDF.
Implements a multi-step processing pipeline for PDF operations including cropping, merging, splitting, and rotating.