Awesome GitHub RepositoriesDocument Processing Pipelines

Tesseract is a neural network-based optical character recognition engine designed to convert scanned images and digital documents into machine-readable, searchable text. It functions as both a command-line utility for automating large-scale digitization workflows and a cross-platform library that can be embedded into desktop, mobile, or server-side applications. By utilizing long short-term memory networks, the engine provides robust text extraction across more than one hundred languages and dozens of scripts. The project distinguishes itself through a sophisticated document layout analysis f

MinerU is a document parsing pipeline designed to transform unstructured files into machine-readable, structured data. It utilizes deep learning models to perform layout analysis, identifying document regions and extracting complex content such as mathematical expressions. By combining these neural network inferences with geometric heuristics, the system reconstructs the reading order and structural hierarchy of documents to ensure accurate data representation. The project distinguishes itself through a multi-stage processing workflow that integrates layout detection, optical character recogn

Docling is a modular framework designed for document parsing, layout analysis, and structured data extraction. It transforms unstructured files and web content into a unified, hierarchical data model that preserves the spatial and semantic relationships between text, tables, images, and layout elements. By normalizing diverse input formats into a consistent internal representation, the library enables uniform processing across various document types. The project distinguishes itself through a schema-driven approach that maps document regions to strongly-typed objects, ensuring data accuracy t

This project is a privacy-first backend service designed to facilitate retrieval-augmented generation by processing local documents into searchable vector representations. It provides a modular architecture that allows users to ingest diverse file formats, manage document metadata, and perform semantic searches to provide context-aware responses for chat and completion requests. The system distinguishes itself through a database-agnostic abstraction layer that supports various storage backends, ranging from local disk storage to enterprise-grade vector databases. It offers flexible deployment

This project is a comprehensive framework for constructing, managing, and evaluating knowledge graphs through multi-agent reasoning and deep search capabilities. It provides an end-to-end pipeline that ingests multi-format documents, extracts entities and relationships based on configurable schemas, and maintains structured knowledge bases to support evidence-based retrieval. The system distinguishes itself through its multi-agent orchestration, which decomposes complex queries into parallel research steps and synthesizes long-form reports. It leverages advanced graph-based techniques, includ

Le kit de données synthétiques est un framework intégré conçu pour générer, organiser et formater des jeux de données d'entraînement pour les modèles de langage. Il fournit un pipeline de bout en bout qui transforme les documents sources bruts en données structurées adaptées au fine-tuning, au raisonnement et à l'entraînement de modèles d'utilisation d'outils. Le framework se distingue par un moteur d'orchestration modulaire qui gère tout le cycle de vie de la préparation des données. Il prend en charge l'entrée multimodale en extrayant à la fois le contenu texte et image à partir de divers formats de fichiers, tout en utilisant un découpage conscient du contexte pour maintenir la cohérence sémantique. Le processus de génération est piloté par l'injection de prompts basée sur des modèles, et la sortie résultante est validée par un système d'évaluation automatisé qui utilise des modèles de langage comme juges pour garantir la qualité et la précision. Le projet couvre un large éventail de capacités de traitement de données, y compris l'analyse de documents, le filtrage de qualité automatisé et la sérialisation agnostique au schéma. Il prend en charge la création d'exemples d'entraînement divers, tels que des traces de raisonnement et des démonstrations d'utilisation d'outils, et exporte les jeux de données finaux dans des formats standardisés pour la compatibilité avec les frameworks d'entraînement de machine learning. Les utilisateurs gèrent le flux de travail de génération et les étapes du pipeline via des fichiers de configuration centralisés et des arguments en ligne de commande.