Awesome GitHub RepositoriesDocument Processing Pipelines

Tesseract is a neural network-based optical character recognition engine designed to convert scanned images and digital documents into machine-readable, searchable text. It functions as both a command-line utility for automating large-scale digitization workflows and a cross-platform library that can be embedded into desktop, mobile, or server-side applications. By utilizing long short-term memory networks, the engine provides robust text extraction across more than one hundred languages and dozens of scripts. The project distinguishes itself through a sophisticated document layout analysis f

MinerU is a document parsing pipeline designed to transform unstructured files into machine-readable, structured data. It utilizes deep learning models to perform layout analysis, identifying document regions and extracting complex content such as mathematical expressions. By combining these neural network inferences with geometric heuristics, the system reconstructs the reading order and structural hierarchy of documents to ensure accurate data representation. The project distinguishes itself through a multi-stage processing workflow that integrates layout detection, optical character recogn

Docling is a modular framework designed for document parsing, layout analysis, and structured data extraction. It transforms unstructured files and web content into a unified, hierarchical data model that preserves the spatial and semantic relationships between text, tables, images, and layout elements. By normalizing diverse input formats into a consistent internal representation, the library enables uniform processing across various document types. The project distinguishes itself through a schema-driven approach that maps document regions to strongly-typed objects, ensuring data accuracy t

This project is a privacy-first backend service designed to facilitate retrieval-augmented generation by processing local documents into searchable vector representations. It provides a modular architecture that allows users to ingest diverse file formats, manage document metadata, and perform semantic searches to provide context-aware responses for chat and completion requests. The system distinguishes itself through a database-agnostic abstraction layer that supports various storage backends, ranging from local disk storage to enterprise-grade vector databases. It offers flexible deployment

This project is a comprehensive framework for constructing, managing, and evaluating knowledge graphs through multi-agent reasoning and deep search capabilities. It provides an end-to-end pipeline that ingests multi-format documents, extracts entities and relationships based on configurable schemas, and maintains structured knowledge bases to support evidence-based retrieval. The system distinguishes itself through its multi-agent orchestration, which decomposes complex queries into parallel research steps and synthesizes long-form reports. It leverages advanced graph-based techniques, includ

सिंथेटिक डेटा किट भाषा मॉडल के लिए प्रशिक्षण डेटासेट उत्पन्न करने, क्यूरेट करने और स्वरूपित करने के लिए डिज़ाइन किया गया एक एकीकृत फ्रेमवर्क है। यह एक एंड-टू-एंड पाइपलाइन प्रदान करता है जो कच्चे स्रोत दस्तावेज़ों को फाइन-ट्यूनिंग, तर्क और टूल-उपयोग मॉडल प्रशिक्षण के लिए उपयुक्त संरचित डेटा में परिवर्तित करता है। यह फ्रेमवर्क एक मॉड्यूलर ऑर्केस्ट्रेशन इंजन के माध्यम से खुद को अलग करता है जो डेटा तैयारी के पूरे लाइफसाइकिल का प्रबंधन करता है। यह विभिन्न फ़ाइल स्वरूपों से टेक्स्ट और इमेज सामग्री दोनों को निकालकर मल्टीमॉडल इनपुट का समर्थन करता है, जबकि अर्थ संबंधी सुसंगतता बनाए रखने के लिए संदर्भ-जागरूक चंकिंग को नियोजित करता है। निर्माण प्रक्रिया टेम्पलेट-आधारित प्रॉम्प्ट इंजेक्शन द्वारा संचालित होती है, और परिणामी आउटपुट को एक स्वचालित मूल्यांकन सिस्टम के माध्यम से मान्य किया जाता है जो गुणवत्ता और सटीकता सुनिश्चित करने के लिए न्यायाधीशों के रूप में भाषा मॉडल का उपयोग करता है। प्रोजेक्ट डेटा प्रोसेसिंग क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें दस्तावेज़ पार्सिंग, स्वचालित गुणवत्ता फ़िल्टरिंग और स्कीमा-अज्ञेयवादी सीरियलाइज़ेशन शामिल है। यह तर्क ट्रेस और टूल-उपयोग प्रदर्शनों जैसे विविध प्रशिक्षण उदाहरणों के निर्माण का समर्थन करता है, और मशीन लर्निंग प्रशिक्षण फ्रेमवर्क के साथ संगतता के लिए अंतिम डेटासेट को मानकीकृत स्वरूपों में निर्यात करता है। उपयोगकर्ता केंद्रीकृत कॉन्फ़िगरेशन फ़ाइलों और कमांड-लाइन तर्कों के माध्यम से निर्माण वर्कफ़्लो और पाइपलाइन चरणों का प्रबंधन करते हैं।