Awesome GitHub RepositoriesDocument Segmenters

DeepCode is an agentic development framework designed to orchestrate autonomous AI agents for software engineering tasks. It functions as a multi-agent workflow orchestrator that translates natural language requirements into functional codebases by coordinating specialized agents for architectural planning, intent analysis, and implementation. The platform integrates multiple language models to power these automated routines, providing a unified environment for complex development projects. The system distinguishes itself through its ability to transform academic research papers into executab

Unstructured is an enterprise-grade data orchestration engine designed to transform raw, unstructured files into structured, machine-readable formats. It functions as a comprehensive platform for document ingestion, partitioning, and enrichment, specifically engineered to prepare complex data for retrieval-augmented generation and agentic AI workflows. The platform distinguishes itself through its sophisticated document processing strategies, which combine rule-based extraction with vision-language models to handle diverse file layouts, tables, and images. It provides a modular architecture t

Easy-dataset is a comprehensive platform designed for the end-to-end management of machine learning datasets, specifically tailored for language and vision model fine-tuning. It functions as a centralized environment for the entire data lifecycle, encompassing the automated generation of synthetic training data, the structural organization of document collections, and the systematic annotation of individual data points. The platform distinguishes itself through its integrated evaluation and orchestration capabilities. It provides a dedicated suite for benchmarking models, featuring blind side

DataHub is a metadata management platform designed to unify technical, operational, and business context across diverse data ecosystems. By utilizing a graph-based metadata model and an event-driven ingestion architecture, it creates a centralized source of truth that maps complex data relationships, lineage, and ownership. This foundational framework enables organizations to maintain a synchronized view of their data landscape, supporting both human-led discovery and automated data operations. The platform distinguishes itself through its focus on grounding artificial intelligence and autono

Grobid एक मशीन लर्निंग सिस्टम है जिसे शैक्षणिक और वैज्ञानिक PDF प्रकाशनों को संरचित XML में बदलने के लिए डिज़ाइन किया गया है। यह एक PDF से XML पार्सर और स्कॉलरली मेटाडेटा एक्सट्रैक्टर के रूप में कार्य करता है, जो शोध पत्रों से शीर्षकों, लेखकों, संबद्धताओं और ग्रंथ सूची संबंधी संदर्भों की पहचान और सामान्यीकरण करता है। सिस्टम कच्चे PDF को कार्यात्मक क्षेत्रों में विभाजित करने के लिए एक डीप लर्निंग डॉक्यूमेंट सेगमेंट का उपयोग करता है और मेटाडेटा संवर्धन और DOI रिज़ॉल्यूशन के लिए बाहरी रजिस्ट्रियों के खिलाफ उद्धरणों का मिलान करने के लिए एक ग्रंथ सूची संदर्भ रिज़ॉल्वर को नियोजित करता है। यह एक पूर्ण मशीन लर्निंग मॉडल ट्रेनिंग पाइपलाइन का समर्थन करता है, जो एनोटेटेड ट्रेनिंग कॉर्पोरा के निर्माण, मॉडल रिट्रेनिंग और मॉडल बाइनरीज़ के निर्यात की अनुमति देता है। यह प्रोजेक्ट डॉक्यूमेंट हेडर पार्सिंग, पूर्ण-टेक्स्ट बॉडी स्ट्रक्चरिंग और फंडिंग जानकारी तथा पेटेंट उद्धरणों जैसे डोमेन-विशिष्ट संस्थाओं की पहचान सहित निष्कर्षण क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह बाउंडिंग बॉक्स निष्कर्षण और मूल PDF लेआउट के साथ सिमेंटिक लेबल्स को सिंक्रोनाइज़ करने के लिए कोऑर्डिनेट मैपिंग के लिए स्थानिक विश्लेषण उपकरण भी प्रदान करता है। एप्लिकेशन को कंटेनराइज़्ड इमेजेस के माध्यम से डिप्लॉय किया जा सकता है और इसमें बड़े डॉक्यूमेंट कलेक्शन्स की मल्टी-थ्रेडेड बैच प्रोसेसिंग के लिए कमांड-लाइन यूटिलिटीज शामिल हैं।

GPAC is an open-source multimedia framework built around a pluggable filter graph pipeline, where modular processing units called filters connect into a directed graph to handle media workflows. At its core, the framework centers all media packaging and manipulation on the ISO Base Media File Format (ISOBMFF), with specialized tools for reading, writing, fragmenting, and encrypting MP4 and related containers. It also provides a declarative scene graph composition system for describing interactive multimedia scenes using MPEG-4 BIFS, X3D, SVG, or VRML syntax, alongside a hardware-accelerated re