Awesome GitHub RepositoriesSchema-Driven Extraction

Crawl4AI is an AI-powered web crawling and data extraction engine designed to transform complex web content into structured formats. It functions as a headless browser orchestrator, enabling the navigation of dynamic websites, the execution of custom scripts, and the capture of visual assets like screenshots and PDFs. By integrating language models directly into the extraction workflow, the system converts raw HTML into clean, structured data or Markdown files optimized for downstream ingestion. The platform distinguishes itself through a distributed, self-hosted infrastructure that manages l

Maigret is an open-source intelligence framework designed for automated digital footprint discovery and identity investigation. It functions as a search engine that aggregates profile metadata by querying thousands of websites for specific usernames, mapping an individual's online presence across diverse platforms. The tool distinguishes itself through recursive discovery capabilities, which identify links within discovered profiles to expand the scope of an investigation automatically. It supports cross-platform identity correlation by mapping disparate accounts and pseudonymous personas, in

Parsr هو مستخرج بيانات غير مهيكلة وخط أنابيب لتحليل المستندات يقوم بتحويل الملفات والصور الخام إلى تنسيقات نظيفة قابلة للقراءة آلياً. يعمل كمحلل لتخطيط المستندات وخط أنابيب لاستخراج البيانات المهيكلة والتسميات باستخدام نماذج لغوية كبيرة. يتضمن النظام مصوراً لتحليل المستندات، مما يوفر واجهة رسومية لرفع المستندات وفحص مخرجات البيانات المهيكلة الناتجة. يغطي المشروع سير عمل رقمنة المستندات، بما في ذلك تحليل التخطيط لاكتشاف العناوين، والجداول، والقوائم، وإدخال البيانات المؤتمت من خلال تنظيف وإثراء المحتوى غير المهيكل.

sChandra is a document processing platform that converts images, PDFs, Word documents, spreadsheets, and other formats into structured output such as HTML, Markdown, or JSON while preserving layout. It can also extract specific data fields from invoices, contracts, or reports using user-defined JSON schemas, with citations back to source locations. The service supports form filling in PDF and image documents, document generation from Markdown, and extraction of tracked changes from Word files. The platform distinguishes itself with pipeline-based processing chains that combine multiple proces

This project is an academic competition tracker and metrics repository that provides historical submission and acceptance rates for major artificial intelligence research conferences. It serves as a dataset of AI conference statistics to monitor research competition trends. The repository enables the tracking of conference acceptance rates to analyze historical data, evaluate publication competitiveness, and monitor year-over-year growth in submission volumes across machine learning venues. The project is implemented as a static site that uses markdown-based data storage and schema-driven pa

DeepKE هو مجموعة أدوات وإطار عمل لاستخراج المعرفة مصمم لتحويل النص غير المنظم إلى رسوم بيانية معرفية منظمة. يوفر خط أنابيب لتحديد وتصنيف الكيانات المسماة، والعلاقات الدلالية، والأحداث، وتحويل مجموعات البيانات الخام إلى ثلاثيات منظمة. يستخدم المشروع نماذج لغة كبيرة كمتصلين للأدوات من خلال بروتوكول سياق موحد لدفع عمليات استخراج البيانات الآلية. يدعم الاستخراج القائم على المخطط عبر مجالات متعددة والنص ثنائي اللغة، مستخدماً استخراج الكيان والعلاقة المشترك لتحديد المكونات في مخرج منظم واحد. تتضمن مجموعة الأدوات قدرات لتدريب النموذج وضبطه، وتحسين المعلمات الفائقة، وإعداد البيانات عبر الإشراف البعيد وتسمية العلاقات الآلية. كما يتميز بتدريب GPU الموزع، وتحسين ذاكرة النموذج من خلال التكميم، والقدرة على نشر النماذج المدربة كخدمات استدلال عبر نقاط نهاية API.

UABE هي مجموعة أدوات متخصصة لاستخراج وتعديل وتحويل الأصول المخزنة داخل ملفات حزم محرك Unity. تعمل كمستخرج لحزم الأصول وأداة لتعديل الألعاب مصممة لتغيير الشبكات ثلاثية الأبعاد، والقوام، والصوت داخل ألعاب Unity. يتضمن المشروع محولاً لتنسيق الأصول يقوم بتحويل بيانات Unity الداخلية إلى تنسيقات ملفات شائعة للتحرير الخارجي. كما يتميز بمولد لمثبت التعديلات (mod installer) لإنشاء حزم تثبيت مستقلة من ملفات حزم الأصول المعدلة. يوفر البرنامج إمكانيات لاستخراج موارد اللعبة وتحويل الأصول، مما يسمح للمستخدمين باسترجاع الملفات المضمنة وتحويل الأصول الداخلية المملوكة إلى أنواع وسائط قياسية.

This project is an MCP browser automation server that connects large language models to headless cloud browsers. It functions as an autonomous web workflow engine and an LLM web agent interface, enabling the translation of natural language instructions into browser actions and structured data retrieval. The system distinguishes itself through a managed headless browser cloud API that supports concurrent Chromium sessions with integrated stealth modes, CAPTCHA solving, and proxy traffic routing. It utilizes self-healing element selection to maintain automation resilience when page structures c

AnyCrawl is an AI-powered data extractor, automated web crawler, and headless browser orchestrator. It serves as a web content extraction API and a gateway that connects crawling and scraping tools to language models using a standardized API protocol. The project specializes in converting unstructured website content into structured JSON or markdown optimized for AI assistants. It utilizes language models and JSON schemas to pull specific information into validated formats and provides capabilities for AI page summarization and LLM-optimized content extraction. The system manages comprehensi

This project is a Model Context Protocol server that enables artificial intelligence assistants to interact directly with Microsoft Excel files. It functions as a bridge, allowing external systems to read, write, and modify spreadsheet data through a standardized interface. By supporting both direct file manipulation and headless application automation, the server provides a comprehensive utility for programmatic workbook management. The server distinguishes itself by combining data processing capabilities with a visual rendering pipeline. It can generate image snapshots of specific spreadshe