Awesome GitHub RepositoriesLink Metadata Extraction

This project is a metadata query engine and indexer for markdown files, designed to transform YAML frontmatter and inline fields into dynamic tables and lists. It provides a background process that extracts tags and custom fields into a searchable database, enabling the automated indexing of notes. The system is distinguished by its dual approach to data retrieval: a dedicated query language for SQL-like filtering and grouping, and a JavaScript data API. This API allows for programmatic metadata extraction and the creation of custom views and extensions using TypeScript typings. Its broader

QASystemOnMedicalKG is a medical knowledge graph question answering system designed to retrieve disease-centered information from a structured data store. It functions as both a constructor for building medical knowledge graphs and a retrieval system that extracts answers regarding symptoms, causes, and treatments. The system employs a pipeline that converts unstructured medical web data into a graph database using dictionary-based entity segmentation. It utilizes query-based intent classification to parse natural language inputs and maps these queries to specific nodes and edges within the g

DocTR is a deep learning OCR library built on PyTorch that detects and transcribes text in document images using a two-stage detection-recognition pipeline. It provides a complete framework for building and deploying OCR pipelines with pretrained models available through the Hugging Face Hub, and supports exporting trained models to ONNX format for cross-runtime deployment. The library offers end-to-end OCR pipelines that combine text detection and recognition to extract all text from document images or PDFs, with support for rotated page handling and varied text orientations. It includes cap

Knwl.js هي مكتبة التعرف على الكيانات المسماة بلغة JavaScript ومستخرج كيانات النصوص. تعمل كمحرك تحليل نصوص قابل للتوسيع مصمم لمسح السلاسل غير المهيكلة بحثاً عن أنماط بيانات محددة وتحويلها إلى معلومات مهيكلة. يستخدم المحرك إطار عمل معيارياً يسمح بالتعرف على أنواع البيانات المخصصة. يتم تحقيق ذلك من خلال نظام إضافات لمطابقة أنماط اللغة، مما يتيح تكامل المنطق المخصص لتحديد أنواع البيانات الفريدة داخل النصوص. تحدد المكتبة وتعزل كيانات مثل التواريخ، والأوقات، وأرقام الهواتف، ورسائل البريد الإلكتروني، والمواقع. تغطي قدراتها تحليل النصوص المؤتمت واستخراج معلومات الاتصال عن طريق تحويل النصوص الخام إلى بيانات مصنفة.

Grobid هو نظام تعلم آلي مصمم لتحويل المنشورات العلمية والأكاديمية بتنسيق PDF إلى XML مهيكل. يعمل كمحلل PDF إلى XML ومستخرج للبيانات الوصفية العلمية، حيث يحدد ويطبع العناوين، والمؤلفين، والانتماءات، والمراجع الببليوغرافية من الأوراق البحثية. يستخدم النظام مقسماً للمستندات يعتمد على التعلم العميق لتقسيم ملفات PDF الخام إلى مناطق وظيفية، ويستخدم محللاً للمراجع الببليوغرافية لمطابقة الاستشهادات مقابل سجلات خارجية لإثراء البيانات الوصفية وحل معرفات DOI. يدعم خط أنابيب تدريب نموذج تعلم آلي كامل، مما يسمح بإنشاء مجموعات تدريب مشروحة، وإعادة تدريب النماذج، وتصدير ثنائيات النماذج. يغطي المشروع مجموعة واسعة من قدرات الاستخراج، بما في ذلك تحليل ترويسة المستند، وهيكلة نص الجسم الكامل، وتحديد الكيانات الخاصة بالمجال مثل معلومات التمويل واستشهادات براءات الاختراع. كما يوفر أدوات تحليل مكاني لاستخراج مربعات الإحاطة ورسم خرائط الإحداثيات لمزامنة التسميات الدلالية مع تخطيط PDF الأصلي. يمكن نشر التطبيق عبر صور حاويات (containerized) ويتضمن أدوات سطر أوامر لمعالجة الدفعات متعددة الخيوط لمجموعات المستندات الكبيرة.

This project is an HTML and XML DOM parser designed for loading and navigating the structure of web documents to extract specific data points. It functions as a web scraping utility that provides a system for locating precise elements using a CSS and XPath selector engine. The library includes a URI resolver that converts relative links found in documents into absolute addresses using a base URI. It provides a set of tools for retrieving text, attributes, and media sources from parsed content. The toolset covers document hierarchy traversal, selector-based filtering, and text extraction with

Bolts-Android هي مكتبة تطوير للهواتف المحمولة لنظام Android توفر إطار عمل للربط العميق (deep-linking) ونظاماً لإدارة المهام غير المتزامنة. تعمل كمجموعة أدوات لتحليل النوايا الواردة (inbound intents)، وحل بيانات URL الوصفية، وتوجيه المستخدمين إلى محتوى أصلي محدد داخل التطبيق. تتضمن المكتبة مديراً للمهام لتنسيق العمليات الخلفية المتوازية والتعامل مع التنفيذ الآمن للخيوط (thread-safe). يستخدم هذا النظام مهام قابلة للسلسلة، ورموز إلغاء لإيقاف العمليات النشطة، وتوجيهاً لضمان عودة النتائج إلى خيط واجهة المستخدم الرئيسي. يغطي إطار العمل أيضاً حل ومراقبة الروابط العميقة، باستخدام مستمعي البث لتتبع عمليات نقل الروابط وربط سلوك التنقل بأدوات التحليل الخارجية. كما يوفر أدوات لمشاركة الحالة القابلة للتغيير عبر النطاقات غير المتزامنة.

Shaarli is a self-hosted bookmark manager and knowledge base designed for organizing web links and notes in a private, searchable library. It functions as a flat-file content platform, storing information in structured text files rather than requiring an external database management system. The system emphasizes data portability and content distribution, providing tools for archiving bookmarks in portable formats and generating RSS and Atom feeds for digital content syndication. It also includes utilities for removing tracking parameters from URLs and creating public permalinks for curated li

html-to-markdown is a tool that transforms HTML content and websites into Markdown text. It functions as an HTML to Markdown converter and a command line processor for converting files or standard input streams into Markdown documents. The project is an extensible conversion engine that allows for custom element rendering and the registration of plugins to modify the transformation process. It includes a content filter that uses CSS selectors to include or exclude specific HTML elements during conversion. The system covers broad capability areas including link resolution for relative URLs, r

Overtype is a web-based markdown editor that provides a WYSIWYG editing experience. It allows users to manage markdown content through a real-time visual preview while maintaining the simplicity of native text input. The project focuses on secure markdown rendering by sanitizing input and neutralizing dangerous links to prevent XSS attacks. The editor is implemented as a native web component using Shadow DOM encapsulation, ensuring style isolation and framework-agnostic integration. It uses a transparent overlay rendering technique to simulate a visual editor while preserving native input beh

This project is a skill integration that connects external applications to NotebookLM for source-grounded document querying and knowledge base retrieval. It functions as a tool for retrieving answers based on specific source material stored within a remote notebook service. The system includes a knowledge base organizer that uses metadata and tags to categorize and switch between multiple notebook links. It also features a web-based authentication flow to establish and persist secure access to Google account services. The integration handles state persistence through local files and manages

AnyCrawl is an AI-powered data extractor, automated web crawler, and headless browser orchestrator. It serves as a web content extraction API and a gateway that connects crawling and scraping tools to language models using a standardized API protocol. The project specializes in converting unstructured website content into structured JSON or markdown optimized for AI assistants. It utilizes language models and JSON schemas to pull specific information into validated formats and provides capabilities for AI page summarization and LLM-optimized content extraction. The system manages comprehensi

This project is a cloud storage link resolver and direct link generator that transforms sharing links from various cloud and music sharing platforms into direct download URLs. It functions as a programmatic interface that returns file metadata and download paths in JSON format for use in external applications and download managers. The system features a JavaScript parser framework that allows for the implementation of new link conversion logic via dynamic scripts without requiring application recompilation. To maintain service availability, it includes a request router that distributes outgoi

CeWL is a custom wordlist generator and web crawling security tool designed to extract unique words and metadata from websites. It functions as an OSINT metadata extractor and security scanner, identifying potential passwords and usernames by analyzing HTML and JavaScript content. The tool differentiates itself by combining recursive spidering with metadata extraction, allowing it to collect email addresses, author names, and creator metadata from web pages and linked files. It also captures domains, subdomains, and path components to include in generated lists. Broad capabilities include we