Awesome GitHub RepositoriesHTML and XML Processing

Pup is a command line tool for extracting and filtering data from HTML documents using CSS selectors. It functions as a parser and selector engine that isolates specific elements based on tags, IDs, classes, and attributes. The project provides utilities for converting selected HTML nodes into plain text, attribute values, or structured JSON objects. It includes a markup formatter that corrects missing tags and applies consistent indentation to improve the readability of HTML documents. The tool handles the retrieval of text content and attributes through a CSS selector engine, supporting co

htmlq is a suite of command-line utilities for querying and extracting data from HTML documents using CSS selectors. It functions as a query language tool for HTML structures and attributes, providing a way to retrieve specific information from documents via the terminal. The tool provides capabilities for extracting text content, specific HTML attributes, and document fragments. It includes an HTML document formatter for cleaning and reformatting output with consistent indentation, as well as utilities for stripping tags to isolate plain text. The software handles structural HTML processing

Hamcrest PHP is a declarative assertion framework and matcher library used for unit testing in PHP. It provides a set of flexible matchers to verify object states, data types, and collection contents. The library includes specialized tools for XML verification using XPath expressions to analyze document structures and element content. It also allows for the creation of complex validation rules by combining multiple independent matchers through logical operators. The framework covers a broad range of validation primitives, including string content inspection, numeric comparison, and object pr

Webhook.site is a web-based tool that captures, inspects, and debugs incoming HTTP requests and emails sent to a unique URL, without requiring any server setup. It also functions as an API mocking and response modification tool, capable of generating mock APIs from OpenAPI specifications and altering HTTP responses, headers, and status codes for testing purposes. Beyond inspection, it serves as a platform for webhook automation and workflow orchestration, triggering multi-step automations—including database queries, SSH commands, and HTTP calls—when a webhook is received. The service distingu

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

xmltodict هي مكتبة Python توفر تسلسلاً ثنائي الاتجاه بين مستندات XML والقواميس (dictionaries). تعمل كمحلل (parser) يحول المدخلات المرمزة إلى أزواج مفتاح-قيمة، وأداة تسلسل تحول القواميس مرة أخرى إلى مستندات XML مهيكلة. يتضمن المشروع معالج تدفق تزايدي يستخدم استدعاءات تعتمد على العمق للتعامل مع ملفات XML الكبيرة مع الحفاظ على استهلاك ثابت للذاكرة. يتميز بمدير مساحات أسماء (namespace manager) لتعيين البادئات والإعلانات، بالإضافة إلى مطهر أمني (security sanitizer) يحظر توسيع الكيانات الخارجية ويتحقق من صحة أسماء العناصر لمنع هجمات الحقن. توفر المكتبة إمكانيات لفرض أنواع البيانات، مثل إجبار عناصر معينة على أن تُمثل كقوائم بغض النظر عن عدد العناصر الفرعية. كما تدعم معالجة البيانات اللاحقة من خلال استدعاءات يحددها المستخدم، وتوفر عناصر تحكم قابلة للتكوين لتوسيع أو طي أو تخطي مساحات الأسماء أثناء عملية التحويل.

PMD هو محلل كود ثابت متعدد اللغات يُستخدم لتحديد عيوب البرمجة، والمتغيرات غير المستخدمة، والكود الميت دون تنفيذ البرنامج. يعمل ككاشف لرائحة الكود (code smell) ومنفذ لمعايير البرمجة، مما يضمن التزام الكود المصدري باتفاقيات تسمية محددة، ومتطلبات هيكلية، وأدلة نمط المشروع. يتميز المشروع بمحرك قواعد قائم على XPath يسمح للمستخدمين بتعريف أنماط تحليل مخصصة باستخدام استعلامات مقابل شجرة بناء الجملة المجردة. كما يتضمن كاشفاً للنسخ واللصق لتحديد كتل الكود المكررة عبر ملفات متعددة ومصمم قواعد مرئي لإنشاء واختبار أنماط الكشف المخصصة. يغطي سطح التحليل اكتشاف الأخطاء، وتحديد مشكلات الصيانة لتقليل الديون التقنية، والتحقق من تطبيقات الاختبار. كما يوفر قدرات لتحديد الأساليب المعقدة للغاية وقوائم المعلمات المفرطة.

Scraperr is a self-hosted web scraping and crawling platform designed for extracting structured data from websites using XPath selectors. It functions as a containerized system for managing scraping jobs through a queue and analyzing the resulting content using artificial intelligence. The project differentiates itself through its Kubernetes-native architecture, allowing for scalable deployment and management via package managers. It includes a crawling engine capable of domain-level spidering to discover linked pages and a data analyzer that uses artificial intelligence to query extracted we

pugixml هو محلل XML خفيف الوزن بلغة C++ ومكتبة قائمة على DOM تُستخدم لتحليل ومعالجة وحفظ مستندات XML. يوفر مجموعة أدوات محمولة لقراءة بيانات XML من الملفات، أو السلاسل، أو مخازن الذاكرة المؤقتة وتحويلها إلى نموذج كائن مستند في الذاكرة. تتضمن المكتبة محرك XPath 1.0 مخصصاً لاستخراج عقد وبيانات محددة من خلال تعبيرات المسار. تتميز بإدارة ذاكرة قابلة للتخصيص، مما يسمح بإعادة توجيه عمليات الكومة إلى وظائف تخصيص محددة من قبل المستخدم، والقدرة على إجراء تحليل المخزن المؤقت في مكانه لتقليل تخصيصات الذاكرة. تغطي قدراتها معالجة بيانات XML، مثل إدراج أو إزالة العقد والسمات، وتسلسل المستندات لتصدير البيانات المهيكلة إلى تدفقات أو ملفات. يوفر المشروع أيضاً آليات لاجتياز الشجرة عبر الكائنات المتكررة والمشاة، بالإضافة إلى واجهة كاتب لإعادة توجيه وجهات الإخراج.

GeneralNewsExtractor is a specialized system for identifying and extracting structured news data through configurable HTML filtering and XPath-based parsing. It functions as an automated news scraper and web page content parser that isolates article bodies and metadata from news webpages. The system uses YAML or JSON configuration files to manage extraction rules and XPath definitions, decoupling the processing logic from site-specific selectors. This allows for targeted noise removal and the isolation of titles, authors, and publication dates through customizable filtering. The tool covers

Tika is a content analysis toolkit and Java library designed for detecting and extracting metadata and text from thousands of different file types. It functions as a universal document text extractor and metadata extraction engine, converting complex files into plain text or XHTML. The system employs a specialized MIME type detector that identifies document formats using magic bytes and metadata to determine the correct parser. It serves as an OCR integration gateway, connecting to external text recognition tools to extract content from image files. The project covers a broad range of extrac

The lxml XML toolkit for Python

A library for converting HTML into PDFs using ReportLab

A jquery-like library for python

Standards-compliant library for parsing and serializing HTML documents and fragments in Python

A pure Python HTML5 parser that just works. No C extensions to compile. No system dependencies to install. No complex API to learn.

Safely add untrusted strings to HTML/XML markup.

Converts XML to Python objects

Pythonic HTML Parsing for Humans™

A tiny CSS parser