Awesome GitHub RepositoriesHTML and XML Processing

Pup is a command line tool for extracting and filtering data from HTML documents using CSS selectors. It functions as a parser and selector engine that isolates specific elements based on tags, IDs, classes, and attributes. The project provides utilities for converting selected HTML nodes into plain text, attribute values, or structured JSON objects. It includes a markup formatter that corrects missing tags and applies consistent indentation to improve the readability of HTML documents. The tool handles the retrieval of text content and attributes through a CSS selector engine, supporting co

htmlq is a suite of command-line utilities for querying and extracting data from HTML documents using CSS selectors. It functions as a query language tool for HTML structures and attributes, providing a way to retrieve specific information from documents via the terminal. The tool provides capabilities for extracting text content, specific HTML attributes, and document fragments. It includes an HTML document formatter for cleaning and reformatting output with consistent indentation, as well as utilities for stripping tags to isolate plain text. The software handles structural HTML processing

Hamcrest PHP is a declarative assertion framework and matcher library used for unit testing in PHP. It provides a set of flexible matchers to verify object states, data types, and collection contents. The library includes specialized tools for XML verification using XPath expressions to analyze document structures and element content. It also allows for the creation of complex validation rules by combining multiple independent matchers through logical operators. The framework covers a broad range of validation primitives, including string content inspection, numeric comparison, and object pr

Webhook.site is a web-based tool that captures, inspects, and debugs incoming HTTP requests and emails sent to a unique URL, without requiring any server setup. It also functions as an API mocking and response modification tool, capable of generating mock APIs from OpenAPI specifications and altering HTTP responses, headers, and status codes for testing purposes. Beyond inspection, it serves as a platform for webhook automation and workflow orchestration, triggering multi-step automations—including database queries, SSH commands, and HTTP calls—when a webhook is received. The service distingu

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

xmltodict एक Python लाइब्रेरी है जो XML दस्तावेज़ों और डिक्शनरी के बीच द्विदिश (bidirectional) सीरियलाइज़ेशन प्रदान करती है। यह एक पार्सर के रूप में कार्य करती है जो मार्क-अप इनपुट को की-वैल्यू पेयर्स में बदलती है, और एक सीरियलाइज़ेशन यूटिलिटी के रूप में जो डिक्शनरी को वापस स्ट्रक्चर्ड XML दस्तावेज़ों में बदलती है। इस प्रोजेक्ट में एक इंक्रीमेंटल स्ट्रीम प्रोसेसर शामिल है जो बड़ी XML फ़ाइलों को संभालने के लिए डेप्थ-बेस्ड कॉलबैक्स का उपयोग करता है, जबकि मेमोरी का उपयोग स्थिर रखता है। इसमें प्रीफ़िक्स और डिक्लेरेशन्स को मैप करने के लिए एक नेमस्पेस मैनेजर, और बाहरी एंटिटी एक्सपेंशन को ब्लॉक करने और इंजेक्शन हमलों को रोकने के लिए एलिमेंट नामों को वैलिडेट करने वाला एक सिक्योरिटी सैनिटाइज़र शामिल है। यह लाइब्रेरी डेटा टाइप एनफोर्समेंट की क्षमताएं प्रदान करती है, जैसे कि चाइल्ड काउंट की परवाह किए बिना विशिष्ट एलिमेंट्स को लिस्ट के रूप में प्रस्तुत करने के लिए मजबूर करना। यह उपयोगकर्ता-परिभाषित कॉलबैक्स के माध्यम से डेटा पोस्ट-प्रोसेसिंग को भी सपोर्ट करती है और कन्वर्ज़न प्रक्रिया के दौरान नेमस्पेस को एक्सपैंड, कोलैप्स या स्किप करने के लिए कॉन्फ़िगर करने योग्य कंट्रोल्स प्रदान करती है।

PMD एक बहुभाषी स्टैटिक कोड एनालाइज़र है जिसका उपयोग प्रोग्राम को निष्पादित किए बिना प्रोग्रामिंग खामियों, अप्रयुक्त वेरिएबल्स और डेड कोड की पहचान करने के लिए किया जाता है। यह एक कोड स्मेल डिटेक्टर और कोडिंग स्टैंडर्ड एनफोर्सर के रूप में कार्य करता है, यह सुनिश्चित करता है कि सोर्स कोड विशिष्ट नामकरण सम्मेलनों, संरचनात्मक आवश्यकताओं और प्रोजेक्ट स्टाइल गाइड्स का पालन करता है। इस प्रोजेक्ट में एक XPath-आधारित नियम इंजन है जो उपयोगकर्ताओं को एब्सट्रैक्ट सिंटैक्स ट्री के खिलाफ क्वेरीज़ का उपयोग करके कस्टम विश्लेषण पैटर्न परिभाषित करने की अनुमति देता है। इसमें कई फाइलों में डुप्लिकेट कोड ब्लॉक्स की पहचान करने के लिए एक कॉपी-पेस्ट डिटेक्टर और कस्टम डिटेक्शन पैटर्न बनाने व परीक्षण करने के लिए एक विजुअल रूल डिज़ाइनर भी शामिल है। विश्लेषण सतह बग डिटेक्शन, तकनीकी ऋण को कम करने के लिए रखरखाव संबंधी मुद्दों की पहचान, और टेस्ट कार्यान्वयन के सत्यापन को कवर करती है। यह अत्यधिक जटिल मेथड्स और अत्यधिक पैरामीटर सूचियों की पहचान करने के लिए क्षमताएं भी प्रदान करती है।

Scraperr एक सेल्फ-होस्टेड वेब स्क्रैपिंग और क्रॉलिंग प्लेटफॉर्म है जिसे XPath सिलेक्टर्स का उपयोग करके वेबसाइटों से स्ट्रक्चर्ड डेटा निकालने के लिए डिज़ाइन किया गया है। यह एक कतार (queue) के माध्यम से स्क्रैपिंग जॉब्स को प्रबंधित करने और आर्टिफिशियल इंटेलिजेंस का उपयोग करके परिणामी कंटेंट का विश्लेषण करने के लिए एक कंटेनराइज्ड सिस्टम के रूप में कार्य करता है। यह प्रोजेक्ट अपने Kubernetes-नेटिव आर्किटेक्चर के माध्यम से खुद को अलग करता है, जो पैकेज मैनेजर के माध्यम से स्केलेबल डिप्लॉयमेंट और प्रबंधन की अनुमति देता है। इसमें लिंक्ड पेजों को खोजने के लिए डोमेन-लेवल स्पाइडरिंग में सक्षम एक क्रॉलिंग इंजन और निकाले गए वेब कंटेंट को क्वेरी करने के लिए आर्टिफिशियल इंटेलिजेंस का उपयोग करने वाला एक डेटा एनालाइजर शामिल है। यह प्लेटफॉर्म ऑटोमेटेड डेटा एक्सट्रैक्शन, बल्क वेब क्रॉलिंग और मीडिया फाइल डाउनलोडिंग सहित क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। यह स्क्रैप किए गए डेटा को टेबल में विज़ुअलाइज़ करने, ब्राउज़र पहचान की नकल करने के लिए कस्टम रिक्वेस्ट हेडर कॉन्फ़िगर करने और परिणामों को CSV या Markdown प्रारूपों में निर्यात करने के लिए टूल्स प्रदान करता है। एप्लिकेशन Kubernetes डिप्लॉयमेंट कॉन्फ़िगरेशन के माध्यम से अनुकूलन योग्य इंस्टॉलेशन पैरामीटर और वर्जन अपडेट का समर्थन करता है।

pugixml एक हल्का C++ XML पार्सर और DOM-आधारित लाइब्रेरी है जिसका उपयोग XML डॉक्यूमेंट्स को पार्स करने, हेरफेर करने और सेव करने के लिए किया जाता है। यह फाइलों, स्ट्रिंग्स या मेमोरी बफ़र्स से XML डेटा पढ़ने और उन्हें इन-मेमोरी डॉक्यूमेंट ऑब्जेक्ट मॉडल में बदलने के लिए एक पोर्टेबल टूलसेट प्रदान करता है। लाइब्रेरी में पाथ एक्सप्रेशन के माध्यम से विशिष्ट नोड्स और डेटा निकालने के लिए एक समर्पित XPath 1.0 इंजन शामिल है। यह कस्टमाइज़ेबल मेमोरी मैनेजमेंट के माध्यम से खुद को अलग करता है, जो हीप ऑपरेशंस को उपयोगकर्ता-परिभाषित आवंटन कार्यों के लिए पुनर्निर्देशित करने की अनुमति देता है, और मेमोरी आवंटन को कम करने के लिए इन-प्लेस बफ़र पार्सिंग करने की क्षमता प्रदान करता है। इसकी क्षमता सतह XML डेटा हेरफेर को कवर करती है, जैसे नोड्स और विशेषताओं को सम्मिलित करना या हटाना, और स्ट्रक्चर्ड डेटा को स्ट्रीम या फाइलों में एक्सपोर्ट करने के लिए डॉक्यूमेंट सीरियलाइज़ेशन। प्रोजेक्ट इटरेटर्स और वॉकर ऑब्जेक्ट्स के माध्यम से ट्री ट्रैवर्सल के लिए मैकेनिज्म भी प्रदान करता है, साथ ही आउटपुट गंतव्यों को पुनर्निर्देशित करने के लिए एक राइटर इंटरफेस भी प्रदान करता है।

GeneralNewsExtractor is a specialized system for identifying and extracting structured news data through configurable HTML filtering and XPath-based parsing. It functions as an automated news scraper and web page content parser that isolates article bodies and metadata from news webpages. The system uses YAML or JSON configuration files to manage extraction rules and XPath definitions, decoupling the processing logic from site-specific selectors. This allows for targeted noise removal and the isolation of titles, authors, and publication dates through customizable filtering. The tool covers

Tika is a content analysis toolkit and Java library designed for detecting and extracting metadata and text from thousands of different file types. It functions as a universal document text extractor and metadata extraction engine, converting complex files into plain text or XHTML. The system employs a specialized MIME type detector that identifies document formats using magic bytes and metadata to determine the correct parser. It serves as an OCR integration gateway, connecting to external text recognition tools to extract content from image files. The project covers a broad range of extrac

The lxml XML toolkit for Python

A library for converting HTML into PDFs using ReportLab

A jquery-like library for python

Standards-compliant library for parsing and serializing HTML documents and fragments in Python

A pure Python HTML5 parser that just works. No C extensions to compile. No system dependencies to install. No complex API to learn.

Safely add untrusted strings to HTML/XML markup.

Converts XML to Python objects

Pythonic HTML Parsing for Humans™

A tiny CSS parser