Awesome GitHub RepositoriesHTML and XML Processing

Pup is a command line tool for extracting and filtering data from HTML documents using CSS selectors. It functions as a parser and selector engine that isolates specific elements based on tags, IDs, classes, and attributes. The project provides utilities for converting selected HTML nodes into plain text, attribute values, or structured JSON objects. It includes a markup formatter that corrects missing tags and applies consistent indentation to improve the readability of HTML documents. The tool handles the retrieval of text content and attributes through a CSS selector engine, supporting co

htmlq is a suite of command-line utilities for querying and extracting data from HTML documents using CSS selectors. It functions as a query language tool for HTML structures and attributes, providing a way to retrieve specific information from documents via the terminal. The tool provides capabilities for extracting text content, specific HTML attributes, and document fragments. It includes an HTML document formatter for cleaning and reformatting output with consistent indentation, as well as utilities for stripping tags to isolate plain text. The software handles structural HTML processing

Hamcrest PHP is a declarative assertion framework and matcher library used for unit testing in PHP. It provides a set of flexible matchers to verify object states, data types, and collection contents. The library includes specialized tools for XML verification using XPath expressions to analyze document structures and element content. It also allows for the creation of complex validation rules by combining multiple independent matchers through logical operators. The framework covers a broad range of validation primitives, including string content inspection, numeric comparison, and object pr

Webhook.site is a web-based tool that captures, inspects, and debugs incoming HTTP requests and emails sent to a unique URL, without requiring any server setup. It also functions as an API mocking and response modification tool, capable of generating mock APIs from OpenAPI specifications and altering HTTP responses, headers, and status codes for testing purposes. Beyond inspection, it serves as a platform for webhook automation and workflow orchestration, triggering multi-step automations—including database queries, SSH commands, and HTTP calls—when a webhook is received. The service distingu

Apache Hive is a SQL-on-Hadoop data warehouse that enables querying and managing petabytes of data stored in distributed storage such as HDFS and cloud storage services. It provides a familiar SQL interface for batch analytics and reporting, supported by a core set of components including the HiveServer2 Thrift service for remote query execution, the Hive Metastore Service for central metadata management, the Hive ACID Transaction Engine for concurrent read-write operations, and the Hive LLAP Interactive Engine for low-latency analytical processing. The WebHCat REST API offers an HTTP interfac

xmltodict ist eine Python-Bibliothek, die bidirektionale Serialisierung zwischen XML-Dokumenten und Dictionaries bietet. Sie fungiert als Parser, der markierte Eingaben in Key-Value-Paare umwandelt, und als Serialisierungs-Utility, das Dictionaries zurück in strukturierte XML-Dokumente transformiert. Das Projekt enthält einen inkrementellen Stream-Prozessor, der tiefenbasierte Callbacks verwendet, um große XML-Dateien bei konstantem Speicherverbrauch zu verarbeiten. Es bietet einen Namespace-Manager für das Mapping von Präfixen und Deklarationen sowie einen Security-Sanitizer, der die Expansion externer Entitäten blockiert und Elementnamen validiert, um Injection-Angriffe zu verhindern. Die Bibliothek bietet Funktionen zur Durchsetzung von Datentypen, wie z. B. das Erzwingen, dass bestimmte Elemente unabhängig von der Anzahl der Kinder als Listen dargestellt werden. Sie unterstützt zudem die Daten-Nachbearbeitung durch benutzerdefinierte Callbacks und bietet konfigurierbare Kontrollen zum Erweitern, Zusammenklappen oder Überspringen von Namespaces während des Konvertierungsprozesses.

PMD ist ein mehrsprachiger statischer Code-Analysator, der verwendet wird, um Programmierfehler, ungenutzte Variablen und toten Code zu identifizieren, ohne das Programm auszuführen. Es fungiert als Code-Smell-Detektor und Durchsetzer von Codierungsstandards und stellt sicher, dass der Quellcode spezifischen Namenskonventionen, strukturellen Anforderungen und Projekt-Styleguides entspricht. Das Projekt verfügt über eine XPath-basierte Regel-Engine, die es Benutzern ermöglicht, benutzerdefinierte Analysemuster mittels Abfragen gegen einen abstrakten Syntaxbaum zu definieren. Es enthält zudem einen Copy-Paste-Detektor zur Identifizierung duplizierter Codeblöcke über mehrere Dateien hinweg sowie einen visuellen Regel-Designer zum Erstellen und Testen benutzerdefinierter Erkennungsmuster. Die Analyseoberfläche deckt die Fehlererkennung, die Identifizierung von Wartbarkeitsproblemen zur Reduzierung technischer Schulden sowie die Verifizierung von Testimplementierungen ab. Zudem bietet es Funktionen zur Identifizierung übermäßig komplexer Methoden und zu langer Parameterlisten.

Scraperr ist eine selbstgehostete Plattform für Web-Scraping und Crawling, die für die Extraktion strukturierter Daten von Websites mittels XPath-Selektoren entwickelt wurde. Sie fungiert als containerisiertes System zur Verwaltung von Scraping-Jobs über eine Queue und zur Analyse der resultierenden Inhalte mittels künstlicher Intelligenz. Das Projekt zeichnet sich durch seine Kubernetes-native Architektur aus, die eine skalierbare Bereitstellung und Verwaltung über Paketmanager ermöglicht. Es enthält eine Crawling-Engine, die Domain-Level-Spidering unterstützt, um verlinkte Seiten zu entdecken, sowie einen Datenanalysator, der künstliche Intelligenz zur Abfrage extrahierter Webinhalte nutzt. Die Plattform deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Datenextraktion, Bulk-Web-Crawling und Download von Mediendateien. Sie bietet Tools zur Visualisierung gescrapter Daten in Tabellen, zur Konfiguration benutzerdefinierter Request-Header zur Nachahmung von Browser-Identitäten und zum Export von Ergebnissen in CSV- oder Markdown-Formate. Die Anwendung unterstützt anpassbare Installationsparameter und Versions-Updates über Kubernetes-Deployment-Konfigurationen.

pugixml ist ein leichtgewichtiger C++-XML-Parser und eine DOM-basierte Bibliothek, die zum Parsen, Manipulieren und Speichern von XML-Dokumenten verwendet wird. Sie bietet ein portables Toolset zum Lesen von XML-Daten aus Dateien, Strings oder Speicherpuffern und deren Konvertierung in ein In-Memory-Dokumentobjektmodell. Die Bibliothek enthält eine dedizierte XPath-1.0-Engine zur Extraktion spezifischer Knoten und Daten durch Pfadausdrücke. Sie zeichnet sich durch anpassbares Speichermanagement aus, das es ermöglicht, Heap-Operationen auf benutzerdefinierte Allokationsfunktionen umzuleiten, sowie durch die Fähigkeit, In-Place-Puffer-Parsing durchzuführen, um Speicherallokationen zu reduzieren. Der Funktionsumfang deckt XML-Datenmanipulation ab, wie etwa das Einfügen oder Entfernen von Knoten und Attributen, sowie die Dokument-Serialisierung zum Exportieren strukturierter Daten in Streams oder Dateien. Das Projekt bietet zudem Mechanismen für die Baum-Traversierung mittels Iteratoren und Walker-Objekten sowie eine Writer-Schnittstelle zur Umleitung von Ausgabezielen.

GeneralNewsExtractor is a specialized system for identifying and extracting structured news data through configurable HTML filtering and XPath-based parsing. It functions as an automated news scraper and web page content parser that isolates article bodies and metadata from news webpages. The system uses YAML or JSON configuration files to manage extraction rules and XPath definitions, decoupling the processing logic from site-specific selectors. This allows for targeted noise removal and the isolation of titles, authors, and publication dates through customizable filtering. The tool covers

Tika is a content analysis toolkit and Java library designed for detecting and extracting metadata and text from thousands of different file types. It functions as a universal document text extractor and metadata extraction engine, converting complex files into plain text or XHTML. The system employs a specialized MIME type detector that identifies document formats using magic bytes and metadata to determine the correct parser. It serves as an OCR integration gateway, connecting to external text recognition tools to extract content from image files. The project covers a broad range of extrac

The lxml XML toolkit for Python

A library for converting HTML into PDFs using ReportLab

A jquery-like library for python

Standards-compliant library for parsing and serializing HTML documents and fragments in Python

A pure Python HTML5 parser that just works. No C extensions to compile. No system dependencies to install. No complex API to learn.

Safely add untrusted strings to HTML/XML markup.

Converts XML to Python objects

Pythonic HTML Parsing for Humans™

A tiny CSS parser