Awesome GitHub RepositoriesPattern-Based Extraction

Cloud-mail is a serverless email backend and routing service built on Cloudflare infrastructure. It provides a cloud-native system for receiving, storing, and processing electronic messages without the requirement for traditional mail server hardware. The platform includes an email data API for querying records and a visual analytics dashboard for tracking mail volume and system performance. It features automated processing capabilities to extract verification codes from message bodies and manages an email archive using persistent object storage for attachments and history. The system handle

Cloud-mail is a cloud-based mail server and API platform providing a programmable interface for managing user accounts, sending bulk messages, and performing complex searches on email data. It serves as an automated email extraction tool and forwarding gateway, enabling the identification and capture of verification codes and the routing of incoming messages to external services. The infrastructure is hosted on serverless edge workers to remove the need for dedicated server hardware. It utilizes object storage for managing email attachments and employs a serverless message routing system to p

Connect is a Kafka data integration platform and stream processing engine used to build declarative pipelines that move and transform messages between Kafka topics and external sources. It functions as a Kafka Connect framework and a change data capture tool, streaming real-time database modifications to synchronize data across distributed environments. The project differentiates itself through a dedicated mapping language for mutating and reshaping message payloads and the ability to execute custom processing logic within a sandboxed WebAssembly runtime. It also provides an observability pip

Autoscraper est une bibliothèque de web scraping automatique et un extracteur de données basé sur des modèles qui apprend les règles d'extraction à partir d'échantillons de données. Il identifie et récupère du texte, des URL et des éléments HTML à partir de pages web en analysant des valeurs d'échantillon pour reproduire des modèles de données à travers différentes URL. Le système fonctionne comme un gestionnaire de modèles de web scraping, permettant aux utilisateurs d'enregistrer et de recharger les règles apprises pour maintenir une extraction de données cohérente. Il prend en charge l'exportation et l'importation des règles de scraping vers un système de fichiers local pour éviter de répéter le processus d'entraînement pour le même site web. La bibliothèque couvre l'extraction automatisée de données web et la récolte de contenu web grâce à l'apprentissage de modèles basé sur des échantillons et à la récupération d'éléments positionnels. Elle peut récupérer à la fois des points de données spécifiques et tous les éléments d'une page qui correspondent aux modèles identifiés à partir des données d'échantillon initiales.

so-novel is a web novel downloader and scraping engine designed to extract structured text from websites and convert it into electronic book formats. It functions as a multi-interface content extractor, providing a shared backend accessible via a web-based management dashboard, a terminal user interface, and a command line interface. The system utilizes a rule-driven approach for data extraction, using CSS selectors and XPath rules defined in external configuration files to map web elements to specific data fields. To maintain access to content, it includes a proxy-routed request pipeline to

ngxtop is a real-time web server dashboard and traffic analyzer that transforms raw Nginx access logs into immediate visual metrics. It functions as a live monitor for tracking request rates, response codes, and bandwidth usage by parsing server logs as they are written. The tool extracts performance data from combined, common, and JSON log structures. It uses these parsed logs to identify high-traffic endpoints and server error patterns for troubleshooting. The system processes log streams through a pipeline that includes schema-based extraction, record filtering via evaluatable expressions

PathPicker est un sélecteur de fichiers en ligne de commande et un sélecteur de fichiers shell interactif qui sert de pont entre la sortie du terminal et des outils externes. Il convertit la sortie texte des commandes shell en une liste visuelle, permettant aux utilisateurs d'identifier et d'isoler des chemins de fichiers spécifiques pour une action ultérieure. L'utilitaire analyse les flux de texte provenant d'outils tels que git ou grep pour identifier les chemins de fichiers, que les utilisateurs peuvent ensuite filtrer et sélectionner via une interface interactive. Ces chemins sélectionnés sont injectés dans des modèles de commande configurables ou passés comme arguments à des processus externes, tels que des éditeurs de texte ou des scripts shell personnalisés. L'outil couvre le traitement de la sortie shell, la sélection interactive de fichiers et l'automatisation du workflow en ligne de commande.

This project is a Telegram API client and media archiving system designed to programmatically retrieve chat histories and export media. It functions as a download manager and message forwarder, allowing users to back up photos, videos, and documents from Telegram chats into structured local archives. The system distinguishes itself through advanced content filtering and forwarding capabilities. It can monitor chats for new messages, apply custom regular expressions to filter media by size or date, and automatically forward content between chats. This includes the ability to export protected c

Ce projet est une bibliothèque de web scraping Python et une suite d'automatisation de collecte de données. Il fournit des outils pour extraire des données structurées à partir de sites web, implémenter des crawlers pour naviguer entre les liens et analyser les structures DOM HTML pour isoler des éléments et attributs spécifiques. La boîte à outils inclut un pipeline pour traiter le texte non structuré et nettoyer le contenu web brut afin d'extraire des informations significatives. Elle propose également des capacités d'extraction de données d'image et l'intégration d'API externes pour récupérer des données structurées depuis des endpoints distants. Le système couvre de larges domaines de fonctionnalités, notamment l'extraction automatisée de données web, les workflows de crawling et des techniques pour contourner les obstacles au scraping via des proxys et des résolveurs de CAPTCHA.

Visual Insights est une plateforme d'analyse exploratoire de données automatisée et un outil d'inférence causale conçu pour découvrir des modèles et des relations de cause à effet au sein des jeux de données. Il fonctionne comme une bibliothèque de visualisation de données interactive utilisant une approche de grammaire graphique pour générer des graphiques et des tableaux de bord multidimensionnels. Le projet se distingue par une interface en langage naturel qui traduit les questions en texte brut en réponses de données et visualisations via un modèle de langage. Il fournit un framework spécialisé pour la découverte et l'inférence causales, permettant aux utilisateurs d'identifier les liens entre variables via des graphes causaux interactifs et d'effectuer des analyses de type « et si » pour valider des hypothèses. La plateforme couvre un large éventail de capacités, incluant le nettoyage visuel des données, le profilage statistique et la transformation automatisée des jeux de données. Elle prend en charge l'intégration de données diverses provenant de fichiers locaux et de bases de données distantes, et dispose d'un moteur de traitement haute performance pour gérer de grands jeux de données localement. De plus, le système permet l'intégration de composants d'analyse interactifs dans des applications web et des notebooks.

wechatVideoDownload is a tool for capturing, downloading, and decrypting video content from the WeChat application for local storage. It functions as a batch media downloader, a channel content scraper, and a media decryption utility. The project distinguishes itself by providing specific capabilities for WeChat video archiving, including the processing of encrypted files into standard playable formats and the extraction of content from channels and live stream replays. The system employs packet-sniffing traffic analysis and pattern-based URL extraction to identify media links during active

fake-useragent est un outil pour générer des chaînes d'identification de navigateur réalistes et analyser les agents existants en métadonnées structurées. Il fonctionne comme un générateur d'User-Agent HTTP et un utilitaire de web scraping conçu pour faire pivoter les identités de navigateur afin d'imiter différents appareils lors de la collecte automatisée de données. Le projet offre des capacités de génération aléatoire d'User-Agent et de filtrage basé sur des navigateurs, systèmes d'exploitation, plateformes d'appareils ou numéros de version minimaux spécifiques. Il inclut également un analyseur d'User-Agent pour extraire des métadonnées détaillées, telles que les versions de navigateur et les marques d'appareils, à partir des chaînes d'agent.

EHole is a specialized toolkit for network asset parsing, binary transformation, payload generation, and vulnerability research. It functions as an asset discovery and fingerprinting tool designed to identify software versions and high-value assets across IP ranges and URLs using custom fingerprints. The project provides a vulnerability research toolkit for decrypting software credentials and retrieving factory default passwords for security devices and web applications. It also includes a security payload generator for encoding and escaping command strings to bypass shell tokenization and ex

This is a collection of Python automation scripts and utility tools designed to handle repetitive technical tasks, system administration, and developer workflows. The project serves as a suite for task automation, data utility, and web automation. The collection includes specialized tools for multimedia processing, such as optical character recognition for extracting text from images, speech-to-text conversion, and real-time face and human body detection. It also features web scraping and monitoring capabilities to track product prices, fetch external API content, and automate interactions wi

This project is a multi-purpose toolkit comprising a static site generator, a predictive modeling tool, and a sports analytics dashboard. It functions as a content syndication engine that converts source files into static HTML and machine-readable XML streams for blogs and professional portfolios. The system features a data processing engine designed for sports performance analytics, using linear and logistic regression to estimate season win totals and calculate win probabilities. It includes a time-series visualization framework that renders these performance trends using high-contrast them