Awesome GitHub RepositoriesHTML Selector Extractors

X-ray est un scraper web headless browser et un crawler de contenu HTML conçu pour extraire des données structurées à partir de sites web. Il fonctionne comme un scraper de données basé sur les flux et un extracteur de données structurées, utilisant des sélecteurs pour récupérer du texte et des attributs depuis le HTML sous forme d'objets ou de tableaux imbriqués. Le projet inclut un contrôleur de taux de requête pour gérer le trafic réseau via des limites de concurrence, des throttles et des timeouts. Il gère le scraping de sites web dynamiques en rendant le JavaScript via un navigateur headless et effectue un crawling automatisé de sites web en utilisant le suivi de liens en largeur d'abord et la gestion de la pagination. Le système fournit un pipeline de données qui applique des transformations de valeurs fonctionnelles aux chaînes brutes et écrit les résultats dans un flux lisible pour prévenir le débordement mémoire lors de travaux de scraping web à grande échelle.

Ce projet est un framework de web scraping Node.js conçu pour automatiser l'extraction de données via un flux de travail programmatique de requêtes, d'analyse et d'interaction avec les documents. Il fonctionne comme un crawler web headless, un gestionnaire de requêtes HTTP, ainsi qu'un analyseur et extracteur DOM. Le framework se distingue en combinant un moteur d'exécution JavaScript pour interagir avec le contenu dynamique et un système de sélection hybride qui utilise à la fois des sélecteurs CSS et XPath. Il inclut un middleware spécialisé pour la rotation de proxy et la gestion de session cookie-jar afin de maintenir les états authentifiés et de gérer le trafic automatisé. Ses capacités plus larges couvrent le crawling de liens récursif, la gestion de la pagination et l'automatisation des formulaires web. L'outil fournit également des fonctionnalités de gestion du trafic telles que la limitation du taux de requêtes via des délais temporisés et une configuration personnalisée des en-têtes HTTP.

Jodd est une suite d'extensions Java légères et d'utilitaires de bibliothèque standard conçus pour la configuration d'applications, le mapping de bases de données, l'injection de dépendances et l'analyse HTML. Il fournit un ensemble consolidé d'outils de base pour faciliter le développement Java avec un noyau sans dépendance pour garantir la compatibilité et une empreinte réduite dans tous les environnements. Le projet propose un conteneur d'injection de dépendances pragmatique pour gérer les cycles de vie des objets et un mapper de base de données qui utilise des templates SQL pour mapper les jeux de résultats directement vers des objets Java. Il inclut un gestionnaire de configuration spécialisé prenant en charge les profils, les sections et les macros, ainsi qu'un analyseur HTML qui extrait des éléments à l'aide de sélecteurs CSS3. Des capacités supplémentaires couvrent la communication réseau via un client HTTP léger, la sérialisation JSON, ainsi que l'envoi et la réception d'e-mails. La boîte à outils fournit également des utilitaires pour la validation des données, la conversion de types, la gestion des transactions et la génération de proxies dynamiques pour l'interception comportementale.