Awesome GitHub RepositoriesCollection Post-processing

xmltodict est une bibliothèque Python qui permet une sérialisation bidirectionnelle entre des documents XML et des dictionnaires. Elle fonctionne comme un analyseur qui convertit une entrée balisée en paires clé-valeur et comme un utilitaire de sérialisation qui transforme les dictionnaires en documents XML structurés. Le projet inclut un processeur de flux incrémental qui utilise des rappels (callbacks) basés sur la profondeur pour traiter de gros fichiers XML tout en maintenant une utilisation constante de la mémoire. Il dispose d'un gestionnaire d'espaces de noms pour mapper les préfixes et les déclarations, ainsi qu'un désinfecteur de sécurité qui bloque l'expansion d'entités externes et valide les noms d'éléments pour prévenir les attaques par injection. La bibliothèque offre des capacités de forçage de types de données, comme imposer que certains éléments soient représentés sous forme de listes quel que soit le nombre d'enfants. Elle prend également en charge le post-traitement des données via des rappels définis par l'utilisateur et offre des contrôles configurables pour développer, réduire ou ignorer les espaces de noms pendant le processus de conversion.

Fluvio est une plateforme de streaming d'événements distribuée et un moteur de streaming cloud-native conçu pour collecter, persister et répliquer des flux de données en temps réel à travers un cluster distribué. Il fonctionne comme un pipeline de données temps réel pour construire des workflows avec état qui ingèrent, enrichissent et exportent des données entre des sources et des destinations externes. La plateforme se distingue par son utilisation de WebAssembly pour exécuter des modules compilés pour des transformations et filtrages de données en ligne. Cela permet l'exécution d'une logique métier personnalisée pour remodeler l'information en mouvement sans nécessiter de redémarrage du cluster. Le système couvre un large éventail de capacités, incluant l'ingestion de données basée sur des connecteurs depuis des protocoles externes, un stockage immuable structuré en logs avec E/S zéro-copie, et une mise à l'échelle horizontale du cluster. Il prend en charge la création de pipelines complexes pilotés par les événements qui utilisent le traitement avec état, les agrégations par fenêtrage et la distribution de données basée sur les partitions. Le moteur peut être déployé comme un binaire léger sur diverses architectures système, y compris des appareils IoT ARM64 pour le traitement de données en périphérie (edge).

Weibospider est un crawler web distribué conçu pour extraire des posts, des profils et des données d'interaction du réseau social Weibo. Il fonctionne comme un extracteur de données de médias sociaux qui utilise une file d'attente de tâches distribuée pour mettre à l'échelle les opérations de scraping à travers plusieurs nœuds de travail. Le système inclut une interface administrative graphique pour configurer les paramètres du crawler, les identifiants d'utilisateurs cibles et les mots-clés de recherche. Il emploie une architecture distribuée pour augmenter le débit de données et gérer la collecte à grande échelle de contenu de médias sociaux. L'outil couvre un large éventail de capacités de collecte de données, y compris la récolte de profils d'utilisateurs, l'extraction de recherche basée sur des mots-clés et le mappage de graphes sociaux via des listes d'abonnés, des commentaires et des reposts. Il dispose également de mécanismes pour la régulation du taux de requête, la rotation de compte et l'automatisation des tâches récurrentes pour maintenir la persistance de session et la collecte de données continue.

Ce projet est un scraper web pour Sina Weibo et un pipeline de données de réseaux sociaux conçu pour extraire les profils d'utilisateurs, les publications, les commentaires et les ressources multimédias. Il fonctionne comme un crawler de données conteneurisé qui automatise la collecte et le stockage local de contenu de réseaux sociaux et de métriques d'engagement. Le système inclut une couche de traitement qui utilise des modèles de langage étendus (LLM) pour analyser le texte extrait, générant des résumés et une analyse de sentiment. Il se distingue par un modèle de déploiement prêt à l'emploi sous forme de conteneur, doté d'une interface HTTP pour gérer les tâches d'extraction et surveiller la progression des travaux. Le crawler couvre un large éventail de capacités, incluant la surveillance des réseaux sociaux via des mises à jour incrémentales planifiées, l'archivage des ressources multimédias sur disques locaux et l'exportation de données multi-formats vers des fichiers plats ou des bases de données. Il capture également des interactions sociales détaillées, telles que les commentaires de premier niveau et les reposts.

WeiboSpider est un scraper de réseaux sociaux conçu pour extraire les profils d'utilisateurs, les publications et les données d'interaction de la plateforme Sina Weibo. Il fonctionne comme un crawler de données web qui récupère les informations via des interfaces externes plutôt qu'en analysant le frontend visuel. L'outil inclut un traceur de lignée de contenu pour suivre les publications partagées jusqu'à leurs sources originales. Il dispose également d'un analyseur d'engagement social pour collecter le nombre de vues et les fils de commentaires imbriqués afin de mesurer les métriques d'interaction des utilisateurs. Le système fournit des capacités de surveillance sociale par mots-clés et de filtrage des résultats de recherche pour suivre des sujets spécifiques au fil du temps. Il gère de grands ensembles de données via une itération basée sur la pagination et une traversée récursive des fils d'engagement.

This project is an unauthenticated web scraper designed to extract public data from the Twitter frontend API. It functions as a social media data extractor that simulates browser requests to gather information without the need for official API keys or user account authentication. The tool provides capabilities for gathering public posts, harvesting user profile metadata such as biographies and locations, and retrieving trending topics categorized by geographical region. It can perform targeted content scraping based on specific usernames, hashtags, or search queries. The system manages data

Velociraptor is a digital forensics and incident response platform, endpoint detection and response system, and visibility tool. It provides a query engine and remote forensic collector used to hunt for indicators of compromise and perform triage across a fleet of hosts. The system is distinguished by its specialized query language for interrogating host state and parsing binary files. It features a notebook environment that combines markdown documentation with executable query cells to standardize investigative workflows and enable collaborative reporting. The platform covers a wide range o

Inspektor Gadget is an eBPF observability toolset and program framework designed for tracing Linux systems and debugging Kubernetes nodes. It provides a suite of tools to collect kernel-level telemetry and export system metrics via the OpenTelemetry standard. The project distinguishes itself by packaging inspection tools as OCI-compliant container images, allowing for standardized distribution and deployment across clusters and hosts. It employs a modular data processing pipeline that utilizes WebAssembly modules to transform and filter telemetry, and leverages Compile Once Run Everywhere for