Awesome GitHub RepositoriesCollection Post-processing

xmltodict es una librería de Python que proporciona serialización bidireccional entre documentos XML y diccionarios. Funciona como un analizador (parser) que convierte entradas marcadas en pares clave-valor y como una utilidad de serialización que transforma diccionarios de nuevo en documentos XML estructurados. El proyecto incluye un procesador de flujo incremental que utiliza callbacks basados en profundidad para manejar archivos XML grandes manteniendo un uso de memoria constante. Cuenta con un gestor de espacios de nombres (namespaces) para asignar prefijos y declaraciones, así como un sanitizador de seguridad que bloquea la expansión de entidades externas y valida nombres de elementos para prevenir ataques de inyección. La librería proporciona capacidades para la aplicación de tipos de datos, como forzar que elementos específicos se representen como listas independientemente del número de hijos. También admite el post-procesamiento de datos a través de callbacks definidos por el usuario y ofrece controles configurables para expandir, colapsar u omitir espacios de nombres durante el proceso de conversión.

Fluvio es una plataforma de streaming de eventos distribuida y motor de streaming nativo de la nube, diseñado para recopilar, persistir y replicar flujos de datos en tiempo real a través de un clúster distribuido. Funciona como un pipeline de datos en tiempo real para construir flujos de trabajo con estado que ingieren, enriquecen y exportan datos entre fuentes y destinos externos. La plataforma se distingue por su uso de WebAssembly para ejecutar módulos compilados para transformaciones y filtrado de datos en línea. Esto permite la ejecución de lógica de negocio personalizada para remodelar la información en movimiento sin requerir un reinicio del clúster. El sistema cubre una amplia gama de capacidades, incluyendo ingesta de datos basada en conectores desde protocolos externos, almacenamiento inmutable estructurado en registros con E/S de copia cero y escalado horizontal del clúster. Admite la creación de pipelines complejos basados en eventos que utilizan procesamiento con estado, agregaciones en ventanas y distribución de datos basada en particiones. El motor puede desplegarse como un binario ligero en diversas arquitecturas de sistema, incluyendo dispositivos IoT ARM64 para procesamiento de datos en el borde (edge).

Weibospider es un crawler web distribuido diseñado para extraer publicaciones, perfiles y datos de interacción de la red social Weibo. Funciona como un extractor de datos de redes sociales que utiliza una cola de tareas distribuida para escalar las operaciones de scraping a través de múltiples nodos de trabajo. El sistema incluye una interfaz administrativa gráfica para configurar los ajustes del crawler, identificadores de usuario de destino y palabras clave de búsqueda. Emplea una arquitectura distribuida para aumentar el rendimiento de los datos y gestionar la recopilación a gran escala de contenido de redes sociales. La herramienta cubre una amplia gama de capacidades de recopilación de datos, incluyendo la recolección de perfiles de usuario, extracción de búsqueda basada en palabras clave y el mapeo de grafos sociales a través de listas de seguidores, comentarios y reposts. También cuenta con mecanismos para la regulación de la tasa de solicitudes, rotación de cuentas y automatización de tareas recurrentes para mantener la persistencia de la sesión y la recopilación continua de datos.

Este proyecto es un scraper web de Sina Weibo y una tubería de datos de redes sociales diseñada para extraer perfiles de usuario, publicaciones, comentarios y activos multimedia. Funciona como un crawler de datos contenedorizado que automatiza la recopilación y el almacenamiento local de contenido de redes sociales y métricas de interacción. El sistema incluye una capa de procesamiento que utiliza modelos de lenguaje de gran tamaño (LLM) para analizar el texto extraído, generando resúmenes y análisis de sentimiento. Se diferencia por un modelo de contenedor listo para el despliegue que cuenta con una interfaz HTTP para gestionar tareas de extracción y monitorear el progreso de los trabajos. El crawler cubre una amplia gama de capacidades, incluyendo el monitoreo de redes sociales mediante actualizaciones incrementales programadas, el archivo de activos multimedia en discos locales y la exportación de datos en múltiples formatos a archivos planos o bases de datos. También captura interacciones sociales detalladas, como comentarios de primer nivel y republicaciones.

WeiboSpider es un scraper de redes sociales diseñado para extraer perfiles de usuario, publicaciones y datos de interacción de la plataforma Sina Weibo. Funciona como un crawler de datos basado en web que recupera información a través de interfaces externas en lugar de analizar el frontend visual. La herramienta incluye un rastreador de linaje de contenido para seguir publicaciones compartidas hasta sus fuentes originales. También cuenta con un analizador de engagement social para recopilar conteos de visualizaciones e hilos de comentarios anidados para medir métricas de interacción del usuario. El sistema proporciona capacidades para el monitoreo social basado en palabras clave y filtrado de resultados de búsqueda para rastrear temas específicos a lo largo del tiempo. Gestiona grandes conjuntos de datos mediante iteración basada en paginación y recorrido recursivo de hilos de interacción.

Este proyecto es un scraper web no autenticado diseñado para extraer datos públicos de la API frontend de Twitter. Funciona como un extractor de datos de redes sociales que simula solicitudes de navegador para recopilar información sin necesidad de claves de API oficiales o autenticación de cuenta de usuario. La herramienta proporciona capacidades para recopilar publicaciones públicas, recolectar metadatos de perfiles de usuario como biografías y ubicaciones, y recuperar temas de tendencia categorizados por región geográfica. Puede realizar scraping de contenido dirigido basado en nombres de usuario, hashtags o consultas de búsqueda específicas. El sistema gestiona la recolección de datos a través de paginación, emulación de cliente basada en cabeceras para imitar navegadores web y el análisis de respuestas JSON estructuradas desde endpoints públicos.

Velociraptor is a digital forensics and incident response platform, endpoint detection and response system, and visibility tool. It provides a query engine and remote forensic collector used to hunt for indicators of compromise and perform triage across a fleet of hosts. The system is distinguished by its specialized query language for interrogating host state and parsing binary files. It features a notebook environment that combines markdown documentation with executable query cells to standardize investigative workflows and enable collaborative reporting. The platform covers a wide range o

Inspektor Gadget is an eBPF observability toolset and program framework designed for tracing Linux systems and debugging Kubernetes nodes. It provides a suite of tools to collect kernel-level telemetry and export system metrics via the OpenTelemetry standard. The project distinguishes itself by packaging inspection tools as OCI-compliant container images, allowing for standardized distribution and deployment across clusters and hosts. It employs a modular data processing pipeline that utilizes WebAssembly modules to transform and filter telemetry, and leverages Compile Once Run Everywhere for