Awesome GitHub RepositoriesCollection Post-processing

xmltodict is a Python library that provides bidirectional serialization between XML documents and dictionaries. It functions as a parser that converts marked-up input into key-value pairs and a serialization utility that transforms dictionaries back into structured XML documents. The project includes an incremental stream processor that uses depth-based callbacks to handle large XML files while maintaining constant memory usage. It features a namespace manager for mapping prefixes and declarations, as well as a security sanitizer that blocks external entity expansion and validates element nam

Fluvio este o platformă distribuită de streaming de evenimente și un motor de streaming cloud-native conceput pentru colectarea, persistența și replicarea fluxurilor de date în timp real într-un cluster distribuit. Funcționează ca un pipeline de date în timp real pentru construirea fluxurilor de lucru cu stare care ingerează, îmbogățesc și exportă date între surse și destinații externe. Platforma se distinge prin utilizarea WebAssembly pentru a executa module compilate pentru transformări și filtrare de date în linie. Acest lucru permite execuția logicii de business personalizate pentru a remodela informațiile în mișcare fără a necesita o repornire a clusterului. Sistemul acoperă o gamă largă de capabilități, inclusiv ingestia de date bazată pe conectori din protocoale externe, stocare imutabilă structurată pe log-uri cu IO de tip zero-copy și scalarea orizontală a clusterului. Suportă crearea de pipeline-uri complexe bazate pe evenimente care utilizează procesarea cu stare, agregări pe ferestre și distribuția datelor bazată pe partiții. Motorul poate fi implementat ca un binar ușor pe diverse arhitecturi de sistem, inclusiv dispozitive IoT ARM64 pentru procesarea datelor la margine (edge).

Weibospider este un crawler web distribuit conceput pentru a extrage postări, profiluri și date de interacțiune din rețeaua socială Weibo. Acesta funcționează ca un extractor de date din social media care utilizează o coadă de sarcini distribuită pentru a scala operațiunile de scraping pe mai multe noduri de lucru. Sistemul include o interfață administrativă grafică pentru configurarea setărilor crawler-ului, a identificatorilor utilizatorilor țintă și a cuvintelor cheie de căutare. Utilizează o arhitectură distribuită pentru a crește throughput-ul datelor și a gestiona colectarea la scară largă a conținutului din social media. Instrumentul acoperă o gamă largă de capabilități de colectare a datelor, inclusiv recoltarea profilurilor utilizatorilor, extragerea căutărilor bazate pe cuvinte cheie și maparea grafurilor sociale prin liste de urmăritori, comentarii și repostări. De asemenea, dispune de mecanisme pentru reglarea ratei cererilor, rotația conturilor și automatizarea sarcinilor recurente pentru a menține persistența sesiunii și colectarea continuă a datelor.

Acest proiect este un scraper web pentru Sina Weibo și un pipeline de date pentru social media, conceput pentru a extrage profiluri de utilizatori, postări, comentarii și active multimedia. Acesta funcționează ca un crawler de date containerizat care automatizează colectarea și stocarea locală a conținutului de social media și a metricilor de engagement. Sistemul include un strat de procesare care utilizează modele de limbaj mari (LLM) pentru a analiza textul extras, generând rezumate și analize de sentiment. Se diferențiază printr-un model de container gata de deployment, care dispune de o interfață HTTP pentru gestionarea sarcinilor de extracție și monitorizarea progresului joburilor. Crawler-ul acoperă o gamă largă de capabilități, inclusiv monitorizarea social media prin actualizări incrementale programate, arhivarea activelor multimedia pe discuri locale și exportul de date în formate multiple către fișiere plate sau baze de date. De asemenea, captează interacțiuni sociale detaliate, cum ar fi comentariile de prim nivel și repostările.

WeiboSpider is a social media scraper designed to extract user profiles, posts, and interaction data from the Sina Weibo platform. It functions as a web-based data crawler that retrieves information via external interfaces rather than parsing the visual frontend. The tool includes a content lineage tracer to follow shared posts back to their original sources. It also features a social engagement analyzer to collect view counts and nested comment threads to measure user interaction metrics. The system provides capabilities for keyword-based social monitoring and search result filtering to tra

Acest proiect este un scraper web neautentificat, conceput pentru a extrage date publice din API-ul frontend Twitter. Acesta funcționează ca un extractor de date din rețelele sociale care simulează cereri de browser pentru a colecta informații fără a fi nevoie de chei API oficiale sau autentificarea contului de utilizator. Instrumentul oferă capabilități pentru colectarea postărilor publice, recoltarea metadatelor profilurilor de utilizator (cum ar fi biografii și locații) și preluarea subiectelor în tendințe (trending topics) clasificate pe regiuni geografice. Poate efectua scraping de conținut vizat pe baza unor nume de utilizator, hashtag-uri sau interogări de căutare specifice. Sistemul gestionează colectarea datelor prin paginare, emularea clientului bazată pe headere pentru a imita browserele web și parsarea răspunsurilor JSON structurate din endpoint-uri publice.

Velociraptor is a digital forensics and incident response platform, endpoint detection and response system, and visibility tool. It provides a query engine and remote forensic collector used to hunt for indicators of compromise and perform triage across a fleet of hosts. The system is distinguished by its specialized query language for interrogating host state and parsing binary files. It features a notebook environment that combines markdown documentation with executable query cells to standardize investigative workflows and enable collaborative reporting. The platform covers a wide range o

Inspektor Gadget is an eBPF observability toolset and program framework designed for tracing Linux systems and debugging Kubernetes nodes. It provides a suite of tools to collect kernel-level telemetry and export system metrics via the OpenTelemetry standard. The project distinguishes itself by packaging inspection tools as OCI-compliant container images, allowing for standardized distribution and deployment across clusters and hosts. It employs a modular data processing pipeline that utilizes WebAssembly modules to transform and filter telemetry, and leverages Compile Once Run Everywhere for