Awesome GitHub RepositoriesMulti-Threaded Batch Processing

Pentaho Kettle este o platformă enterprise de integrare a datelor ETL, concepută pentru a extrage, transforma și încărca date între surse disparate și baze de date țintă. Funcționează ca un orchestrator bazat pe metadate care utilizează un designer vizual de flux de lucru pentru a crea și gestiona secvențe complexe de sarcini de date și pipeline-uri de transformare. Sistemul se distinge prin motorul său de procesare distribuită a datelor, care execută sarcinile de lucru pe clustere de noduri de server pentru a crește throughput-ul. Utilizează o arhitectură bazată pe plugin-uri, permițând extinderea platformei prin fișiere JAR externe pentru a oferi conectivitate către diverse baze de date și servicii cloud. Platforma acoperă o gamă largă de capabilități de integrare a datelor, inclusiv încărcarea în masă, gestionarea fișierelor la distanță și transformarea structurii datelor. Oferă instrumente pentru validarea calității datelor, automatizarea pipeline-urilor și gestionarea ciclului de viață al joburilor, alături de utilitare de monitorizare pentru urmărirea stării de sănătate a serverului și a stării de execuție în timp real.

ClamAV is an open-source antivirus engine and malware detection scanner. It identifies trojans, viruses, and other malicious software by scanning files and data streams against a database of known signatures. The system functions as a signature-based threat detector, allowing for the implementation of threat intelligence by turning malware samples into actionable signatures. It supports the creation of custom malware signatures to identify specific or specialized security threats. The engine provides capabilities for endpoint security monitoring and comprehensive malware detection scanning a

This project is a proxy aggregation platform designed to collect and verify free proxy server lists from web platforms, social media, and public repositories. It functions as a crawler framework that gathers proxy data and subscription links, a validation tool for testing server liveness, and a synchronization service for distributing the results. The system uses a plugin-based architecture that allows for the integration of custom Python scripts to handle diverse web source structures. It also includes utilities to transform raw proxy data into standardized configuration formats compatible w

Cppcheck este un instrument de analiză statică și linter pentru codul sursă C și C++, conceput pentru a detecta erori de programare, scurgeri de memorie și încălcări de securitate fără a executa programul. Funcționează ca un motor de detectare a bug-urilor și instrument de asigurare a calității pentru a identifica probleme de concurență, erori de tip cast și conformitatea cu standardele de codare securizată. Proiectul oferă o interfață grafică pentru selectarea fișierelor și revizuirea erorilor, alături de un linter pentru impunerea convențiilor de denumire și a standardelor de codare. Susține crearea de reguli de analiză personalizate folosind expresii regulate pentru a identifica tipare specifice de codare. Instrumentul include capabilități pentru analiză incrementală, suprimarea avertismentelor și excluderea fișierelor pentru a gestiona codebase-uri mari. De asemenea, oferă generare de rapoarte HTML și integrare cu editoare precum VS Code pentru a oferi identificarea erorilor în timpul dezvoltării.

Caesium is an image compression tool that reduces file sizes for JPG, PNG, WebP, and TIFF images while preserving visual quality and metadata. It operates as a cross-platform desktop application with a graphical interface, a command-line tool for scripting and automation, and a web-based interface for browser uploads, all supporting batch processing of multiple images at once. The tool distinguishes itself by offering multiple interaction modes — desktop, terminal, and web — each capable of handling the same core compression tasks. It preserves folder structure when saving compressed images,

Grobid este un sistem de machine learning conceput pentru a transforma publicațiile PDF academice și științifice în XML structurat. Funcționează ca un parser de PDF în XML și extractor de metadate științifice, identificând și normalizând titlurile, autorii, afilierile și referințele bibliografice din lucrările de cercetare. Sistemul utilizează un segmentator de documente deep learning pentru a împărți PDF-urile brute în regiuni funcționale și folosește un rezolvator de referințe bibliografice pentru a potrivi citările cu registre externe pentru îmbogățirea metadatelor și rezoluția DOI. Suportă un pipeline complet de antrenare a modelelor de machine learning, permițând generarea de corpusuri de antrenare adnotate, reantrenarea modelelor și exportul binarilor de model. Proiectul acoperă o gamă largă de capabilități de extracție, inclusiv parsarea antetelor documentelor, structurarea corpului textului complet și identificarea entităților specifice domeniului, cum ar fi informațiile de finanțare și citările de brevete. De asemenea, oferă instrumente de analiză spațială pentru extracția bounding box-urilor și maparea coordonatelor pentru a sincroniza etichetele semantice cu layout-ul PDF original. Aplicația poate fi implementată prin imagini containerizate și include utilitare CLI pentru procesarea batch multi-threaded a unor colecții mari de documente.

Crawler4j is a multi-threaded Java web crawler and spider designed for high-volume web traversal and content extraction. It functions as a polite crawling framework that enables the discovery and indexing of HTML and binary content across multiple websites. The project distinguishes itself through a persistent crawling model that serializes session state to local storage, allowing the engine to resume indexing after a crash or interruption. It includes a politeness controller to regulate request frequency and delays, preventing server overloading and IP blocking. The system covers a broad ra

SDRangel is a comprehensive software-defined radio suite and digital signal processing framework. It functions as an RF spectrum analyzer and modular radio demodulator, providing a unified hardware abstraction layer to connect various radio devices to software processing pipelines for data acquisition and transmission. The platform is distinguished by its modular architecture, which uses a data-flow graph of dynamic libraries to construct signal processing chains. This allows for a plugin-based environment where users can extract audio and digital data from raw radio signals using various mod

VidGear is a high-performance Python video processing framework designed for capturing, transcoding, and manipulating video streams. It functions as a multi-protocol video streamer and a WebRTC streaming server, enabling the transfer of video frames over networks using RTSP, RTMP, RTP, and MJPEG protocols. The project distinguishes itself through hardware-accelerated video transcoding and decoding using GPU backends like CUDA to reduce CPU load. It includes a cross-platform screen capture tool and a specialized system for establishing direct peer-to-peer media connections using WebRTC signali

Această bibliotecă este un instrument bazat pe Java pentru impunerea constrângerilor structurilor de date și verificarea formatelor tehnice în raport cu specificațiile de schemă definite. Funcționează ca un utilitar de procesare care parsează structuri de date complexe în timp ce gestionează referințele externe de schemă și dependențele circulare. Motorul se distinge printr-un design de procesor imuabil care permite validarea concurentă, thread-safe, fără a necesita sincronizare externă. Utilizează aritmetica cu precizie arbitrară pentru a evalua constrângerile numerice, prevenind erorile comune de rotunjire în virgulă mobilă, și utilizează procesarea la nivel de caracter pentru a asigura validarea string-urilor conștientă de Unicode pentru simboluri complexe. Dezvoltatorii pot extinde pipeline-ul de bază prin înregistrarea de cuvinte cheie personalizate și handler-e de format pentru a implementa logica de business specializată. Proiectul oferă o gestionare cuprinzătoare a schemelor, inclusiv verificarea conformității structurale în raport cu meta-schemele, rezoluția dependențelor bazată pe URI și încărcarea configurabilă a schemelor. Suportă raportarea detaliată a erorilor care continuă validarea pe elementele copil chiar și după eșecurile părinților și include o interfață de linie de comandă pentru verificarea datelor din terminal.

This project is a procedural content generation framework and three-dimensional mesh generation library designed for the Unity game engine. It provides a system for automating the creation of complex landscapes and natural environments by programmatically constructing geometric terrain surfaces and heightmaps. The generator utilizes layered noise functions to calculate elevation values, which are then translated into terrain geometry. To maintain performance during real-time rendering, the system employs chunk-based mesh generation and dynamic level-of-detail management, which adjusts geometr