Awesome GitHub RepositoriesMulti-Threaded Batch Processing

Pentaho Kettle هو منصة مؤسسية لدمج البيانات (ETL) مصممة لاستخراج وتحويل وتحميل البيانات بين المصادر المتباينة وقواعد البيانات المستهدفة. يعمل كمنظم قائم على البيانات الوصفية يستخدم مصمماً مرئياً لسير العمل لإنشاء وإدارة تسلسلات معقدة من مهام البيانات وخطوط أنابيب التحويل. يتميز النظام بمحرك معالجة بيانات موزع، يقوم بتنفيذ أعباء العمل عبر مجموعات من عقد الخادم لزيادة الإنتاجية. يستخدم بنية قائمة على الإضافات، مما يسمح بتوسيع المنصة عبر ملفات JAR خارجية لتوفير الاتصال بقواعد بيانات وخدمات سحابية متنوعة. تغطي المنصة مجموعة واسعة من قدرات دمج البيانات، بما في ذلك التحميل بالجملة، وإدارة الملفات عن بُعد، وتحويل هيكل البيانات. توفر أدوات للتحقق من جودة البيانات، وأتمتة خطوط الأنابيب، وإدارة دورة حياة الوظائف، إلى جانب أدوات مراقبة لتتبع صحة الخادم وحالة التنفيذ في الوقت الفعلي.

ClamAV is an open-source antivirus engine and malware detection scanner. It identifies trojans, viruses, and other malicious software by scanning files and data streams against a database of known signatures. The system functions as a signature-based threat detector, allowing for the implementation of threat intelligence by turning malware samples into actionable signatures. It supports the creation of custom malware signatures to identify specific or specialized security threats. The engine provides capabilities for endpoint security monitoring and comprehensive malware detection scanning a

This project is a proxy aggregation platform designed to collect and verify free proxy server lists from web platforms, social media, and public repositories. It functions as a crawler framework that gathers proxy data and subscription links, a validation tool for testing server liveness, and a synchronization service for distributing the results. The system uses a plugin-based architecture that allows for the integration of custom Python scripts to handle diverse web source structures. It also includes utilities to transform raw proxy data into standardized configuration formats compatible w

Cppcheck هو أداة تحليل ثابت ومُدقق (linter) لكود C وC++ المصدري مصمم لاكتشاف أخطاء البرمجة، وتسريبات الذاكرة، وانتهاكات الأمان دون تنفيذ البرنامج. يعمل كمحرك لاكتشاف الأخطاء وأداة لضمان الجودة لتحديد مشكلات التزامن، وأخطاء تحويل النوع، والامتثال لمعايير البرمجة الآمنة. يوفر المشروع واجهة مستخدم رسومية لاختيار الملفات ومراجعة الأخطاء، إلى جانب مُدقق لفرض اصطلاحات التسمية ومعايير البرمجة. يدعم إنشاء قواعد تحليل مخصصة باستخدام التعبيرات النمطية لتحديد أنماط برمجة محددة. تتضمن الأداة قدرات للتحليل التزايدي، وقمع التحذيرات، واستبعاد الملفات لإدارة قواعد الكود الكبيرة. كما تتميز بإنشاء تقارير HTML والتكامل مع محررات مثل VS Code لتوفير تحديد الأخطاء أثناء التطوير.

Caesium is an image compression tool that reduces file sizes for JPG, PNG, WebP, and TIFF images while preserving visual quality and metadata. It operates as a cross-platform desktop application with a graphical interface, a command-line tool for scripting and automation, and a web-based interface for browser uploads, all supporting batch processing of multiple images at once. The tool distinguishes itself by offering multiple interaction modes — desktop, terminal, and web — each capable of handling the same core compression tasks. It preserves folder structure when saving compressed images,

Grobid هو نظام تعلم آلي مصمم لتحويل المنشورات العلمية والأكاديمية بتنسيق PDF إلى XML مهيكل. يعمل كمحلل PDF إلى XML ومستخرج للبيانات الوصفية العلمية، حيث يحدد ويطبع العناوين، والمؤلفين، والانتماءات، والمراجع الببليوغرافية من الأوراق البحثية. يستخدم النظام مقسماً للمستندات يعتمد على التعلم العميق لتقسيم ملفات PDF الخام إلى مناطق وظيفية، ويستخدم محللاً للمراجع الببليوغرافية لمطابقة الاستشهادات مقابل سجلات خارجية لإثراء البيانات الوصفية وحل معرفات DOI. يدعم خط أنابيب تدريب نموذج تعلم آلي كامل، مما يسمح بإنشاء مجموعات تدريب مشروحة، وإعادة تدريب النماذج، وتصدير ثنائيات النماذج. يغطي المشروع مجموعة واسعة من قدرات الاستخراج، بما في ذلك تحليل ترويسة المستند، وهيكلة نص الجسم الكامل، وتحديد الكيانات الخاصة بالمجال مثل معلومات التمويل واستشهادات براءات الاختراع. كما يوفر أدوات تحليل مكاني لاستخراج مربعات الإحاطة ورسم خرائط الإحداثيات لمزامنة التسميات الدلالية مع تخطيط PDF الأصلي. يمكن نشر التطبيق عبر صور حاويات (containerized) ويتضمن أدوات سطر أوامر لمعالجة الدفعات متعددة الخيوط لمجموعات المستندات الكبيرة.

Crawler4j هو زاحف ويب (web crawler) متعدد الخيوط بلغة Java مصمم للزحف إلى الويب واستخراج المحتوى بأحجام كبيرة. يعمل كإطار عمل للزحف المهذب الذي يتيح اكتشاف وفهرسة محتوى HTML والمحتوى الثنائي عبر مواقع ويب متعددة. يتميز المشروع بنموذج زحف مستمر يقوم بتسلسل حالة الجلسة إلى التخزين المحلي، مما يسمح للمحرك باستئناف الفهرسة بعد حدوث عطل أو انقطاع. يتضمن وحدة تحكم في التهذيب لتنظيم تكرار الطلبات والتأخيرات، مما يمنع تحميل الخادم بشكل زائد وحظر عنوان IP. يغطي النظام مجموعة واسعة من قدرات الزحف، بما في ذلك إدارة النطاق المحدود بالعمق، وتصفية الأهداف، واعتراض الطلبات لوكلاء المستخدم المخصصين وتوجيه الوكيل (proxy). تتم إدارة تخزين البيانات عبر نمط المستودع (repository pattern) الذي يفصل منطق الزحف عن استمرارية بيانات تعريف الصفحة في قواعد البيانات العلائقية.

SDRangel is a comprehensive software-defined radio suite and digital signal processing framework. It functions as an RF spectrum analyzer and modular radio demodulator, providing a unified hardware abstraction layer to connect various radio devices to software processing pipelines for data acquisition and transmission. The platform is distinguished by its modular architecture, which uses a data-flow graph of dynamic libraries to construct signal processing chains. This allows for a plugin-based environment where users can extract audio and digital data from raw radio signals using various mod

VidGear is a high-performance Python video processing framework designed for capturing, transcoding, and manipulating video streams. It functions as a multi-protocol video streamer and a WebRTC streaming server, enabling the transfer of video frames over networks using RTSP, RTMP, RTP, and MJPEG protocols. The project distinguishes itself through hardware-accelerated video transcoding and decoding using GPU backends like CUDA to reduce CPU load. It includes a cross-platform screen capture tool and a specialized system for establishing direct peer-to-peer media connections using WebRTC signali

هذه المكتبة هي أداة قائمة على Java لفرض قيود هيكل البيانات والتحقق من التنسيقات التقنية مقابل مواصفات المخطط المحددة. تعمل كأداة معالجة تقوم بتحليل هياكل البيانات المعقدة مع إدارة مراجع المخطط الخارجية والتبعيات الدائرية. يتميز المحرك بتصميم معالج غير قابل للتغيير (immutable) يتيح تحققاً متزامناً وآمناً للخيوط (thread-safe) دون الحاجة إلى مزامنة خارجية. يستخدم الحساب عالي الدقة لتقييم القيود الرقمية، مما يمنع أخطاء تقريب الفاصلة العائمة الشائعة، ويستخدم معالجة على مستوى الأحرف لضمان التحقق من السلاسل النصية الواعية بـ Unicode للرموز المعقدة. يمكن للمطورين توسيع خط الأنابيب الأساسي عن طريق تسجيل كلمات رئيسية مخصصة ومعالجات تنسيق لتنفيذ منطق أعمال متخصص. يوفر المشروع إدارة شاملة للمخطط، بما في ذلك فحص الامتثال الهيكلي مقابل المخططات الوصفية، ودقة التبعية القائمة على URI، وتحميل المخطط القابل للتكوين. يدعم تقارير الأخطاء المفصلة التي تستمر في التحقق عبر العناصر الفرعية حتى بعد فشل العناصر الأصلية، ويتضمن واجهة سطر أوامر للتحقق من البيانات المستندة إلى الطرفية.

This project is a procedural content generation framework and three-dimensional mesh generation library designed for the Unity game engine. It provides a system for automating the creation of complex landscapes and natural environments by programmatically constructing geometric terrain surfaces and heightmaps. The generator utilizes layered noise functions to calculate elevation values, which are then translated into terrain geometry. To maintain performance during real-time rendering, the system employs chunk-based mesh generation and dynamic level-of-detail management, which adjusts geometr