Awesome GitHub RepositoriesStatic Benchmark Datasets

This project is a computer vision benchmark and image classification dataset used to measure and compare the accuracy of machine learning models. It provides a standardized collection of labeled fashion product images and training data formatted to be compatible with the MNIST dataset structure. The dataset consists of fixed-dimension grayscale images and label-based category mappings, stored in a binary format. It includes pre-split training and testing sets and a static distribution to ensure consistent cross-model benchmarking. The repository supports image classification benchmarking and

OpenCC is a library and command-line tool for converting text between Simplified Chinese, Traditional Chinese, and Japanese Kanji. It operates at both the individual character and multi-character phrase levels, and applies region-specific vocabulary choices for Mainland China, Taiwan, and Hong Kong during conversion. The conversion engine resolves ambiguous character mappings using semantic and contextual rules, normalizes variant character forms for consistent orthography, and sequences multiple dictionary files into a configurable pipeline. It supports embedding custom conversion rules dire

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

OpenCompass is a comprehensive evaluation platform, benchmarking suite, and distributed model evaluator designed to measure the performance and accuracy of large language models. It provides a framework for benchmarking both open-source and API-based models against diverse datasets using standardized metrics and reproducible pipelines. The project features an automated judging framework that uses language models as judges to score and verify the quality of generated text. It includes a performance leaderboard system for comparing the relative capabilities of various models across industry-sta

Smile is a comprehensive JVM machine learning library and statistical computing toolkit. It provides a suite of algorithms for classification, regression, and clustering, implemented natively for Java, Scala, and Kotlin. The project also functions as a deep learning framework, a natural language processing library, and an inference engine for large language models. The library distinguishes itself through GPU acceleration via LibTorch bindings and support for the ONNX model interchange format. It includes specialized capabilities for large language model inference, featuring Byte-Pair Encodin

PyTorch Metric Learning is an open-source library for training neural networks to produce similarity-preserving embedding spaces. It provides a modular framework where interchangeable loss functions, mining strategies, and evaluation tools can be composed to learn representations that map similar items to nearby points and dissimilar items to distant points in the embedding space. The library distinguishes itself through a highly configurable architecture that separates concerns across several interchangeable components. Users can assemble custom loss functions from pluggable distance metrics

This is a PyTorch-based training pipeline designed for reproducible image classification benchmarking on the CIFAR-10 dataset. It integrates GPU-accelerated computation, data augmentation, learning rate scheduling, and checkpointing to produce consistent accuracy measurements across multiple ResNet architectures. The project distinguishes itself by providing a fixed-architecture benchmark suite that trains a predefined set of ResNet variants, from ResNet18 through ResNet152, on CIFAR-10. It implements a step-based learning rate decay schedule at predetermined epochs to stabilize convergence,

FARA is a visual computer-use agent model that controls a browser by predicting screen coordinates for clicking, typing, and scrolling, without relying on DOM or accessibility trees. It is designed to automate multi-step web tasks such as searching, form filling, booking, and shopping by reasoning over visual state and decomposing tasks into sequential actions. The model uses a compact 7-billion-parameter decoder-only transformer that can run on consumer GPUs for low-latency on-device inference, or be deployed as a managed endpoint on Azure Foundry for cloud-based inference without local infr

Anomalib is a PyTorch-based library for visual anomaly detection, offering a modular framework, a comprehensive model zoo, and a benchmarking suite designed for industrial defect detection. It provides a wide range of algorithms—including generative, discriminative, teacher-student, and vision-language approaches—that support unsupervised, few-shot, and zero-shot settings. The library enables deployment through model export to ONNX and OpenVINO for edge devices, and includes a no-code web application for training and inference. It also features a command-line interface for orchestrating multi

ann-benchmarks is a standardized benchmarking suite for evaluating approximate nearest neighbor (ANN) search algorithms. It provides a reproducible framework for comparing how different ANN implementations perform across multiple datasets and distance measures, using precomputed ground truth results stored in HDF5 files to ensure consistent accuracy measurements. The project wraps each ANN library behind a common Python interface, allowing algorithms to be swapped without modifying the benchmarking harness. It orchestrates parameter sweeps over algorithm-specific hyperparameters to generate f

seL4 is a formally verified microkernel whose C implementation is backed by machine-checked mathematical proofs of correctness, confidentiality, integrity, and availability. It enforces strict isolation between processes through hardware-enforced address space separation and a capability-based access control system, where each process holds explicit rights only to the resources it has been granted. The kernel exposes hardware resources through a minimal API of system calls that manage threads, address spaces, and inter-process communication, with synchronous IPC supporting sender-identifying b

rllm is an asynchronous reinforcement learning framework for training language agents. It provides a unified pipeline that runs the same agent code for both evaluation and training, automatically capturing traces for gradient computation. The framework supports distributed reinforcement learning across multiple GPUs and nodes using pluggable backends, and executes agents in isolated sandboxes—either locally or in the cloud—for safe and scalable rollout collection. It trains agents built with LangGraph, SmolAgents, OpenAI Agents SDK, or custom frameworks without requiring core logic changes. T

GluonTS هي مكتبة سلاسل زمنية احتمالية وإطار عمل للتنبؤ بالتعلم العميق. توفر مجموعة أدوات لبناء وتدريب وتقييم بنى الشبكات العصبية التي تتنبأ بالقيم المستقبلية كتوزيعات احتمالية لتحديد عدم اليقين. يتميز المشروع بدعم التنبؤ بدون تدريب مسبق (zero-shot) ودمج نهج نمذجة متنوعة، بما في ذلك الشبكات العصبية الاحتمالية العميقة وأغلفة للمكتبات الإحصائية الخارجية مثل Prophet و R forecast. ينفذ بدائيات معمارية متخصصة مثل الالتفافات السببية والشبكات المتبقية القابلة للعكس لمنع تسرب المعلومات وتعيين التمثيلات الكامنة في توزيعات احتمالية صالحة. يغطي إطار العمل سطح هندسة بيانات شاملاً، بما في ذلك توسيع السلاسل الزمنية، والتحويلات التقابلية، والنمذجة الهرمية. يستخدم Apache Arrow و Parquet لبث مجموعة البيانات عالي الأداء وإدارة الوصول العشوائي. لتقييم النموذج، يتضمن جناح تقييم لقياس دقة التنبؤ والتغطية الاحتمالية باستخدام مقاييس مثل خسارة الكمية ودرجات رتبة الاحتمال المستمرة. تدعم المكتبة نشر النموذج من خلال التكامل مع Amazon SageMaker.

UltraRAG is an LLM RAG orchestration platform and AI agent research framework designed to coordinate complex retrieval-augmented generation workflows. It functions as a multimodal RAG engine capable of retrieving and generating responses using text, images, and diverse data types, while providing tools for vector database management and RAG performance evaluation. The platform features a visual RAG pipeline builder that uses a canvas interface to construct and debug data flows, synchronizing visual designs directly with underlying code. It distinguishes itself through an autonomous research s

mmaction2 هو صندوق أدوات لفهم الفيديو لـ PyTorch مصمم لتدريب وتقييم نماذج التعلم العميق. يعمل كإطار عمل للتعرف على الإجراءات، والتوطين الزمني، واكتشاف الإجراءات الزمانية المكانية، ويوفر أدوات متخصصة لكل من تحليل الفيديو القائم على البكسل والتعرف على الإجراءات القائم على الهيكل العظمي. يتميز المشروع ببنية معيارية تتميز باكتشاف المكونات القائم على السجل وتجميع النماذج الهرمي القائم على التكوين. يدعم دمج الميزات متعدد الوسائط، ودمج إطارات RGB، والتدفق البصري، والصوت، ويتضمن إمكانيات لاسترجاع مقاطع الفيديو من النص وتنبؤ الفيديو بدون تدريب مسبق (Zero-shot). بشكل عام، يغطي إطار العمل هندسة مجموعات بيانات الفيديو، بما في ذلك توحيد التعليقات التوضيحية وأخذ عينات الإطارات، بالإضافة إلى تدريب وتقييم النماذج الشامل. يوفر أدوات للتدريب الموزع، وتقطير المعرفة، وتحسين الاستنتاج عبر إعادة معلمات النموذج. يدعم الكود المصدري تصدير نموذج ONNX وحاويات البيئة للنشر عبر عقد حوسبة مختلفة.

هذا المشروع عبارة عن إطار عمل PyTorch لإعادة تحديد هوية الأشخاص مصمم لتدريب وتقييم النماذج التي تحدد الأفراد عبر مشاهد كاميرا مختلفة. يوفر خط أنابيب تدريب نموذج كامل، ومستخرج ميزات تعلم عميق لتحويل الصور إلى متجهات رقمية، ومجموعة من أدوات قياس الرؤية الحاسوبية لقياس دقة استرجاع الهوية. يتضمن إطار العمل مجموعة أدوات تعلم نقل متخصصة تدعم تجميد الطبقات، وتحسين معدل التعلم المرحلي، ومعدلات تعلم تفاضلية لضبط النماذج المدربة مسبقاً. يتميز بمحرك قابل للتوسيع يسمح بتطوير منطق تدريب مخصص وتنفيذ أهداف تحسين محددة مثل تعدين خسارة الثلاثي للعينة الصعبة وتنعيم التسميات. يغطي النظام إدارة شاملة لمجموعات البيانات، بما في ذلك دعم المعايير القياسية، وأخذ عينات الدفعات المتوازنة، وتعزيز الصور. يوفر أدوات تقييم لحساب رتب الاسترجاع ومسافات الميزات، بالإضافة إلى أدوات تصور لتوليد خرائط حرارة التنشيط ومعارض الاسترجاع المصنفة. تم تنفيذ المشروع بلغة Python ويستفيد من PyTorch لعمليات التعلم العميق الخاصة به.

Linfa هو إطار عمل لتعلم الآلة الكلاسيكي ومجموعة تعلم إحصائي تم تنفيذها بلغة Rust. توفر المجموعة مجموعة من الخوارزميات للتعلم الخاضع للإشراف وغير الخاضع للإشراف، مع التركيز على الأساليب الإحصائية التقليدية مثل الانحدار، والتجميع، وأشجار القرار. تتميز مجموعة الأدوات بقدرتها على التجميع في WebAssembly، مما يتيح تنفيذ النماذج التحليلية داخل بيئات المتصفح. تستخدم المجموعة واجهة خوارزمية قائمة على السمات (trait-based) لتوحيد عملية التدريب والتنبؤ عبر نماذجها المختلفة. تغطي المكتبة مجموعة واسعة من الإمكانيات، بما في ذلك التصنيف الخاضع للإشراف وانحدار القيم المستمرة. توفر المكتبة التجميع غير الخاضع للإشراف، وطرق التجميع (ensemble) لتجميع النماذج، ومعالجة الإشارات من خلال تحليل المكونات المستقلة. تتضمن المجموعة أيضاً أدوات واسعة النطاق لمعالجة البيانات مسبقاً لتطبيع الميزات، وتجهيز النصوص، وتقليل الأبعاد باستخدام PCA و t-SNE. يتم توفير أدوات إضافية لإدارة البيانات، بما في ذلك استيراد CSV وتوليد مجموعات البيانات الاصطناعية، بالإضافة إلى أدوات تقييم النماذج مثل مصفوفات الارتباك ومقاييس التحقق المتبادل.

RecBole هو إطار عمل توصية يعتمد على PyTorch مصمم لبناء وتدريب وتقييم مجموعة واسعة من خوارزميات التوصية. يعمل كبيئة قياسية للمقارنة تسمح بمقارنة بنى النماذج المختلفة باستخدام مجموعات البيانات العامة ومقاييس التقييم المتسقة. يوفر المشروع مجموعات أدوات متخصصة للتوصية المتسلسلة وتكامل الرسوم البيانية المعرفية، مما يتيح التنبؤ بتسلسلات العناصر بناءً على سجل المستخدم أو دمج المعرفة الخارجية المهيكلة. ويتضمن محركاً مخصصاً لتحسين المعلمات الفائقة يستخدم البحث الشبكي والتحسين البايزي لضبط تكوينات النموذج. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك إدارة البيانات لتوحيد سجلات التفاعل، وخطوط أنابيب التدريب مع مزامنة التدرج الموزعة والتنفيذ المختلط الدقة، وأدوات تقييم شاملة لترتيب المرشحين وتحليل التنوع. ويدعم أنواع توصية متعددة، مثل التصفية التعاونية العامة والتنبؤ بمعدل النقر. تم تنفيذ المكتبة بلغة Python وتستخدم PyTorch لإطار عمل التوصية الأساسي الخاص بها.

llm-numbers هي مجموعة من أدوات الحساب والمعايير المستخدمة للتنبؤ بمتطلبات الأجهزة، واستخدام الرموز، والتكاليف التشغيلية عبر مستويات النماذج المختلفة. توفر حاسبة للتكلفة والموارد بناءً على صيغ ومعايير لتقدير الرموز، وذاكرة GPU، والنفقات التشغيلية لنماذج اللغة الكبيرة. يتضمن المشروع مخططاً لمتطلبات الأجهزة لحساب VRAM وذاكرة GPU اللازمة لاستضافة النماذج بناءً على عدد المعلمات. كما يتميز بمقدر للرموز يحول عدد الكلمات إلى تقديرات رموز للتنبؤ بفواتير واجهة برمجة التطبيقات واستخدام نافذة السياق، إلى جانب معايير التسعير التي تقارن التكاليف ومقايضات الإنتاجية بين طرق الاستضافة المختلفة. تغطي مجموعة الأدوات قياس أداء نماذج الذكاء الاصطناعي وتوقعات التكلفة، وتخطيط موارد GPU، وتحليل الأداء لقياس مكاسب الإنتاجية من التجميع (batching). تستخدم صيغاً حتمية ومجموعات بيانات معيارية ثابتة لتعيين المعلمات إلى الذاكرة وحساب نسب التكلفة والعائد بين النماذج الأساسية والضبط الدقيق.

SWE-bench is an automated evaluation framework that tests large language models on real-world software engineering tasks. It measures how effectively models can generate and apply code patches that resolve actual GitHub issues, using a standardized dataset and scoring system built around Docker-based patch verification against original project test suites. The framework provides curated benchmark datasets spanning comprehensive, fast, verified, multilingual, and multimodal evaluation splits, allowing targeted assessment of model capabilities across different programming languages and issue ty