Awesome GitHub RepositoriesStatic Benchmark Datasets

This project is a computer vision benchmark and image classification dataset used to measure and compare the accuracy of machine learning models. It provides a standardized collection of labeled fashion product images and training data formatted to be compatible with the MNIST dataset structure. The dataset consists of fixed-dimension grayscale images and label-based category mappings, stored in a binary format. It includes pre-split training and testing sets and a static distribution to ensure consistent cross-model benchmarking. The repository supports image classification benchmarking and

OpenCC is a library and command-line tool for converting text between Simplified Chinese, Traditional Chinese, and Japanese Kanji. It operates at both the individual character and multi-character phrase levels, and applies region-specific vocabulary choices for Mainland China, Taiwan, and Hong Kong during conversion. The conversion engine resolves ambiguous character mappings using semantic and contextual rules, normalizes variant character forms for consistent orthography, and sequences multiple dictionary files into a configurable pipeline. It supports embedding custom conversion rules dire

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

OpenCompass is a comprehensive evaluation platform, benchmarking suite, and distributed model evaluator designed to measure the performance and accuracy of large language models. It provides a framework for benchmarking both open-source and API-based models against diverse datasets using standardized metrics and reproducible pipelines. The project features an automated judging framework that uses language models as judges to score and verify the quality of generated text. It includes a performance leaderboard system for comparing the relative capabilities of various models across industry-sta

Smile is a comprehensive JVM machine learning library and statistical computing toolkit. It provides a suite of algorithms for classification, regression, and clustering, implemented natively for Java, Scala, and Kotlin. The project also functions as a deep learning framework, a natural language processing library, and an inference engine for large language models. The library distinguishes itself through GPU acceleration via LibTorch bindings and support for the ONNX model interchange format. It includes specialized capabilities for large language model inference, featuring Byte-Pair Encodin

PyTorch Metric Learning is an open-source library for training neural networks to produce similarity-preserving embedding spaces. It provides a modular framework where interchangeable loss functions, mining strategies, and evaluation tools can be composed to learn representations that map similar items to nearby points and dissimilar items to distant points in the embedding space. The library distinguishes itself through a highly configurable architecture that separates concerns across several interchangeable components. Users can assemble custom loss functions from pluggable distance metrics

This is a PyTorch-based training pipeline designed for reproducible image classification benchmarking on the CIFAR-10 dataset. It integrates GPU-accelerated computation, data augmentation, learning rate scheduling, and checkpointing to produce consistent accuracy measurements across multiple ResNet architectures. The project distinguishes itself by providing a fixed-architecture benchmark suite that trains a predefined set of ResNet variants, from ResNet18 through ResNet152, on CIFAR-10. It implements a step-based learning rate decay schedule at predetermined epochs to stabilize convergence,

FARA is a visual computer-use agent model that controls a browser by predicting screen coordinates for clicking, typing, and scrolling, without relying on DOM or accessibility trees. It is designed to automate multi-step web tasks such as searching, form filling, booking, and shopping by reasoning over visual state and decomposing tasks into sequential actions. The model uses a compact 7-billion-parameter decoder-only transformer that can run on consumer GPUs for low-latency on-device inference, or be deployed as a managed endpoint on Azure Foundry for cloud-based inference without local infr

Anomalib is a PyTorch-based library for visual anomaly detection, offering a modular framework, a comprehensive model zoo, and a benchmarking suite designed for industrial defect detection. It provides a wide range of algorithms—including generative, discriminative, teacher-student, and vision-language approaches—that support unsupervised, few-shot, and zero-shot settings. The library enables deployment through model export to ONNX and OpenVINO for edge devices, and includes a no-code web application for training and inference. It also features a command-line interface for orchestrating multi

ann-benchmarks is a standardized benchmarking suite for evaluating approximate nearest neighbor (ANN) search algorithms. It provides a reproducible framework for comparing how different ANN implementations perform across multiple datasets and distance measures, using precomputed ground truth results stored in HDF5 files to ensure consistent accuracy measurements. The project wraps each ANN library behind a common Python interface, allowing algorithms to be swapped without modifying the benchmarking harness. It orchestrates parameter sweeps over algorithm-specific hyperparameters to generate f

seL4 is a formally verified microkernel whose C implementation is backed by machine-checked mathematical proofs of correctness, confidentiality, integrity, and availability. It enforces strict isolation between processes through hardware-enforced address space separation and a capability-based access control system, where each process holds explicit rights only to the resources it has been granted. The kernel exposes hardware resources through a minimal API of system calls that manage threads, address spaces, and inter-process communication, with synchronous IPC supporting sender-identifying b

rllm is an asynchronous reinforcement learning framework for training language agents. It provides a unified pipeline that runs the same agent code for both evaluation and training, automatically capturing traces for gradient computation. The framework supports distributed reinforcement learning across multiple GPUs and nodes using pluggable backends, and executes agents in isolated sandboxes—either locally or in the cloud—for safe and scalable rollout collection. It trains agents built with LangGraph, SmolAgents, OpenAI Agents SDK, or custom frameworks without requiring core logic changes. T

GluonTS este o bibliotecă de serii temporale probabilistice și un framework de prognoză prin deep learning. Oferă un toolkit pentru construirea, antrenarea și evaluarea arhitecturilor de rețele neuronale care prezic valori viitoare ca distribuții de probabilitate pentru a cuantifica incertitudinea. Proiectul se distinge prin suportul pentru prognoza zero-shot și integrarea unor abordări de modelare diverse, incluzând rețele neuronale probabilistice profunde și wrapper-e pentru biblioteci statistice externe precum Prophet și R forecast. Implementează primitive arhitecturale specializate precum convoluțiile cauzale și rețelele reziduale inversabile pentru a preveni scurgerea informațiilor și a mapa reprezentările latente în distribuții de probabilitate valide. Framework-ul acoperă o suprafață cuprinzătoare de inginerie a datelor, incluzând scalarea seriilor temporale, transformări bijective și modelare ierarhică. Utilizează Apache Arrow și Parquet pentru streaming-ul seturilor de date de înaltă performanță și gestionarea accesului aleatoriu. Pentru evaluarea modelului, include o suită de evaluare pentru măsurarea acurateței prognozei și a acoperirii probabilistice folosind metrici precum quantile loss și continuous rank probability scores. Biblioteca suportă implementarea modelului prin integrarea cu Amazon SageMaker.

UltraRAG is an LLM RAG orchestration platform and AI agent research framework designed to coordinate complex retrieval-augmented generation workflows. It functions as a multimodal RAG engine capable of retrieving and generating responses using text, images, and diverse data types, while providing tools for vector database management and RAG performance evaluation. The platform features a visual RAG pipeline builder that uses a canvas interface to construct and debug data flows, synchronizing visual designs directly with underlying code. It distinguishes itself through an autonomous research s

mmaction2 este un set de instrumente PyTorch pentru înțelegerea video, conceput pentru antrenarea și evaluarea modelelor de deep learning. Servește ca un framework pentru recunoașterea acțiunilor, localizarea temporală și detectarea acțiunilor spatio-temporale, oferind instrumente specializate atât pentru analiza video bazată pe pixeli, cât și pentru recunoașterea acțiunilor bazată pe schelet. Proiectul se distinge printr-o arhitectură modulară care dispune de descoperirea componentelor bazată pe registru și asamblarea ierarhică a modelelor bazată pe configurație. Suportă fuziunea caracteristicilor multi-modale, integrând cadre RGB, flux optic și audio, și include capabilități pentru recuperarea clipurilor video din text și predicția video zero-shot. În linii mari, framework-ul acoperă ingineria seturilor de date video, inclusiv standardizarea adnotărilor și eșantionarea cadrelor, precum și antrenarea și evaluarea cuprinzătoare a modelelor. Oferă utilitare pentru antrenarea distribuită, distilarea cunoștințelor și optimizarea inferenței prin reparametrizarea modelului. Codul sursă suportă exportul modelelor ONNX și containerizarea mediului pentru implementarea pe diferite noduri de calcul.

Acest proiect este un framework PyTorch de re-identificare a persoanelor, conceput pentru antrenarea și evaluarea modelelor care identifică indivizi prin diferite unghiuri ale camerelor video. Oferă un pipeline complet de antrenare a modelelor, un extractor de caracteristici deep learning pentru convertirea imaginilor în vectori numerici și o suită de instrumente de benchmarking pentru viziunea artificială pentru a măsura acuratețea regăsirii identității. Framework-ul include un toolkit specializat de transfer learning care suportă înghețarea straturilor, optimizarea etapizată a ratei de învățare și rate de învățare diferențiale pentru fine-tuning-ul modelelor preantrenate. Se distinge printr-un motor extensibil care permite dezvoltarea de logică de antrenare personalizată și implementarea unor obiective de optimizare specifice, cum ar fi hard-sample triplet loss mining și label smoothing. Sistemul acoperă gestionarea cuprinzătoare a seturilor de date, inclusiv suport pentru benchmark-uri standard, eșantionare echilibrată a batch-urilor și augmentarea imaginilor. Oferă utilitare de evaluare pentru calcularea rangurilor de regăsire și a distanțelor dintre caracteristici, precum și instrumente de vizualizare pentru generarea de hărți de activare (heatmaps) și galerii de regăsire clasificate. Proiectul este implementat în Python și utilizează PyTorch pentru operațiunile sale de deep learning.

Linfa este un framework de machine learning clasic și o suită de învățare statistică implementată în Rust. Oferă o colecție de algoritmi pentru învățare supervizată și nesupervizată, axată pe metode statistice tradiționale precum regresia, clustering-ul și arborii de decizie. Toolkit-ul se distinge prin capacitatea de a fi compilat în WebAssembly, permițând modelelor analitice să ruleze în medii de browser. Utilizează o interfață de algoritm bazată pe trăsături (traits) pentru a standardiza procesul de antrenare și predicție în diferitele sale modele. Biblioteca acoperă o gamă largă de capabilități, inclusiv clasificarea supervizată și regresia valorilor continue. Oferă clustering nesupervizat, metode de ansamblu pentru agregarea modelelor și procesarea semnalelor prin analiza componentelor independente. Suita include, de asemenea, instrumente extinse de preprocesare a datelor pentru normalizarea caracteristicilor, vectorizarea textului și reducerea dimensionalității folosind PCA și t-SNE. Utilitare suplimentare sunt furnizate pentru gestionarea datelor, inclusiv importul CSV și generarea de seturi de date sintetice, precum și instrumente de evaluare a modelelor, cum ar fi matricile de confuzie și metricile de validare încrucișată.

RecBole este un framework de recomandare bazat pe PyTorch, conceput pentru construirea, antrenarea și evaluarea unei mari varietăți de algoritmi de recomandare. Servește ca mediu de benchmark standardizat care permite compararea diferitelor arhitecturi de modele folosind seturi de date publice și metrici de evaluare consistente. Proiectul oferă toolkit-uri specializate pentru recomandare secvențială și integrarea knowledge-graph-urilor, permițând predicția secvențelor de elemente pe baza istoricului utilizatorului sau încorporarea de cunoștințe externe structurate. Include un motor dedicat de optimizare a hiperparametrilor care utilizează grid search și optimizare Bayesiană pentru a ajusta configurațiile modelelor. Framework-ul acoperă o gamă largă de capabilități, inclusiv gestionarea datelor pentru standardizarea log-urilor de interacțiune, pipeline-uri de antrenare cu sincronizare distribuită a gradientului și execuție cu precizie mixtă, și instrumente cuprinzătoare de evaluare pentru ranking-ul candidaților și analiza diversității. Suportă mai multe tipuri de recomandare, cum ar fi filtrarea colaborativă generală și predicția ratei de click (CTR). Biblioteca este implementată în Python și utilizează PyTorch pentru framework-ul său de recomandare subiacent.

llm-numbers is a set of calculation tools and benchmarks used to predict hardware requirements, token usage, and operational costs across various model tiers. It provides a cost and resource calculator based on formulas and benchmarks to estimate tokens, GPU memory, and operational expenses for large language models. The project includes a hardware requirement planner for calculating the VRAM and GPU memory needed to host models based on parameter counts. It also features a token estimator that converts word counts into token estimates to predict API billing and context window usage, alongsid

SWE-bench is an automated evaluation framework that tests large language models on real-world software engineering tasks. It measures how effectively models can generate and apply code patches that resolve actual GitHub issues, using a standardized dataset and scoring system built around Docker-based patch verification against original project test suites. The framework provides curated benchmark datasets spanning comprehensive, fast, verified, multilingual, and multimodal evaluation splits, allowing targeted assessment of model capabilities across different programming languages and issue ty