Awesome GitHub RepositoriesModel Benchmarking Frameworks

This repository serves as a comprehensive research platform and toolkit for advancing machine learning, quantum computing, and large-scale scientific data analysis. It provides foundational frameworks for developing complex algorithmic systems, offering the necessary infrastructure for distributed training, computational graph execution, and high-performance model development. The project distinguishes itself by integrating specialized research domains with robust, privacy-preserving methodologies. It supports diverse scientific discovery through tools for quantum simulation, physics-informed

CLIP is a neural network architecture designed to map visual and textual data into a shared latent vector space. By utilizing transformer-based feature extraction and multi-modal tokenization, the system aligns images and natural language strings, enabling cross-modal similarity analysis and semantic classification. The project functions as a zero-shot classification engine, identifying image content by calculating the cosine similarity between visual features and arbitrary text labels without requiring task-specific retraining. Beyond inference, it serves as a research toolkit for evaluating

Recommenders is a recommendation system framework designed for building, benchmarking, and deploying collaborative and content-based filtering models. It provides a machine learning model pipeline that standardizes the process of moving recommendation data from raw ingestion through training and evaluation. The project functions as a model benchmarking toolkit, utilizing standardized ranking and error metrics to compare the accuracy of different algorithms. It also serves as a hyperparameter tuning tool, allowing for the optimization of model behavior and performance via external configuratio

Evals is a framework designed for automating, managing, and executing repeatable benchmarking suites to analyze the quality and performance of language models. It provides a platform for running standardized tests to measure model accuracy and track behavioral changes over time. The system distinguishes itself through a modular architecture that uses a standardized adapter layer to normalize inputs and outputs, allowing different models to be swapped and tested interchangeably. It supports the creation of custom benchmarks using proprietary data, enabling quality assurance on sensitive tasks

This project is a standardized framework for benchmarking large language models across a wide range of academic and reasoning datasets. It provides a platform for executing automated evaluation tasks to measure model accuracy and performance, ensuring consistent assessment through a structured configuration schema. The framework distinguishes itself by incorporating a dedicated utility for data decontamination, which identifies and removes overlapping training samples from evaluation sets to prevent data leakage. It also features a flexible task builder that allows users to define custom benc

Cleverhans is an adversarial machine learning library and toolkit designed to generate adversarial examples, incorporate them into training loops, and benchmark the resilience of machine learning models. It provides a gradient-based attack framework for constructing both white-box and black-box attacks to identify model misclassifications. The project includes capabilities for model robustness benchmarking, allowing users to evaluate and verify how models resist evasion attacks and malicious input perturbations. It also facilitates adversarial training to increase a model's resistance to pert

Giskard este un framework de evaluare, o bibliotecă de testare și un sistem de monitorizare a calității pentru modele de limbaj mari (LLM) și agenți AI. Acesta servește drept set de instrumente pentru cuantificarea performanței și fiabilității modelelor, oferind capabilități specializate pentru validarea pipeline-urilor de tip retrieval-augmented generation (RAG). Proiectul se distinge printr-un instrument automat de red teaming și un scaner de securitate conceput pentru a identifica vulnerabilități, prompt injections și riscuri de siguranță. Utilizează sondarea adversă și generarea sintetică de cazuri limită pentru a cuantifica robustețea modelului și a detecta scurgerile de informații. Platforma acoperă o gamă largă de capabilități, inclusiv detectarea halucinațiilor și a acurateței faptice, benchmarking-ul raționamentului și logicii, precum și detectarea bias-urilor. Oferă instrumente pentru testarea de regresie, evaluarea componentelor RAG și generarea automată a cazurilor de test din baze de cunoștințe. Sistemul include funcții de gestionare pentru spații de lucru colaborative, control al accesului bazat pe roluri și pipeline-uri de evaluare programate pentru a monitoriza degradarea performanței în timp.

Kiln este un workbench de dezvoltare LLM și un framework de evaluare conceput pentru proiectarea, testarea și optimizarea prompt-urilor și a agenților AI. Funcționează ca un orchestrator multi-agent și un instrument de optimizare RAG, oferind o interfață vizuală pentru dezvoltarea iterativă a sistemelor AI. Proiectul se distinge printr-un pipeline cuprinzător de fine-tuning care suportă antrenarea modelelor zero-code și distilarea raționamentului. Permite crearea de sisteme multi-agent ierarhice unde actorii specializați se coordonează prin apelarea instrumentelor și implementează un server Model Context Protocol pentru a expune acești agenți și capabilități de căutare ca instrumente standardizate pentru clienții externi. Platforma acoperă o gamă largă de capabilități, inclusiv notarea automată a judecătorilor AI pentru asigurarea calității, generarea de date sintetice pentru antrenare și evaluare și recuperarea hibridă vector-keyword pentru fundamentarea răspunsurilor modelului. Oferă, de asemenea, instrumente pentru evoluția prompt-urilor, auditarea urmelor (trace auditing) și gestionarea seturilor de date colaborative prin integrarea Git. Workbench-ul este accesibil printr-un REST API auto-găzduibil și o bibliotecă Python dedicată pentru execuția programatică a fluxurilor de lucru.

This project is a language model evaluation framework and benchmarking tool designed to measure the accuracy and performance of models across diverse datasets. It provides a system for implementing model-based graders, running standardized tests for mathematical reasoning, coding, and factuality, and calculating quantified performance metrics such as precision, recall, F1 scores, and pass-at-k. The framework utilizes model-based grading and rubrics to validate response quality against expert-defined criteria. It includes a multi-model benchmarking loop and a model-agnostic API interface to co