Awesome GitHub RepositoriesModel Red-Teaming

This project is a Docker educational resource and a collection of practical examples designed for learning containerization technologies. It serves as a guide for understanding container fundamentals, including the creation and management of custom images and the use of registries. The repository provides specialized references for container security hardening, such as managing kernel privileges and implementing supply chain security. It also includes tutorials for multi-container orchestration and a DevOps guide focused on CI/CD automation and image optimization. The material covers a broad

RagaAI-Catalyst is a suite of software implementation tools providing an SDK, dashboard, and platform for monitoring, debugging, red-teaming, and evaluating agentic AI workflows. It serves as an observability framework for tracing the execution paths of large language models and multi-agent systems. The project distinguishes itself through a security suite for automated red-teaming and vulnerability scanning to detect biases, alongside a centralized prompt registry that decouples templates from application code. It further provides an evaluation platform that combines synthetic data generatio

G0DM0D3 is a static web client and multi-model chat gateway designed for AI research, prompt optimization, and red teaming. It provides a unified interface to query numerous AI models in parallel, allowing for the simultaneous evaluation of different prompt variations and sampling parameters to identify the most successful outputs. The project features specialized tooling for probing safety filters and bypassing model constraints through an input perturbation engine that applies text obfuscation and character substitution. It includes a composite scoring system to rank model performance and a

Garak هي مجموعة من الأدوات لقياس موثوقية الذكاء الاصطناعي، والمسح بحثاً عن الثغرات الأمنية، وأتمتة التقييمات الأمنية من خلال الفحص التكيفي. تعمل كماسح ضوئي لثغرات الذكاء الاصطناعي التوليدي وأداة تقييم مصممة لتحديد الفجوات الأمنية، والهلوسة، وأنماط الفشل في نماذج اللغات. يوفر إطار العمل مجموعة أدوات للفريق الأحمر (red-teaming) وتقييمات السلامة، باستخدام نظام منظم من الفحوصات والكواشف لحساب معدلات الفشل. يقوم تحديداً بالمسح بحثاً عن مخاطر مثل تسريب البيانات وحقن الأوامر (prompt injection) عن طريق تسجيل استجابات النموذج للمدخلات العدائية. يتضمن المشروع نظام إضافات لإنشاء مولدات وكواشف مخصصة لتوسيع مجموعة الاختبار. كما يدعم التكامل مع مختلف مزودي نماذج الذكاء الاصطناعي عبر واجهات برمجة تطبيقات سحابية، وملفات محلية، ونقاط نهاية ويب، مع الاحتفاظ بالنتائج من خلال سجل التقييم الأمني.

Garak is an AI model evaluation tool and vulnerability scanner designed for red teaming large language models and auditing the security of retrieval-augmented generation pipelines. It identifies behavioral weaknesses, such as jailbreaks, hallucinations, and data leakage, by simulating adversarial attacks and executing automated testing vectors. The framework utilizes an adaptive probing loop where prompts can react to previous model behavior and be modified in flight via middleware. To ensure consistent analysis, it employs a provider-agnostic interface to interact with various model APIs and

Superagent is a framework for AI assistant orchestration and agent security. It provides the tools to build intelligent assistants that integrate external APIs and maintain conversation memory to automate complex tasks. The project focuses on AI agent security through adversarial testing, red teaming, and the detection of prompt injections and malicious tool calls. It includes automated vulnerability patching, which scans codebases and configurations for security flaws and generates pull requests with fixes. The platform supports retrieval augmented generation by connecting language models t

Giskard هي مجموعة ضمان جودة الذكاء الاصطناعي وإطار عمل تقييم مصمم لقياس الأداء، والتحيز، ومخاطر الأمان لنماذج اللغات الكبيرة ووكلاء الذكاء الاصطناعي. تعمل كماسح ضوئي للثغرات لاكتشاف عيوب الأمان وتراجعات الأداء. يوفر المشروع سير عمل مؤتمت للفريق الأحمر (red-teaming) والاختبار العدائي. تولد هذه الأدوات تحقيقات حقن المطالبة (prompt-injection) والهجمات العدائية بناءً على أوصاف النظام لتحديد فجوات الأمان والثغرات. تغطي المنصة تدقيق وكلاء الذكاء الاصطناعي والتحقق من جودة RAG، باستخدام التأريض بقاعدة المعرفة وتوليد البيانات الاصطناعية للتحقق من الدقة الواقعية. كما تتعامل مع اختبار التراجع من خلال التقييم القائم على التأكيد ومطابقة التشابه الدلالي للتحقق من المخرجات غير الحتمية.

Giskard هو إطار عمل للتقييم، ومكتبة للاختبار، ونظام لمراقبة الجودة لنماذج اللغات الكبيرة (LLM) ووكلاء الذكاء الاصطناعي. يعمل كأداة لقياس أداء النماذج وموثوقيتها، ويوفر قدرات متخصصة للتحقق من خطوط أنابيب توليد الاسترجاع المعزز (RAG). يتميز المشروع بأداة آلية للاختبار الهجومي (red teaming) وماسح أمني مصمم لتحديد الثغرات، وحقن الأوامر (prompt injections)، ومخاطر السلامة. يستخدم الفحص العدائي وتوليد حالات الحافة الاصطناعية لقياس متانة النموذج واكتشاف تسريب المعلومات. يغطي النظام مجموعة واسعة من القدرات، بما في ذلك اكتشاف الدقة الواقعية والهلوسة، وقياس الأداء المنطقي والاستدلالي، واكتشاف التحيز. يوفر أدوات لاختبار الانحدار، وتقييم مكونات RAG، والتوليد الآلي لحالات الاختبار من قواعد المعرفة. يتضمن النظام ميزات إدارية لمساحات عمل الفريق التعاونية، والتحكم في الوصول القائم على الأدوار، وخطوط أنابيب التقييم المجدولة لمراقبة انحراف الأداء بمرور الوقت.

This repository provides tools and methodologies for studying adversarial attacks on large language models. It focuses on understanding how carefully crafted inputs can manipulate or bypass the safety mechanisms of LLMs, enabling researchers to probe model vulnerabilities and improve their robustness. The project covers techniques for generating adversarial prompts, evaluating model responses under attack conditions, and analyzing the effectiveness of different attack strategies.

lmms-eval is a benchmarking system and performance analysis suite designed to measure the capabilities of large multimodal models. It provides a framework for evaluating models across text, image, audio, and video datasets, serving as a multimodal dataset orchestrator and benchmarking tool to quantify accuracy and efficiency. The project distinguishes itself through a unified multimodal message protocol that structures diverse media inputs for consistent model consumption. It features specialized benchmarking for audio, video, visual, document, and spatial reasoning, alongside tools for model

This repository is a collection of specialized toolsets and libraries for large language model prompt engineering and security testing. It provides a library of advanced templates and frameworks designed to optimize the quality and specificity of model responses. The project includes resources for red teaming and security research, featuring a repository of prompts designed to bypass safety filters and operational constraints. It also provides techniques for system prompt extraction to reveal the internal instructions and configurations of AI personas. The collection covers a broader surface

PyRIT is an AI vulnerability assessment tool and security scanner designed to detect risks in large language model applications. It functions as a generative AI red teaming framework used to simulate adversarial attacks and identify weaknesses in system guardrails. The tool automates AI risk assessment by scanning generative AI components for security vulnerabilities. It utilizes automated testing and analysis to identify security gaps and prevent potential exploits through a consistent, repeatable process. The system incorporates asynchronous model orchestration to compare security postures

AI-Infra-Guard is a security scanning platform designed to detect vulnerabilities across large language model deployments, AI agent skills, and the underlying infrastructure. It functions as a security toolset for auditing source code, evaluating model robustness, and identifying insecure network configurations. The project provides a red teaming framework that uses curated attack datasets to test for jailbreak vulnerabilities and prompt injections. It also includes an infrastructure auditor that employs network fingerprinting and asset discovery to match running components against known comm