leondz/garak
Garak
Garak es un conjunto de herramientas para medir la fiabilidad de la IA, escanear vulnerabilidades y automatizar evaluaciones de seguridad mediante sondeos adaptativos. Funciona como un escáner de vulnerabilidades de IA generativa y herramienta de evaluación diseñada para identificar brechas de seguridad, alucinaciones y modos de falla en modelos de lenguaje.
El framework proporciona un kit de herramientas para red-teaming y evaluaciones de seguridad, utilizando un sistema estructurado de sondas y detectores para calcular las tasas de falla. Escanea específicamente riesgos como la fuga de datos y la inyección de prompts registrando las respuestas del modelo a entradas adversarias.
El proyecto incluye un sistema de plugins para crear generadores y detectores personalizados para ampliar el conjunto de pruebas. Además, admite la integración con varios proveedores de modelos de IA a través de APIs en la nube, archivos locales y puntos finales web, con resultados mantenidos a través de registros de evaluación de seguridad.
Features
- Model Red-Teaming - Implements automated adversarial testing and vulnerability scanning to identify safety failures in generative AI models.
- AI Risk Assessments - Automates the evaluation of security postures and risk profiles for language models using structured probes.
- LLM Security - Identifies and documents security vulnerabilities such as prompt injection through adversarial probing and response logging.
- Generative Model Scanners - Scans generative AI models for critical vulnerabilities like data leakage and prompt injection.
- LLM Security Scanning - Employs adaptive probes to scan generative models for hallucinations, data leakage, and injection vectors.
- LLM Evaluation - Measures model reliability and quality by running standardized probes and calculating failure rates.
- Model Provider Integrations - Provides connectors to interface with large language models hosted via cloud APIs and local endpoints.
- Test Suite Extensions - Includes a plugin system for expanding the suite with custom adversarial probes and detectors.
- Model Failure Analyzers - Analyzes model responses against specific detectors to identify and quantify undesirable failure modes.
- AI Safety Testing Frameworks - Offers a plugin-based framework for creating custom generators and detectors to evaluate model safety.
- AI Application Security - Comprehensive vulnerability scanner for LLM weaknesses and jailbreaks.
- AI Security - Vulnerability scanner for probing LLM weaknesses.
- AI Security and Red Teaming - LLM vulnerability scanner for probing language models.
- Guardrails and AI Safety - Listed in the “Guardrails and AI Safety” section of the The Incredible Pytorch awesome list.
- Safety and Security - LLM vulnerability scanner.
