Awesome GitHub RepositoriesAdversarial Input Generation

Evidently is an AI observability platform and evaluation framework designed to quantify the performance of machine learning models and large language models. It functions as a monitoring tool for detecting data drift and quality degradation in tabular datasets, while providing a specialized analyzer for the faithfulness and correctness of retrieval augmented generation systems. The project distinguishes itself through an evaluation framework that utilizes judge models and custom rubrics to score language model outputs. It includes tools for iterative prompt optimization and the generation of

Superagent is an AI safety platform that protects applications from prompt injections, data leaks, and harmful outputs through built-in guardrails. It functions as a prompt injection detection system, data redaction tool, and red team testing tool, automatically removing personally identifiable information and protected health data from AI inputs and outputs while scanning image uploads with vision AI to detect visual prompt injection attacks before processing. The platform routes every prompt through a sequential pipeline of safety checks including injection detection, data redaction, and co

NeMo-Guardrails is a toolkit for adding programmable safety constraints and dialogue boundaries to large language model conversational systems. It functions as security middleware that intercepts inputs and outputs to block prompt injections, jailbreaks, and sensitive data leaks, while providing a conversational dialogue manager to define structured interaction flows through configuration files. The framework includes a hallucination filter to screen model outputs for factual accuracy and a specialized modeling language for defining conversational flows and constraints. It provides capabiliti

Cleverhans es una librería de machine learning adversarial para TensorFlow que sirve como framework de ataque, benchmark de robustez y librería de defensa. Proporciona un conjunto de herramientas para generar ejemplos adversarios, probar la seguridad de redes neuronales e implementar mecanismos de protección para aumentar la resiliencia de los modelos frente a entradas maliciosas. El proyecto se centra en crear entradas perturbadas diseñadas para engañar a los modelos de machine learning y provocar predicciones incorrectas. Permite evaluar la estabilidad y precisión de modelos de deep learning cuando se someten a ruido adversarial, proporcionando implementaciones de referencia de ataques conocidos para identificar debilidades de seguridad. El toolkit cubre la generación de ejemplos adversarios, la defensa de modelos de machine learning y el benchmarking de robustez de redes neuronales. Utiliza una interfaz agnóstica al modelo e implementaciones de ataques diferenciables para ejecutar perturbaciones basadas en gradientes y bucles de optimización iterativos.

The Adversarial Robustness Toolbox (ART) is an open-source library that provides a unified framework for evaluating, defending, and certifying machine learning models against adversarial threats. It wraps models from any framework behind a common estimator interface, enabling composable pipelines for attack generation, defense application, robustness certification, and privacy auditing across evasion, poisoning, and extraction threats. The library distinguishes itself by covering the full adversarial ML security lifecycle within a single toolkit. It supports gradient-based adversarial example

Helicone is an AI gateway and observability platform designed to intercept, manage, and monitor interactions with large language models. By acting as a reverse-proxy, it provides a centralized layer for routing requests across multiple AI providers, allowing developers to maintain consistent application logic while gaining deep visibility into model performance, usage, and costs. The platform distinguishes itself through a robust suite of traffic management and prompt engineering tools. It enables policy-driven control, including automatic failover between providers, rate limiting, and edge-b

Giskard es un framework de evaluación, librería de pruebas y sistema de monitoreo de calidad para modelos de lenguaje grandes (LLM) y agentes de IA. Sirve como un kit de herramientas para cuantificar el rendimiento y la fiabilidad del modelo, proporcionando capacidades especializadas para validar pipelines de generación aumentada por recuperación (RAG). El proyecto se distingue por una herramienta de red teaming automatizada y un escáner de seguridad diseñado para identificar vulnerabilidades, inyecciones de prompts y riesgos de seguridad. Utiliza sondeo adversarial y generación sintética de casos límite para cuantificar la robustez del modelo y detectar la divulgación de información. La plataforma cubre una amplia gama de capacidades, incluyendo la detección de precisión factual y alucinaciones, benchmarking de razonamiento y lógica, y detección de sesgos. Proporciona herramientas para pruebas de regresión, evaluación de componentes RAG y la generación automatizada de casos de prueba a partir de bases de conocimiento. El sistema incluye funciones de gestión para espacios de trabajo colaborativos, control de acceso basado en roles y pipelines de evaluación programados para monitorear la deriva del rendimiento a lo largo del tiempo.

Este proyecto es un recurso educativo integral y manual técnico centrado en el machine learning interpretable y la IA explicable. Sirve como libro de texto y referencia para implementar técnicas que hacen que los modelos de machine learning complejos sean transparentes y comprensibles para los humanos. El recurso proporciona orientación tanto sobre la construcción de modelos inherentemente transparentes, como árboles de decisión y modelos lineales dispersos, como sobre la aplicación de métodos de explicación post-hoc a sistemas de caja negra. Detalla metodologías específicas para cuantificar la importancia de las características, generar fundamentos para predicciones individuales y utilizar modelos sustitutos para aproximar procesos complejos de toma de decisiones. El contenido cubre una amplia gama de capacidades analíticas, incluyendo el análisis de influencia de características globales y locales, la interpretabilidad de visión artificial y el uso de contribuciones de teoría de juegos como los valores de Shapley. También aborda la evaluación de modelos mediante evaluaciones de interpretabilidad, flujos de trabajo de depuración para identificar atajos de modelos y el diseño de estructuras de algoritmos transparentes. El proyecto se implementa como una colección de Jupyter Notebooks.

El agent-governance-toolkit es un framework para aplicar políticas de seguridad, gestionar identidades de confianza cero (zero-trust) y aislar (sandbox) la ejecución de agentes de IA autónomos. Proporciona una capa de gobernanza diseñada para controlar el comportamiento de los agentes mediante el uso de un motor de políticas de seguridad, gestión de identidad criptográfica y un sandbox de ejecución en tiempo de ejecución. El proyecto se distingue por un sistema de anillos de privilegios de múltiples niveles y una malla de identidad criptográfica que asegura la comunicación entre entidades autónomas. Implementa un mecanismo de puntuación de confianza basado en decaimiento para rastrear la confiabilidad de la entidad y utiliza registros de auditoría encadenados por hash y a prueba de manipulaciones para mantener un historial verificable de ejecución. El toolkit cubre una amplia gama de áreas de capacidad, incluyendo seguridad de prompts para defenderse contra ataques de inyección, mapeo automatizado de cumplimiento frente a estándares regulatorios y orquestación de flujos de trabajo autónomos utilizando patrones de saga. También cuenta con monitoreo de flota para rastrear la salud y los límites de gasto, así como aislamiento de ejecución de herramientas para restringir el acceso no autorizado a recursos. Se proporciona una interfaz de línea de comandos para ejecutar señales de control, validar políticas de gobernanza y gestionar la instalación de extensiones.

This repository provides tools and methodologies for studying adversarial attacks on large language models. It focuses on understanding how carefully crafted inputs can manipulate or bypass the safety mechanisms of LLMs, enabling researchers to probe model vulnerabilities and improve their robustness. The project covers techniques for generating adversarial prompts, evaluating model responses under attack conditions, and analyzing the effectiveness of different attack strategies.

Mimic is a unicode homoglyph generator and text obfuscation tool. It functions as a character substitutor that replaces standard ASCII characters with visually similar Unicode symbols to create text that appears correct to humans but is functionally different. The project is used for source code obfuscation by inserting subtle syntax errors into code to hide intent or break automated analysis. It also serves as a tool for textual adversarial testing to evaluate the resilience of software filters against maliciously crafted input. The utility achieves these results through a mapping system th

PyRIT is an AI vulnerability assessment tool and security scanner designed to detect risks in large language model applications. It functions as a generative AI red teaming framework used to simulate adversarial attacks and identify weaknesses in system guardrails. The tool automates AI risk assessment by scanning generative AI components for security vulnerabilities. It utilizes automated testing and analysis to identify security gaps and prevent potential exploits through a consistent, repeatable process. The system incorporates asynchronous model orchestration to compare security postures

LLM Guard is a security firewall and guardrail framework designed to scan and sanitize inputs and outputs for large language models. It functions as a proxy gateway and security layer to block prompt injections, toxicity, and sensitive data leakage while ensuring that model interactions remain compliant with organizational policies. The system distinguishes itself through a modular scanner pipeline that utilizes local model orchestration to eliminate external network dependencies. It supports real-time security filtering via streaming chunk analysis and implements a fail-fast execution model