Awesome GitHub RepositoriesAI Generated Code Scanning

PurpleLlama es una colección de conjuntos de herramientas de seguridad y frameworks diseñados para auditar vulnerabilidades de modelos de lenguaje grandes e implementar barandillas de entrada-salida en tiempo de ejecución. Proporciona un framework de evaluación de seguridad y una suite de evaluación comparativa para cuantificar los riesgos asociados con las inyecciones de prompts y la generación de código malicioso. El proyecto incluye un moderador de contenido y filtros de entrada-salida que utilizan una taxonomía estandarizada para identificar y bloquear contenido dañino, intentos de jailbreaking y comandos inseguros. También cuenta con capacidades para la clasificación de documentos sensibles para evitar la exposición no autorizada de información privada. El sistema cubre una amplia superficie de seguridad, incluyendo clasificación de seguridad en múltiples idiomas, escaneo de código en tiempo de ejecución en busca de vulnerabilidades y evaluación comparativa de riesgos de ciberseguridad basada en frameworks estándar de la industria.

PurpleLlama is a collection of security components and toolkits designed for large language models. It provides specialized systems including a code security scanner, a content moderation system, a prompt injection firewall, and a security assessment toolkit. The project enables the identification and blocking of jailbreaking attempts and malicious prompts during model inference. It includes capabilities for detecting violating content across multiple languages and modalities and scanning generated code for vulnerabilities to prevent the execution of insecure commands. The framework further