Awesome GitHub RepositoriesAI Generated Code Scanning

PurpleLlama 是一套安全工具集和框架，旨在审计大语言模型（LLM）漏洞并实施运行时输入输出防护栏。它提供了一个安全评估框架和基准测试套件，用于量化与提示词注入（prompt injection）及恶意代码生成相关的风险。 该项目包含内容审核器和输入输出过滤器，使用标准化分类法来识别并拦截有害内容、越狱尝试和不安全命令。它还具备敏感文档分类功能，以防止私密信息的未经授权泄露。 该系统涵盖了广泛的安全领域，包括多语言安全分类、执行时代码漏洞扫描，以及基于行业标准框架的网络安全风险基准测试。

PurpleLlama 是一个专为大语言模型设计的安全组件和工具包集合。它提供了一系列专业系统，包括代码安全扫描器、内容审核系统、提示词注入防火墙和安全评估工具包。 该项目能够识别并阻止模型推理过程中的越狱尝试和恶意提示词。它具备跨多种语言和模态检测违规内容的能力，并能扫描生成的代码以发现漏洞，从而防止执行不安全的命令。 该框架进一步支持通过安全态势评估来量化网络安全风险，并实现输入和输出过滤器，以在模型工作流中强制执行安全护栏。