Awesome GitHub RepositoriesAdversarial Input Generation

Evidently is an AI observability platform and evaluation framework designed to quantify the performance of machine learning models and large language models. It functions as a monitoring tool for detecting data drift and quality degradation in tabular datasets, while providing a specialized analyzer for the faithfulness and correctness of retrieval augmented generation systems. The project distinguishes itself through an evaluation framework that utilizes judge models and custom rubrics to score language model outputs. It includes tools for iterative prompt optimization and the generation of

Superagent is an AI safety platform that protects applications from prompt injections, data leaks, and harmful outputs through built-in guardrails. It functions as a prompt injection detection system, data redaction tool, and red team testing tool, automatically removing personally identifiable information and protected health data from AI inputs and outputs while scanning image uploads with vision AI to detect visual prompt injection attacks before processing. The platform routes every prompt through a sequential pipeline of safety checks including injection detection, data redaction, and co

NeMo-Guardrails is a toolkit for adding programmable safety constraints and dialogue boundaries to large language model conversational systems. It functions as security middleware that intercepts inputs and outputs to block prompt injections, jailbreaks, and sensitive data leaks, while providing a conversational dialogue manager to define structured interaction flows through configuration files. The framework includes a hallucination filter to screen model outputs for factual accuracy and a specialized modeling language for defining conversational flows and constraints. It provides capabiliti

Cleverhans este o bibliotecă TensorFlow pentru machine learning adversar, care servește drept framework de atac, benchmark de robustețe și bibliotecă de apărare. Oferă o colecție de instrumente pentru a genera exemple adverse, a testa securitatea rețelelor neuronale și a implementa mecanisme de protecție pentru a crește reziliența modelelor împotriva input-urilor malițioase. Proiectul se concentrează pe crearea de input-uri perturbate, concepute pentru a induce în eroare modelele de machine learning să facă predicții incorecte. Permite evaluarea stabilității și acurateței modelelor de deep learning atunci când sunt supuse zgomotului advers, oferind implementări de referință ale metodelor de atac cunoscute pentru a identifica vulnerabilitățile de securitate. Toolkit-ul acoperă generarea de exemple adverse, apărarea modelelor de machine learning și benchmarking-ul robusteții rețelelor neuronale. Utilizează o interfață agnostică față de model și implementări de atac diferențiabile pentru a executa perturbări bazate pe gradient și bucle de optimizare iterativă.

The Adversarial Robustness Toolbox (ART) is an open-source library that provides a unified framework for evaluating, defending, and certifying machine learning models against adversarial threats. It wraps models from any framework behind a common estimator interface, enabling composable pipelines for attack generation, defense application, robustness certification, and privacy auditing across evasion, poisoning, and extraction threats. The library distinguishes itself by covering the full adversarial ML security lifecycle within a single toolkit. It supports gradient-based adversarial example

Helicone is an AI gateway and observability platform designed to intercept, manage, and monitor interactions with large language models. By acting as a reverse-proxy, it provides a centralized layer for routing requests across multiple AI providers, allowing developers to maintain consistent application logic while gaining deep visibility into model performance, usage, and costs. The platform distinguishes itself through a robust suite of traffic management and prompt engineering tools. It enables policy-driven control, including automatic failover between providers, rate limiting, and edge-b

Giskard este un framework de evaluare, o bibliotecă de testare și un sistem de monitorizare a calității pentru modele de limbaj mari (LLM) și agenți AI. Acesta servește drept set de instrumente pentru cuantificarea performanței și fiabilității modelelor, oferind capabilități specializate pentru validarea pipeline-urilor de tip retrieval-augmented generation (RAG). Proiectul se distinge printr-un instrument automat de red teaming și un scaner de securitate conceput pentru a identifica vulnerabilități, prompt injections și riscuri de siguranță. Utilizează sondarea adversă și generarea sintetică de cazuri limită pentru a cuantifica robustețea modelului și a detecta scurgerile de informații. Platforma acoperă o gamă largă de capabilități, inclusiv detectarea halucinațiilor și a acurateței faptice, benchmarking-ul raționamentului și logicii, precum și detectarea bias-urilor. Oferă instrumente pentru testarea de regresie, evaluarea componentelor RAG și generarea automată a cazurilor de test din baze de cunoștințe. Sistemul include funcții de gestionare pentru spații de lucru colaborative, control al accesului bazat pe roluri și pipeline-uri de evaluare programate pentru a monitoriza degradarea performanței în timp.

Acest proiect este o resursă educațională cuprinzătoare și un manual tehnic axat pe machine learning interpretabil și AI explicabil. Servește ca manual și referință pentru implementarea tehnicilor care fac modelele complexe de machine learning transparente și ușor de înțeles pentru oameni. Resursa oferă îndrumări atât pentru construirea modelelor inerent transparente, cum ar fi arborii de decizie și modelele liniare rare, cât și pentru aplicarea metodelor de explicare post-hoc sistemelor black-box. Detaliază metodologii specifice pentru cuantificarea importanței caracteristicilor, generarea de raționamente pentru predicții individuale și utilizarea modelelor surogat pentru a aproxima procesele complexe de luare a deciziilor. Conținutul acoperă o gamă largă de capabilități analitice, inclusiv analiza influenței caracteristicilor globale și locale, interpretabilitatea viziunii computerizate și utilizarea contribuțiilor teoretice ale jocurilor, cum ar fi valorile Shapley. De asemenea, abordează evaluarea modelului prin evaluări de interpretabilitate, fluxuri de lucru de depanare pentru a identifica scurtăturile modelului și designul structurilor algoritmice transparente. Proiectul este implementat ca o colecție de Jupyter Notebooks.

agent-governance-toolkit este un framework pentru aplicarea politicilor de securitate, gestionarea identităților zero-trust și sandboxing-ul execuției agenților AI autonomi. Acesta oferă un strat de guvernanță conceput pentru a controla comportamentul agenților prin utilizarea unui motor de politici de securitate, gestionarea identității criptografice și un sandbox de execuție la runtime. Proiectul se distinge printr-un sistem de inele de privilegii pe mai multe niveluri și o rețea de identitate criptografică care securizează comunicarea între entitățile autonome. Implementează un mecanism de scor de încredere bazat pe degradare pentru a urmări fiabilitatea entității și utilizează jurnale de audit hash-chained, rezistente la manipulare, pentru a menține un istoric verificabil al execuției. Toolkit-ul acoperă o gamă largă de arii de capabilități, inclusiv securitatea prompt-urilor pentru a apăra împotriva atacurilor de injecție, maparea automată a conformității cu standardele de reglementare și orchestrarea fluxului de lucru autonom folosind tipare de tip saga. De asemenea, dispune de monitorizarea flotei pentru urmărirea sănătății și a limitelor de cheltuieli, precum și sandboxing-ul execuției instrumentelor pentru a restricționa accesul neautorizat la resurse. O interfață de linie de comandă este furnizată pentru executarea semnalelor de control, validarea politicilor de guvernanță și gestionarea instalării extensiilor.

This repository provides tools and methodologies for studying adversarial attacks on large language models. It focuses on understanding how carefully crafted inputs can manipulate or bypass the safety mechanisms of LLMs, enabling researchers to probe model vulnerabilities and improve their robustness. The project covers techniques for generating adversarial prompts, evaluating model responses under attack conditions, and analyzing the effectiveness of different attack strategies.

Mimic is a unicode homoglyph generator and text obfuscation tool. It functions as a character substitutor that replaces standard ASCII characters with visually similar Unicode symbols to create text that appears correct to humans but is functionally different. The project is used for source code obfuscation by inserting subtle syntax errors into code to hide intent or break automated analysis. It also serves as a tool for textual adversarial testing to evaluate the resilience of software filters against maliciously crafted input. The utility achieves these results through a mapping system th

PyRIT is an AI vulnerability assessment tool and security scanner designed to detect risks in large language model applications. It functions as a generative AI red teaming framework used to simulate adversarial attacks and identify weaknesses in system guardrails. The tool automates AI risk assessment by scanning generative AI components for security vulnerabilities. It utilizes automated testing and analysis to identify security gaps and prevent potential exploits through a consistent, repeatable process. The system incorporates asynchronous model orchestration to compare security postures

LLM Guard is a security firewall and guardrail framework designed to scan and sanitize inputs and outputs for large language models. It functions as a proxy gateway and security layer to block prompt injections, toxicity, and sensitive data leakage while ensuring that model interactions remain compliant with organizational policies. The system distinguishes itself through a modular scanner pipeline that utilizes local model orchestration to eliminate external network dependencies. It supports real-time security filtering via streaming chunk analysis and implements a fail-fast execution model