Awesome GitHub RepositoriesAdversarial Input Generation

Evidently is an AI observability platform and evaluation framework designed to quantify the performance of machine learning models and large language models. It functions as a monitoring tool for detecting data drift and quality degradation in tabular datasets, while providing a specialized analyzer for the faithfulness and correctness of retrieval augmented generation systems. The project distinguishes itself through an evaluation framework that utilizes judge models and custom rubrics to score language model outputs. It includes tools for iterative prompt optimization and the generation of

Superagent is an AI safety platform that protects applications from prompt injections, data leaks, and harmful outputs through built-in guardrails. It functions as a prompt injection detection system, data redaction tool, and red team testing tool, automatically removing personally identifiable information and protected health data from AI inputs and outputs while scanning image uploads with vision AI to detect visual prompt injection attacks before processing. The platform routes every prompt through a sequential pipeline of safety checks including injection detection, data redaction, and co

NeMo-Guardrails is a toolkit for adding programmable safety constraints and dialogue boundaries to large language model conversational systems. It functions as security middleware that intercepts inputs and outputs to block prompt injections, jailbreaks, and sensitive data leaks, while providing a conversational dialogue manager to define structured interaction flows through configuration files. The framework includes a hallucination filter to screen model outputs for factual accuracy and a specialized modeling language for defining conversational flows and constraints. It provides capabiliti

Cleverhans هي مكتبة للتعلم الآلي العدائي (adversarial machine learning) في TensorFlow، تعمل كإطار عمل للهجمات، ومعيار للمتانة، ومكتبة للدفاع. توفر مجموعة من الأدوات لتوليد أمثلة عدائية، واختبار أمان الشبكات العصبية، وتنفيذ آليات حماية لزيادة مرونة النماذج ضد المدخلات الضارة. يركز المشروع على إنشاء مدخلات مضطربة مصممة لخداع نماذج التعلم الآلي لتقديم تنبؤات غير صحيحة. وهو يتيح تقييم استقرار ودقة نماذج التعلم العميق عند تعرضها للضجيج العدائي، مع توفير تطبيقات مرجعية لطرق الهجوم المعروفة لتحديد نقاط الضعف الأمنية. تغطي مجموعة الأدوات توليد الأمثلة العدائية، ودفاع نماذج التعلم الآلي، وقياس متانة الشبكات العصبية. وتستخدم واجهة محايدة للنموذج وتطبيقات هجوم قابلة للتفاضل لتنفيذ اضطرابات قائمة على التدرج وحلقات تحسين تكرارية.

The Adversarial Robustness Toolbox (ART) is an open-source library that provides a unified framework for evaluating, defending, and certifying machine learning models against adversarial threats. It wraps models from any framework behind a common estimator interface, enabling composable pipelines for attack generation, defense application, robustness certification, and privacy auditing across evasion, poisoning, and extraction threats. The library distinguishes itself by covering the full adversarial ML security lifecycle within a single toolkit. It supports gradient-based adversarial example

Helicone is an AI gateway and observability platform designed to intercept, manage, and monitor interactions with large language models. By acting as a reverse-proxy, it provides a centralized layer for routing requests across multiple AI providers, allowing developers to maintain consistent application logic while gaining deep visibility into model performance, usage, and costs. The platform distinguishes itself through a robust suite of traffic management and prompt engineering tools. It enables policy-driven control, including automatic failover between providers, rate limiting, and edge-b

Giskard هو إطار عمل للتقييم، ومكتبة للاختبار، ونظام لمراقبة الجودة لنماذج اللغات الكبيرة (LLM) ووكلاء الذكاء الاصطناعي. يعمل كأداة لقياس أداء النماذج وموثوقيتها، ويوفر قدرات متخصصة للتحقق من خطوط أنابيب توليد الاسترجاع المعزز (RAG). يتميز المشروع بأداة آلية للاختبار الهجومي (red teaming) وماسح أمني مصمم لتحديد الثغرات، وحقن الأوامر (prompt injections)، ومخاطر السلامة. يستخدم الفحص العدائي وتوليد حالات الحافة الاصطناعية لقياس متانة النموذج واكتشاف تسريب المعلومات. يغطي النظام مجموعة واسعة من القدرات، بما في ذلك اكتشاف الدقة الواقعية والهلوسة، وقياس الأداء المنطقي والاستدلالي، واكتشاف التحيز. يوفر أدوات لاختبار الانحدار، وتقييم مكونات RAG، والتوليد الآلي لحالات الاختبار من قواعد المعرفة. يتضمن النظام ميزات إدارية لمساحات عمل الفريق التعاونية، والتحكم في الوصول القائم على الأدوار، وخطوط أنابيب التقييم المجدولة لمراقبة انحراف الأداء بمرور الوقت.

هذا المشروع عبارة عن مورد تعليمي شامل ودليل تقني يركز على تعلم الآلة القابل للتفسير والذكاء الاصطناعي القابل للشرح. يعمل ككتاب مدرسي ومرجع لتنفيذ التقنيات التي تجعل نماذج تعلم الآلة المعقدة شفافة ومفهومة للبشر. يوفر المورد إرشادات حول بناء نماذج شفافة بطبيعتها، مثل أشجار القرار والنماذج الخطية المتفرقة، وتطبيق طرق الشرح اللاحقة على أنظمة الصندوق الأسود. يفصل المنهجيات المحددة لقياس أهمية الميزة، وتوليد مبررات للتنبؤات الفردية، واستخدام نماذج بديلة لتقريب عمليات صنع القرار المعقدة. يغطي المحتوى مجموعة واسعة من القدرات التحليلية، بما في ذلك تحليل تأثير الميزة العالمية والمحلية، وقابلية تفسير رؤية الكمبيوتر، واستخدام المساهمات القائمة على نظرية الألعاب مثل قيم Shapley. كما يتناول تقييم النموذج من خلال تقييمات القابلية للتفسير، وسير عمل تصحيح الأخطاء لتحديد اختصارات النموذج، وتصميم هياكل الخوارزميات الشفافة. يتم تنفيذ المشروع كمجموعة من دفاتر Jupyter.

agent-governance-toolkit هو إطار عمل لفرض سياسات الأمان، وإدارة هويات الثقة الصفرية، وعزل تنفيذ وكلاء الذكاء الاصطناعي المستقلين. يوفر طبقة حوكمة مصممة للتحكم في سلوك الوكلاء من خلال استخدام محرك سياسات الأمان، وإدارة الهوية التشفيرية، وبيئة عزل تنفيذ وقت التشغيل. يتميز المشروع بنظام حلقة امتياز متعدد المستويات وشبكة هوية تشفيرية تؤمن الاتصال بين الكيانات المستقلة. ينفذ آلية تسجيل ثقة قائمة على التحلل لتتبع موثوقية الكيان ويستخدم سجلات تدقيق مشفرة ومضادة للتلاعب للحفاظ على تاريخ قابل للتحقق من التنفيذ. تغطي مجموعة الأدوات مجموعة واسعة من مجالات القدرات، بما في ذلك أمان المطالبات للدفاع ضد هجمات الحقن، ورسم خرائط الامتثال الآلي مقابل المعايير التنظيمية، وتنظيم سير العمل المستقل باستخدام أنماط الملحمة (Saga). كما يتميز بمراقبة الأسطول لتتبع الصحة وحدود الإنفاق، بالإضافة إلى عزل تنفيذ الأدوات لتقييد الوصول غير المصرح به للموارد. يتم توفير واجهة سطر أوامر لإرسال إشارات التحكم، والتحقق من سياسات الحوكمة، وإدارة تثبيت الامتدادات.

This repository provides tools and methodologies for studying adversarial attacks on large language models. It focuses on understanding how carefully crafted inputs can manipulate or bypass the safety mechanisms of LLMs, enabling researchers to probe model vulnerabilities and improve their robustness. The project covers techniques for generating adversarial prompts, evaluating model responses under attack conditions, and analyzing the effectiveness of different attack strategies.

Mimic is a unicode homoglyph generator and text obfuscation tool. It functions as a character substitutor that replaces standard ASCII characters with visually similar Unicode symbols to create text that appears correct to humans but is functionally different. The project is used for source code obfuscation by inserting subtle syntax errors into code to hide intent or break automated analysis. It also serves as a tool for textual adversarial testing to evaluate the resilience of software filters against maliciously crafted input. The utility achieves these results through a mapping system th

PyRIT is an AI vulnerability assessment tool and security scanner designed to detect risks in large language model applications. It functions as a generative AI red teaming framework used to simulate adversarial attacks and identify weaknesses in system guardrails. The tool automates AI risk assessment by scanning generative AI components for security vulnerabilities. It utilizes automated testing and analysis to identify security gaps and prevent potential exploits through a consistent, repeatable process. The system incorporates asynchronous model orchestration to compare security postures

LLM Guard is a security firewall and guardrail framework designed to scan and sanitize inputs and outputs for large language models. It functions as a proxy gateway and security layer to block prompt injections, toxicity, and sensitive data leakage while ensuring that model interactions remain compliant with organizational policies. The system distinguishes itself through a modular scanner pipeline that utilizes local model orchestration to eliminate external network dependencies. It supports real-time security filtering via streaming chunk analysis and implements a fail-fast execution model