10 مستودعات
Security controls for interactions between models and external tools.
Distinguishing note: Focuses on protocol-level security for context sharing.
Explore 10 awesome GitHub repositories matching security & cryptography · Model Context Protocol Security. Refine with filters or upvote what's useful.
The OWASP Cheat Sheet Series is a comprehensive, community-driven repository of concise security best practices and defensive coding patterns. It serves as a centralized knowledge base for developers and security professionals, providing actionable guidance to secure applications across the entire software development lifecycle. The project covers a vast array of security domains, ranging from fundamental web application hardening and authentication protocols to specialized controls for modern infrastructure and artificial intelligence systems. What distinguishes this project is its decentral
Ensures safe and authorized interaction between artificial intelligence models and external tools via context protocols.
Model Context Protocol is a standardized framework for connecting large language models to external data sources and executable tools. It enables the creation of a universal interface where servers expose tools, resources, and prompts that can be discovered and utilized by various AI clients. The protocol utilizes a JSON-RPC message system that is transport-agnostic, supporting both standard input/output for local processes and HTTP with server-sent events for remote connections. It emphasizes security and control by delegating model sampling to the client to keep API keys secure from servers
Generates content via a client to ensure API keys remain secure and are not exposed to servers.
Superagent is an AI safety platform that protects applications from prompt injections, data leaks, and harmful outputs through built-in guardrails. It functions as a prompt injection detection system, data redaction tool, and red team testing tool, automatically removing personally identifiable information and protected health data from AI inputs and outputs while scanning image uploads with vision AI to detect visual prompt injection attacks before processing. The platform routes every prompt through a sequential pipeline of safety checks including injection detection, data redaction, and co
Scans image uploads with vision AI to detect and block visual prompt injection attacks before processing.
Trail of Bits wraps Model Context Protocol apps to defend against prompt injection via tool descriptions and ANSI terminal escape codes.
agent-governance-toolkit هو إطار عمل لفرض سياسات الأمان، وإدارة هويات الثقة الصفرية، وعزل تنفيذ وكلاء الذكاء الاصطناعي المستقلين. يوفر طبقة حوكمة مصممة للتحكم في سلوك الوكلاء من خلال استخدام محرك سياسات الأمان، وإدارة الهوية التشفيرية، وبيئة عزل تنفيذ وقت التشغيل. يتميز المشروع بنظام حلقة امتياز متعدد المستويات وشبكة هوية تشفيرية تؤمن الاتصال بين الكيانات المستقلة. ينفذ آلية تسجيل ثقة قائمة على التحلل لتتبع موثوقية الكيان ويستخدم سجلات تدقيق مشفرة ومضادة للتلاعب للحفاظ على تاريخ قابل للتحقق من التنفيذ. تغطي مجموعة الأدوات مجموعة واسعة من مجالات القدرات، بما في ذلك أمان المطالبات للدفاع ضد هجمات الحقن، ورسم خرائط الامتثال الآلي مقابل المعايير التنظيمية، وتنظيم سير العمل المستقل باستخدام أنماط الملحمة (Saga). كما يتميز بمراقبة الأسطول لتتبع الصحة وحدود الإنفاق، بالإضافة إلى عزل تنفيذ الأدوات لتقييد الوصول غير المصرح به للموارد. يتم توفير واجهة سطر أوامر لإرسال إشارات التحكم، والتحقق من سياسات الحوكمة، وإدارة تثبيت الامتدادات.
Provides a deterministic pattern scanner to verify that defensive language is present in system prompts before deployment.
OpenSquilla هو إطار عمل لتنسيق وكلاء LLM مصمم لتنسيق سير عمل الذكاء الاصطناعي متعدد الخطوات وتنفيذ الأدوات باستخدام الرسوم البيانية الموجهة غير الدورية (DAGs). يعمل كنظام مركزي لإدارة حزم المهارات المتخصصة وتنفيذ تسلسلات التفكير المعقدة. يتميز المشروع ببوابة توجيه توجه المهام إلى مزودي ذكاء اصطناعي مختلفين بناءً على التعقيد والتكلفة والأداء. يستخدم نظام ذاكرة ذكاء اصطناعي متعدد المستويات ينظم المعرفة العاملة والعرضية والدلالية باستخدام التضمينات المحلية و SQLite، إلى جانب بيئة تنفيذ آمنة تعزل الكود الذي تم إنشاؤه بواسطة الوكيل عبر ملفات تعريف أذونات قائمة على المخاطر. تغطي المنصة مجموعة واسعة من الإمكانيات، بما في ذلك النشر متعدد القنوات على الويب ومنصات المراسلة، وجدولة المهام الآلية عبر cron، وجسر بروتوكول سياق النموذج (Model Context Protocol) للاتصال بالأدوات الخارجية. كما يوفر أدوات مراقبة شاملة لتتبع تكاليف الرموز (Tokens)، وتدقيق قرارات وقت التشغيل، وإدارة كتالوج للمهارات القابلة لإعادة الاستخدام. يتضمن النظام أدوات سطر أوامر لتهيئة مساحة العمل وإدارة دورة حياة المهارات.
Deno AI Agent escapes metadata and tool results using XML to close common prompt injection attack vectors.
Atmosphere is a Java-based framework for building and coordinating AI agents. It provides a real-time transport layer for streaming data via WebSockets, SSE, gRPC, and WebTransport, alongside a multi-agent orchestration framework for managing agent fleets through sequential, parallel, and graph-based execution workflows. The project features a durable workflow engine that persists agent state as snapshots, allowing long-running tasks to survive system restarts and incorporate human-in-the-loop approvals. It also implements Model Context Protocol servers to expose tools, resources, and prompt
Uses confinement blocks prepended to system prompts to ensure agents adhere to defined security boundaries.
This repository is a collection of specialized toolsets and libraries for large language model prompt engineering and security testing. It provides a library of advanced templates and frameworks designed to optimize the quality and specificity of model responses. The project includes resources for red teaming and security research, featuring a repository of prompts designed to bypass safety filters and operational constraints. It also provides techniques for system prompt extraction to reveal the internal instructions and configurations of AI personas. The collection covers a broader surface
Provides security controls and prompt-based rules to defend against malicious prompt injection attacks.
This project is a comprehensive ecosystem of frameworks, toolkits, and datasets designed to evaluate model vulnerabilities and analyze jailbreak patterns. It serves as an adversarial testing framework and research toolkit for measuring the effectiveness of safety guardrails in large language models. The system includes a library of real-world prompt injection datasets harvested from social media to study bypass strategies. It provides specialized tools for semantic attack analysis and prompt visualization, allowing for the mapping of relationships between adversarial prompts to discover commo
Ships a library of real-world prompt injection datasets harvested from social media to study bypass strategies.
This project is an educational and research platform designed to simulate security vulnerabilities within AI-integrated systems and Model Context Protocol implementations. It provides a controlled environment where users can practice identifying and mitigating common attack vectors, such as prompt injection and unauthorized code execution, by interacting with intentionally insecure tools and protocol configurations. The platform distinguishes itself by offering a dedicated laboratory for auditing Model Context Protocol integrations. It exposes server-side functions as discoverable tools and p
Provides a dedicated laboratory for auditing the security posture of Model Context Protocol implementations and tool interactions.