Awesome GitHub RepositoriesPrompt Optimization Frameworks

This project provides a framework for managing multi-agent systems, designed to automate complex software development, infrastructure, and business workflows. It functions as a multi-agent workflow orchestrator that routes tasks to domain-specific workers while maintaining state persistence and infrastructure automation. By leveraging large language models, the system decomposes high-level objectives into actionable plans, ensuring that complex operations are executed with consistency and reliability. The framework distinguishes itself through its hierarchical agent registry and policy-driven

Comet LLM is an observability platform and evaluation framework designed for large language model applications and agentic workflows. It functions as a system for tracing, monitoring, and debugging execution flows while providing tools for prompt optimization and the enforcement of AI safety guardrails. The platform distinguishes itself through a combination of model-based scoring and heuristic metrics to quantify output quality and detect hallucinations. It includes a dedicated prompt and agent optimizer with an interactive playground for refining templates and tool configurations. For retri

Ragas is an evaluation framework designed to measure the performance of retrieval-augmented generation pipelines and autonomous agent workflows. It provides a comprehensive suite of tools for benchmarking system outputs, utilizing language models as automated judges to score performance against defined rubrics and reference data. By standardizing inputs, retrieved contexts, and generated responses into a unified schema, the project enables consistent analysis across complex AI applications. The framework distinguishes itself through its ability to generate synthetic test datasets from existin

PromptWizard هو إطار عمل مؤتمت مصمم للتحسين المنهجي لتعليمات نماذج اللغات الكبيرة. يوفر خط أنابيب منظماً يستخدم حلقات التغذية الراجعة التكرارية لتقييم، ونقد، وتحسين مطالبات اللغة الطبيعية، مما يضمن أداءً متسقاً عبر مهام توليدية مختلفة. يتميز النظام بالتحسين الذاتي الانعكاسي، حيث يتم تكليف النموذج بإعادة كتابة تعليماته الخاصة بناءً على مقاييس الأداء المؤتمتة. كما يعزز جودة المطالبة من خلال دمج سلاسل التفكير المنطقي وشخصيات الخبراء، مع تنظيم أمثلة قليلة اللقطات (few-shot) في الوقت نفسه لتوجيه أنماط مخرجات النموذج. بالإضافة إلى التحسين الأساسي، يتضمن إطار العمل أدوات لتوليد البيانات الاصطناعية لمعالجة فجوات أداء محددة وتوسيع مجموعات بيانات التدريب. يمكن للمستخدمين التحكم في كثافة ونطاق عملية التطور من خلال معلمات فائقة قابلة للتكوين، بما في ذلك إعدادات جولات الطفرة، وأحجام الدفعات، وعدد التكرارات.

This repository is a collection of specialized toolsets and libraries for large language model prompt engineering and security testing. It provides a library of advanced templates and frameworks designed to optimize the quality and specificity of model responses. The project includes resources for red teaming and security research, featuring a repository of prompts designed to bypass safety filters and operational constraints. It also provides techniques for system prompt extraction to reveal the internal instructions and configurations of AI personas. The collection covers a broader surface

TextGrad is a differentiable text optimization library and framework designed for simulated language model backpropagation. It functions as a textual gradient engine that treats language model feedback as gradients to iteratively refine prompts and unstructured text variables. The system utilizes a computation graph to trace errors from a defined loss function back to input text, allowing it to determine specific improvements. It differentiates itself by implementing natural-language backpropagation and gradient aggregation, which merges multiple pieces of textual critique into consolidated i

Automatic Prompt Engineer هو إطار عمل مصمم لأتمتة إنشاء، وتحسين، وقياس أداء تعليمات نموذج اللغة. يعمل كأداة منهجية لتحسين صياغة المطالبات عن طريق اختبار التعليمات المرشحة بشكل تكراري مقابل مجموعات بيانات إدخال وإخراج محددة لزيادة دقة المهمة. يتميز النظام بنهج قائم على التقييم يستخدم حلقات التغذية الراجعة الآلية لتسجيل تنوعات المطالبات. من خلال استخدام هيكلة الإدخال القائمة على القوالب، فإنه يضمن بيئات اختبار متسقة حيث يتم قياس التعليمات المرشحة مقابل مقاييس أداء محددة مسبقاً. يتضمن إطار العمل أدوات متكاملة لإدارة الموارد الحسابية والمالية المطلوبة لمهام التحسين. يوفر ميزات الحساب المسبق لتقدير استخدام الرموز والتكاليف قبل التنفيذ، مما يسمح بالتحكم في الميزانية أثناء الاختبار واسع النطاق. يمكن للمستخدمين تحديد قوالب تقييم ومطالبة مخصصة لتوحيد كيفية تفاعل النماذج مع البيانات وكيفية تسجيل الأداء عبر تكرارات مختلفة.