Awesome GitHub RepositoriesPrompt Optimizers

This repository is a collection of guides, notebooks, and recipes for implementing advanced prompting techniques and workflow patterns with large language models. It serves as a prompt engineering guide, an evaluation suite for scoring prompt quality, and a framework for orchestrating agents and integrating external tools. The project provides implementation patterns for building applications with Claude, specifically focusing on coordinating multiple models to split complex tasks between high-reasoning and high-efficiency agents. It includes technical demonstrations for multimodal data proce

Deepagents is an LLM agent orchestration platform and stateful application server designed for deploying and managing AI agents built with computational graphs. It provides a containerized runtime environment that handles agent execution, state persistence, and the versioning of AI assistants. The platform distinguishes itself through deep integration with the Model Context Protocol, allowing agents to function as servers that expose tools and capabilities to external clients. It features a sophisticated observability suite for capturing execution traces, performing LLM-based evaluations agai

This project is a comprehensive suite of AI tools and frameworks, featuring an LLM multi-agent orchestrator, an autonomous agent runtime, and a stateful application framework. It provides the infrastructure to build and manage specialized AI agents capable of coordinating complex tasks through graph-based workflows and shared state. The system is distinguished by its implementation of the Model Context Protocol, allowing for standardized resource discovery and communication between AI clients and servers. It further includes an AI-powered documentation generator designed to analyze source cod

This project is an automated prompt engineering and optimization tool designed to iteratively create, test, and refine prompts using a language model to improve output quality. It functions as a framework for generating candidate prompts and ranking their performance through correctness matching and ELO-based ratings. The system includes capabilities for model distillation, generating high-quality example pairs from frontier models to create training data for smaller models. It also provides tools to condense prompts for smaller models and transform instruction-tuned prompts into completion-b

This project is a comprehensive guide and framework for large language model prompt engineering. It provides a collection of techniques and patterns for optimizing model responses through structured system prompts, context management, and a variety of implementation patterns. The project focuses on several specialized domains, including the creation of autonomous agents through reasoning loops and the implementation of retrieval augmented generation to inject semantic context into prompts. It also provides methods for enforcing structured outputs in serialization formats like JSON or YAML for

Arize Phoenix is an LLM observability platform and evaluation framework designed to capture execution traces and monitor large language model applications. It serves as a prompt management system for versioning and testing templates, and as a self-hosted AI operations infrastructure for managing telemetry and experiments. The platform differentiates itself through a specialized embedding visualization tool used to detect data drift and optimize vector search. It provides a comprehensive evaluation suite that utilizes judge-based evaluators and ground-truth datasets to score model outputs, and

ChatGPT-Shortcut is a prompt engineering toolkit and management library designed to organize, refine, and deploy structured instructions for large language models. It functions as a browser-based prompt injector and a self-hosted prompt database, allowing users to maintain a curated collection of specialized templates. The project features a community prompt gallery where users can publish, discover, and vote on effective templates. It distinguishes itself by integrating these libraries directly into chat interfaces via userscripts or browser extensions, enabling access to prompts through sid

Omost is a system of software components designed for iterative image refinement, regional layout control, and the optimization of text-to-image embedding processes. It functions as a diffusion model layout controller and an engine that uses large language models to generate executable code for precise control over image composition. The project features a conversational image editor that allows for the refinement of visual content through natural language instructions and automated code execution. It distinguishes itself through a text embedding optimizer that organizes sub-prompts into tree

This project is a plugin framework and agentic workflow library designed to connect large language models to professional toolstacks. It provides a system for integrating language models with external data warehouses, CRMs, and other enterprise software to retrieve and manipulate real-time business data. The framework enables the automation of specialized professional tasks through a file-based plugin definition system. It allows for the customization of domain expertise and plugin behavior to align with internal company processes, supported by an enterprise data connector that links models t

GrowthBook is a feature flagging and experimentation platform that utilizes a warehouse-native approach to data analysis. It serves as a system for managing feature rollouts and conducting A/B tests by executing SQL queries directly against existing data warehouses to calculate experiment results. The platform is distinguished by its integration of a Model Context Protocol server, which allows AI coding assistants and IDEs to manage flags and query analytics using natural language. It also provides specialized capabilities for AI model optimization, enabling the testing of prompts and models

This project is a comprehensive guide and framework for designing, optimizing, and securing inputs to improve the accuracy and reasoning of large language model outputs. It provides core methodologies for implementing logical reasoning steps, example-based learning, and reusable template systems. The framework distinguishes itself through a focus on security guardrails and ethical auditing, implementing primitives to prevent adversarial prompt injection attacks and identify biases. It also emphasizes structured generation, using persona assignment and negative constraints to control the tone,

Evidently is an AI observability platform and evaluation framework designed to quantify the performance of machine learning models and large language models. It functions as a monitoring tool for detecting data drift and quality degradation in tabular datasets, while providing a specialized analyzer for the faithfulness and correctness of retrieval augmented generation systems. The project distinguishes itself through an evaluation framework that utilizes judge models and custom rubrics to score language model outputs. It includes tools for iterative prompt optimization and the generation of

ChatGPT-AutoExpert is an AI prompt engineering framework and persona management system designed to improve the technical accuracy and nuance of large language model outputs. It provides a collection of curated system prompts and custom instructions to refine user queries and remove conversational filler. The system employs a persona framework to assign specialized expert roles based on the request context. It utilizes a command shortcut system that maps short text sequences to complex instructional sets, enabling the rapid execution of repetitive tasks. For software development, the project

هذا إطار عمل لتعلم الآلة لمعالجة مهام معالجة اللغات الطبيعية المتنوعة كمشكلة نص إلى نص موحدة. يوفر مجموعة أدوات للتدريب المسبق والضبط الدقيق لنماذج المحولات واسعة النطاق، مستخدماً نظاماً يتم فيه تنسيق كل من المدخلات والمخرجات كسلاسل نصية خام. يتميز إطار العمل بنظام التدريب الموزع الخاص به، والذي يستخدم استراتيجيات قائمة على الشبكة لتوسيع أوزان النموذج ودفعات التدريب عبر أنوية TPU متعددة. يدعم التعلم متعدد المهام من خلال دمج مجموعات بيانات متنوعة في تدفق تدريب واحد باستخدام معدلات خليط قابلة للتكوين، مما يسمح لنموذج واحد بالتعامل مع مهام لغوية مختلفة. يغطي النظام مجموعة واسعة من القدرات بما في ذلك بنيات المشفر-فك التشفير (encoder-decoder)، وفك التشفير بالبحث الشعاعي (beam-search) لتوليد النصوص، وتدفقات عمل التعلم بالنقل. يتضمن أدوات لإعداد مجموعات بيانات NLP، وتقييم أداء النموذج، وتصدير نقاط التحقق المدربة لخدمة الإنتاج. تدعم المكتبة تحميل نقاط تحقق النماذج المدربة مسبقاً بأحجام مختلفة لتسريع التطوير.

This project is a framework for the autonomous discovery and remediation of security vulnerabilities using large language model agents. It functions as a security research pipeline that automates the process of reconnaissance, crash discovery, and exploitability analysis to identify reproducible software bugs. The system distinguishes itself by utilizing a containerized agent sandbox that restricts network egress and filesystem access to prevent host compromise. It employs a specialized patch generation and validation loop, which includes adversarial re-attack testing where a fresh agent atte

Kiln is an LLM development workbench and evaluation framework designed for designing, testing, and optimizing prompts and AI agents. It functions as a multi-agent orchestrator and a RAG optimization tool, providing a visual interface for the iterative development of AI systems. The project distinguishes itself through a comprehensive fine-tuning pipeline that supports zero-code model training and reasoning distillation. It enables the creation of hierarchical multi-agent systems where specialized actors coordinate via tool calling, and it implements a Model Context Protocol server to expose t

Promptify عبارة عن مجموعة من الأدوات المصممة لتقييم النماذج، وإدارة المطالبات (prompts)، وتتبع تكلفة الرموز (tokens)، والاستخراج المهيكل، والوصول الموحد لبوابة API. يوفر واجهة موحدة لإدارة الطلبات والاستجابات عبر العديد من مزودي النماذج اللغوية الكبيرة. يتميز المشروع بمنصة إدارة مطالبات لهندسة وإصدار المطالبات مع التحقق من صحة المخرجات المهيكلة. يتضمن إطار عمل تقييم مخصص لقياس أداء النموذج باستخدام درجات الدقة والاستدعاء و f1 مقابل مجموعات البيانات المصنفة، إلى جانب متتبع تكلفة الرموز لمراقبة النفقات المالية لطلبات النموذج. تغطي المكتبة قدرات واسعة لمعالجة اللغة الطبيعية، بما في ذلك استخراج الكيانات المسماة، وتصنيف النصوص، والإجابة على الأسئلة. يدعم سير العمل عالي الحجم من خلال المعالجة المجمعة غير المتزامنة ويضمن اتساق البيانات عن طريق تحويل النص غير المهيكل إلى هياكل بيانات مكتوبة عبر التحقق من المخطط (schema validation).

LMOps هو إطار عمل عملياتي مدفوع بالبحث لتحسين نشر وضبط وأداء النماذج اللغوية الكبيرة. يوفر مجموعة أدوات متخصصة لتكييف النماذج الأساسية، وتسريع الاستدلال، وتحسين المطالبات، وتنسيق السياق. يتميز إطار العمل بمسرع استدلال يقلل من زمن انتقال توليد الرموز عن طريق التحقق من ونسخ امتدادات النص المتداخلة من مستندات مرجعية. كما يتميز بمحسن هندسة مطالبات يستخدم التعلم التعزيزي، وبحث الشعاع (beam search)، وعلامات لغة غير طبيعية لتحسين التعليمات تلقائياً للحصول على جودة مخرجات أعلى. تغطي مجموعة الأدوات مجالات قدرات واسعة بما في ذلك ضبط النماذج وتكييفها للنطاقات المهنية، ومواءمة السلوك باستخدام ملاحظات مولدة بواسطة النموذج، وإدارة السياق المعزز بالاسترجاع للاستجابات المؤصلة. كما يدعم توسيع نطاق التعلم في السياق للمطالبات طويلة التسلسل واختيار بيانات تدريب عالية الجودة لتحسين كفاءة الضبط.

AdalFlow هو إطار عمل لوكلاء الذكاء الاصطناعي المستقلين ومكتبة تطبيقات للنماذج اللغوية الكبيرة (LLM) مصممة لبناء سير عمل معياري. يعمل كواجهة محايدة للنموذج ومنسق لخط أنابيب RAG، مما يسمح للمستخدمين بتطوير وكلاء ReAct يستخدمون التفكير التكراري وتنفيذ الأدوات الخارجية لحل المهام المعقدة. يتميز المشروع بنظام تحسين المطالبة (prompt optimization) الذي يستخدم الانحدار المتدرج النصي لتحسين قوالب المطالبة وأمثلة التعلم القليل (few-shot) تلقائياً. يعامل ملاحظات النموذج كإشارة قابلة للاشتقاق، مما يتيح شكلاً من أشكال الانتشار العكسي للنماذج اللغوية الكبيرة لتحسين جودة المخرجات تكرارياً بناءً على مقاييس التقييم. يغطي إطار العمل سطح قدرات واسعاً، بما في ذلك التوليد المعزز بالاسترجاع (RAG) مع البحث الدلالي المتجه وإعادة الترتيب، وتتبع التنفيذ القائم على النطاق للمراقبة، والتحليل الهيكلي القائم على المخطط. يوفر طبقة اتصال موحدة للعديد من مزودي النماذج المملوكة والمفتوحة المصدر ويدعم تحويل وظائف Python إلى واجهات أدوات قياسية. تم تنفيذ النظام بلغة Python ويتكامل مع MLflow لتتبع وتحليل سير العمل.

OpenGpt هو منصة لتنسيق الوكلاء وواجهة متعددة الوسائط مصممة لبناء ونشر شخصيات ذكاء اصطناعي متخصصة. يسمح للمستخدمين بإنشاء وكلاء موجهين للمهام مع مطالبات نظام مخصصة وقيود سلوكية لأتمتة سير العمل المهني والإبداعي والتقني. يتميز المشروع بسير عمل لهندسة المطالبات (prompt engineering) يحول مدخلات المستخدم البسيطة إلى تعليمات منظمة لتحسين دقة النموذج. يدمج التوليد المعزز بالاسترجاع (RAG) من خلال ربط قواعد بيانات المتجهات بواجهة الدردشة، مما يتيح استجابات واعية بالسياق من مجموعات بيانات خاصة. تغطي المنصة مجموعة واسعة من الإمكانات، بما في ذلك تحليل البيانات متعددة الوسائط لملفات PDF والصوت، وإدارة واجهة برمجة التطبيقات (API) متعددة الموفرين عبر مفاتيح شخصية، وتوليد أنواع محتوى متنوعة مثل المستندات المهنية، والكود الوظيفي، والمطالبات المرئية. كما تتضمن أدوات لتحليل المحتوى، وخدمات الترجمة، وإدارة الهوية عبر Google OAuth.