Awesome GitHub RepositoriesPrompt Optimization Frameworks

This project provides a framework for managing multi-agent systems, designed to automate complex software development, infrastructure, and business workflows. It functions as a multi-agent workflow orchestrator that routes tasks to domain-specific workers while maintaining state persistence and infrastructure automation. By leveraging large language models, the system decomposes high-level objectives into actionable plans, ensuring that complex operations are executed with consistency and reliability. The framework distinguishes itself through its hierarchical agent registry and policy-driven

Comet LLM is an observability platform and evaluation framework designed for large language model applications and agentic workflows. It functions as a system for tracing, monitoring, and debugging execution flows while providing tools for prompt optimization and the enforcement of AI safety guardrails. The platform distinguishes itself through a combination of model-based scoring and heuristic metrics to quantify output quality and detect hallucinations. It includes a dedicated prompt and agent optimizer with an interactive playground for refining templates and tool configurations. For retri

Ragas is an evaluation framework designed to measure the performance of retrieval-augmented generation pipelines and autonomous agent workflows. It provides a comprehensive suite of tools for benchmarking system outputs, utilizing language models as automated judges to score performance against defined rubrics and reference data. By standardizing inputs, retrieved contexts, and generated responses into a unified schema, the project enables consistent analysis across complex AI applications. The framework distinguishes itself through its ability to generate synthetic test datasets from existin

PromptWizard est un framework automatisé conçu pour l'optimisation systématique des instructions pour les grands modèles de langage (LLM). Il fournit un pipeline structuré qui utilise des boucles de rétroaction itératives pour évaluer, critiquer et affiner les prompts en langage naturel, garantissant des performances cohérentes sur diverses tâches génératives. Le système se distingue par une optimisation auto-réflexive, où un modèle est chargé de réécrire ses propres instructions sur la base de métriques de performance automatisées. Il améliore encore la qualité des prompts en intégrant des chaînes de raisonnement logique et des personas d'experts, tout en sélectionnant simultanément des exemples few-shot pour guider les motifs de sortie du modèle. Au-delà de l'affinement de base, le framework inclut des utilitaires pour la génération de données synthétiques afin de combler des lacunes de performance spécifiques et d'étendre les jeux de données d'entraînement. Les utilisateurs peuvent contrôler l'intensité et la portée du processus d'évolution via des hyperparamètres configurables, incluant des paramètres pour les cycles de mutation, les tailles de batch et le nombre d'itérations.

This repository is a collection of specialized toolsets and libraries for large language model prompt engineering and security testing. It provides a library of advanced templates and frameworks designed to optimize the quality and specificity of model responses. The project includes resources for red teaming and security research, featuring a repository of prompts designed to bypass safety filters and operational constraints. It also provides techniques for system prompt extraction to reveal the internal instructions and configurations of AI personas. The collection covers a broader surface

TextGrad is a differentiable text optimization library and framework designed for simulated language model backpropagation. It functions as a textual gradient engine that treats language model feedback as gradients to iteratively refine prompts and unstructured text variables. The system utilizes a computation graph to trace errors from a defined loss function back to input text, allowing it to determine specific improvements. It differentiates itself by implementing natural-language backpropagation and gradient aggregation, which merges multiple pieces of textual critique into consolidated i

Automatic Prompt Engineer est un framework conçu pour automatiser la génération, le raffinement et la mesure de performance des instructions de modèles de langage. Il fonctionne comme un outil systématique pour optimiser la formulation des prompts en testant de manière itérative les instructions candidates par rapport à des jeux de données d'entrée et de sortie spécifiques afin de maximiser la précision de la tâche. Le système se distingue par une approche pilotée par l'évaluation qui utilise des boucles de rétroaction automatisées pour noter les variations de prompts. En employant une structuration des entrées basée sur des modèles, il garantit des environnements de test cohérents où les instructions candidates sont mesurées par rapport à des métriques de performance prédéfinies. Le framework inclut des utilitaires intégrés pour gérer les ressources computationnelles et financières requises pour les tâches d'optimisation. Il fournit des fonctionnalités de pré-calcul pour estimer l'utilisation des jetons et les coûts avant l'exécution, permettant un contrôle budgétaire pendant les tests à grande échelle. Les utilisateurs peuvent définir des modèles d'évaluation et de prompt personnalisés pour standardiser la façon dont les modèles interagissent avec les données et comment la performance est notée à travers différentes itérations.