Awesome GitHub RepositoriesPrompt Optimizers

This repository is a collection of guides, notebooks, and recipes for implementing advanced prompting techniques and workflow patterns with large language models. It serves as a prompt engineering guide, an evaluation suite for scoring prompt quality, and a framework for orchestrating agents and integrating external tools. The project provides implementation patterns for building applications with Claude, specifically focusing on coordinating multiple models to split complex tasks between high-reasoning and high-efficiency agents. It includes technical demonstrations for multimodal data proce

Deepagents is an LLM agent orchestration platform and stateful application server designed for deploying and managing AI agents built with computational graphs. It provides a containerized runtime environment that handles agent execution, state persistence, and the versioning of AI assistants. The platform distinguishes itself through deep integration with the Model Context Protocol, allowing agents to function as servers that expose tools and capabilities to external clients. It features a sophisticated observability suite for capturing execution traces, performing LLM-based evaluations agai

This project is a comprehensive suite of AI tools and frameworks, featuring an LLM multi-agent orchestrator, an autonomous agent runtime, and a stateful application framework. It provides the infrastructure to build and manage specialized AI agents capable of coordinating complex tasks through graph-based workflows and shared state. The system is distinguished by its implementation of the Model Context Protocol, allowing for standardized resource discovery and communication between AI clients and servers. It further includes an AI-powered documentation generator designed to analyze source cod

This project is an automated prompt engineering and optimization tool designed to iteratively create, test, and refine prompts using a language model to improve output quality. It functions as a framework for generating candidate prompts and ranking their performance through correctness matching and ELO-based ratings. The system includes capabilities for model distillation, generating high-quality example pairs from frontier models to create training data for smaller models. It also provides tools to condense prompts for smaller models and transform instruction-tuned prompts into completion-b

This project is a comprehensive guide and framework for large language model prompt engineering. It provides a collection of techniques and patterns for optimizing model responses through structured system prompts, context management, and a variety of implementation patterns. The project focuses on several specialized domains, including the creation of autonomous agents through reasoning loops and the implementation of retrieval augmented generation to inject semantic context into prompts. It also provides methods for enforcing structured outputs in serialization formats like JSON or YAML for

Arize Phoenix is an LLM observability platform and evaluation framework designed to capture execution traces and monitor large language model applications. It serves as a prompt management system for versioning and testing templates, and as a self-hosted AI operations infrastructure for managing telemetry and experiments. The platform differentiates itself through a specialized embedding visualization tool used to detect data drift and optimize vector search. It provides a comprehensive evaluation suite that utilizes judge-based evaluators and ground-truth datasets to score model outputs, and

ChatGPT-Shortcut is a prompt engineering toolkit and management library designed to organize, refine, and deploy structured instructions for large language models. It functions as a browser-based prompt injector and a self-hosted prompt database, allowing users to maintain a curated collection of specialized templates. The project features a community prompt gallery where users can publish, discover, and vote on effective templates. It distinguishes itself by integrating these libraries directly into chat interfaces via userscripts or browser extensions, enabling access to prompts through sid

Omost is a system of software components designed for iterative image refinement, regional layout control, and the optimization of text-to-image embedding processes. It functions as a diffusion model layout controller and an engine that uses large language models to generate executable code for precise control over image composition. The project features a conversational image editor that allows for the refinement of visual content through natural language instructions and automated code execution. It distinguishes itself through a text embedding optimizer that organizes sub-prompts into tree

This project is a plugin framework and agentic workflow library designed to connect large language models to professional toolstacks. It provides a system for integrating language models with external data warehouses, CRMs, and other enterprise software to retrieve and manipulate real-time business data. The framework enables the automation of specialized professional tasks through a file-based plugin definition system. It allows for the customization of domain expertise and plugin behavior to align with internal company processes, supported by an enterprise data connector that links models t

GrowthBook is a feature flagging and experimentation platform that utilizes a warehouse-native approach to data analysis. It serves as a system for managing feature rollouts and conducting A/B tests by executing SQL queries directly against existing data warehouses to calculate experiment results. The platform is distinguished by its integration of a Model Context Protocol server, which allows AI coding assistants and IDEs to manage flags and query analytics using natural language. It also provides specialized capabilities for AI model optimization, enabling the testing of prompts and models

This project is a comprehensive guide and framework for designing, optimizing, and securing inputs to improve the accuracy and reasoning of large language model outputs. It provides core methodologies for implementing logical reasoning steps, example-based learning, and reusable template systems. The framework distinguishes itself through a focus on security guardrails and ethical auditing, implementing primitives to prevent adversarial prompt injection attacks and identify biases. It also emphasizes structured generation, using persona assignment and negative constraints to control the tone,

Evidently is an AI observability platform and evaluation framework designed to quantify the performance of machine learning models and large language models. It functions as a monitoring tool for detecting data drift and quality degradation in tabular datasets, while providing a specialized analyzer for the faithfulness and correctness of retrieval augmented generation systems. The project distinguishes itself through an evaluation framework that utilizes judge models and custom rubrics to score language model outputs. It includes tools for iterative prompt optimization and the generation of

ChatGPT-AutoExpert is an AI prompt engineering framework and persona management system designed to improve the technical accuracy and nuance of large language model outputs. It provides a collection of curated system prompts and custom instructions to refine user queries and remove conversational filler. The system employs a persona framework to assign specialized expert roles based on the request context. It utilizes a command shortcut system that maps short text sequences to complex instructional sets, enabling the rapid execution of repetitive tasks. For software development, the project

Dies ist ein Machine-Learning-Framework zur Behandlung diverser Natural-Language-Processing-Aufgaben als einheitliches Text-zu-Text-Problem. Es bietet ein Toolkit für das Pre-Training und Fine-Tuning groß angelegter Transformer-Modelle und nutzt ein System, bei dem sowohl Eingaben als auch Ausgaben als rohe Textsequenzen formatiert sind. Das Framework zeichnet sich durch sein verteiltes Trainingssystem aus, das Mesh-basierte Strategien verwendet, um Modellgewichte und Trainings-Batches über mehrere TPU-Kerne hinweg zu skalieren. Es unterstützt Multi-Task-Learning durch die Kombination diverser Datensätze in einem einzigen Trainingsstrom unter Verwendung konfigurierbarer Mischraten, wodurch ein einziges Modell verschiedene Sprachaufgaben bewältigen kann. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich Encoder-Decoder-Architekturen, Beam-Search-Decoding für Textgenerierung und Transfer-Learning-Workflows. Es enthält Dienstprogramme für die Vorbereitung von NLP-Datensätzen, die Bewertung der Modellleistung und den Export trainierter Checkpoints für die produktive Bereitstellung. Die Bibliothek unterstützt das Laden vortrainierter Modell-Checkpoints verschiedener Größen, um die Entwicklung zu beschleunigen.

This project is a framework for the autonomous discovery and remediation of security vulnerabilities using large language model agents. It functions as a security research pipeline that automates the process of reconnaissance, crash discovery, and exploitability analysis to identify reproducible software bugs. The system distinguishes itself by utilizing a containerized agent sandbox that restricts network egress and filesystem access to prevent host compromise. It employs a specialized patch generation and validation loop, which includes adversarial re-attack testing where a fresh agent atte

Kiln ist eine LLM-Entwicklungs-Workbench und ein Evaluierungs-Framework, das für das Design, das Testen und die Optimierung von Prompts und KI-Agenten entwickelt wurde. Es fungiert als Multi-Agenten-Orchestrator und RAG-Optimierungstool und bietet eine visuelle Schnittstelle für die iterative Entwicklung von KI-Systemen. Das Projekt zeichnet sich durch eine umfassende Fine-Tuning-Pipeline aus, die Zero-Code-Modelltraining und Reasoning-Destillation unterstützt. Es ermöglicht die Erstellung hierarchischer Multi-Agenten-Systeme, in denen spezialisierte Akteure über Tool-Calling koordinieren, und implementiert einen Model Context Protocol-Server, um diese Agenten und Suchfunktionen als standardisierte Tools für externe Clients bereitzustellen. Die Plattform deckt ein breites Spektrum an Fähigkeiten ab, einschließlich automatisierter KI-Jury-Bewertung zur Qualitätssicherung, synthetischer Datengenerierung für Training und Evaluierung sowie hybrider Vektor-Keyword-Suche zur Erdung von Modellantworten. Sie bietet zudem Tools für Prompt-Evolution, Trace-Auditing und die Verwaltung kollaborativer Datensätze via Git-Integration. Die Workbench ist über eine selbst-hostbare REST-API und eine dedizierte Python-Bibliothek für die programmatische Workflow-Ausführung zugänglich.

Promptify ist eine Suite von Tools für Modellevaluierung, Prompt-Management, Token-Kostenverfolgung, strukturierte Extraktion und einheitlichen API-Gateway-Zugriff. Es bietet eine standardisierte Schnittstelle zur Verwaltung von Anfragen und Antworten über mehrere Anbieter großer Sprachmodelle hinweg. Das Projekt umfasst eine Prompt-Management-Plattform für das Engineering und die Versionierung von Prompts mit strukturierter Ausgabevalidierung. Es enthält ein dediziertes Evaluierungsframework zur Messung der Modellleistung anhand von Precision-, Recall- und F1-Scores gegenüber gelabelten Datensätzen sowie einen Token-Kosten-Tracker zur Überwachung der finanziellen Ausgaben für Modellanfragen. Die Bibliothek deckt breite Funktionen für die Verarbeitung natürlicher Sprache ab, einschließlich Named-Entity-Extraktion, Textklassifizierung und Question-Answering. Sie unterstützt hochvolumige Workflows durch asynchrone Batch-Verarbeitung und stellt Datenkonsistenz sicher, indem unstrukturierter Text mittels Schema-Validierung in typisierte Datenstrukturen konvertiert wird.

LMOps ist ein forschungsorientiertes Operations-Framework zur Optimierung der Bereitstellung, des Fine-Tunings und der Leistung von Large Language Models. Es bietet ein spezialisiertes Toolkit für die Anpassung von Foundation-Modellen, Inferenzbeschleunigung, Prompt-Optimierung und Kontext-Orchestrierung. Das Framework zeichnet sich durch einen Inferenz-Beschleuniger aus, der die Token-Generierungslatenz reduziert, indem er überlappende Textspannen aus Referenzdokumenten verifiziert und kopiert. Es verfügt zudem über einen Prompt-Engineering-Optimierer, der Reinforcement Learning, Beam Search und nicht-natürliche Sprachmarker einsetzt, um Anweisungen automatisch für eine höhere Ausgabequalität zu verfeinern. Das Toolkit deckt breite Fähigkeitsbereiche ab, einschließlich Modell-Tuning und Anpassung für professionelle Domänen, Verhaltensausrichtung mittels modellgeneriertem Feedback und Retrieval-Augmented-Context-Management für fundierte Antworten. Es unterstützt zudem die Skalierung von In-Context-Learning für Langsequenz-Prompts und die Auswahl hochwertiger Trainingsdaten, um die Effizienz des Fine-Tunings zu verbessern.

AdalFlow is an autonomous AI agent framework and LLM application library designed for building modular workflows. It serves as a model-agnostic interface and RAG pipeline orchestrator, allowing users to develop ReAct agents that utilize iterative reasoning and external tool execution to solve complex tasks. The project distinguishes itself through a prompt optimization system that uses textual gradient descent to automatically refine prompt templates and few-shot examples. It treats model feedback as a differentiable signal, enabling a form of LLM backpropagation to iteratively improve output

OpenGpt ist eine Agenten-Orchestrierungsplattform und multimodale Schnittstelle für den Aufbau und die Bereitstellung spezialisierter KI-Personas. Sie ermöglicht es Benutzern, aufgabenorientierte Agenten mit benutzerdefinierten System-Prompts und Verhaltensvorgaben zu erstellen, um professionelle, kreative und technische Workflows zu automatisieren. Das Projekt bietet einen Prompt-Engineering-Workflow, der einfache Benutzereingaben in strukturierte Anweisungen umwandelt, um die Modellgenauigkeit zu verbessern. Es integriert Retrieval-Augmented Generation durch die Anbindung von Vektordatenbanken an das Chat-Interface, was kontextbezogene Antworten aus privaten Datensätzen ermöglicht. Die Plattform deckt ein breites Spektrum an Funktionen ab, darunter multimodales Daten-Parsing für PDFs und Audio, Multi-Provider-API-Management via persönlicher Keys sowie die Generierung diverser Content-Typen wie professionelle Dokumente, funktionaler Code und visuelle Prompts. Zudem enthält sie Tools für Inhaltsanalyse, Übersetzungsdienste und Identitätsmanagement via Google OAuth.