Awesome GitHub RepositoriesPrompt Template Transformations

OpenPrompt ist ein Prompt-Learning-Framework, das darauf ausgelegt ist, Large Language Models an nachgelagerte NLP-Aufgaben anzupassen. Es bietet ein umfassendes Toolkit zur Implementierung von manuellen, Soft- und kontinuierlichen Prompting-Strategien, wodurch Modelle verfeinert werden können, ohne alle zugrunde liegenden Parameter aktualisieren zu müssen. Das Projekt zeichnet sich durch die Unterstützung von diskretem und kontinuierlichem Prompt-Tuning aus. Es enthält ein System zum Injizieren trainierbarer Soft-Tokens und Embeddings in Modelleingaben mittels Gradientenabstieg sowie eine automatische Prompt-Generierungs-Engine, die Beam-Search und generative Modelle verwendet, um hochwahrscheinliche Text-Templates für spezifische Datensätze zu finden. Das Framework deckt mehrere Kernbereiche ab, darunter Template-Design und Label-Verbalisierung zur Zuordnung von Klassifizierungs-Labels zu Vokabelwörtern. Es bietet zudem Modell-Anpassungstools zum Umhüllen vortrainierter Modelle, Logit-Kalibrierung zur Verbesserung der Vorhersagegenauigkeit sowie eine Daten-Pipeline mit spezialisierter Sampling-Logik für Few-Shot-Learning. Trainings- und Experiment-Workflows werden über Konfigurationsdateien verwaltet, die Lernszenarien, Hyperparameter und Pipeline-Spezifikationen definieren.