Awesome GitHub RepositoriesNLP Template Engines

OpenPrompt este un framework de prompt learning conceput pentru a adapta modelele de limbaj mari (LLM) la sarcini de procesare a limbajului natural (NLP). Oferă un set de instrumente cuprinzător pentru implementarea strategiilor de prompting manual, soft și continuu, permițând rafinarea modelelor fără a actualiza toți parametrii subiacenți. Proiectul se distinge prin suportul pentru tuning-ul prompt-urilor discrete și continue. Include un sistem pentru injectarea de soft tokens și embedding-uri antrenabile în input-urile modelului prin gradient descent, precum și un motor de generare automată a prompt-urilor care utilizează beam search și modele generative pentru a descoperi șabloane de text cu probabilitate ridicată pentru seturi de date specifice. Framework-ul acoperă mai multe domenii de capabilități de bază, inclusiv designul de șabloane și verbalizarea etichetelor pentru maparea etichetelor de clasificare la cuvinte din vocabular. Oferă, de asemenea, instrumente de adaptare a modelelor pentru a încapsula modele pre-antrenate, calibrarea logit-urilor pentru a îmbunătăți acuratețea predicțiilor și un pipeline de date cu logică de eșantionare specializată pentru few-shot learning. Fluxurile de lucru de antrenare și experimentare sunt gestionate prin fișiere de configurare care definesc scenariile de învățare, hiperparametrii și specificațiile pipeline-ului.