Awesome GitHub RepositoriesEntity Label Mapping

Presidio is a PII detection and anonymization framework designed to identify and mask personally identifiable information in text. It functions as a PII recognition pipeline and a data masking engine, using a combination of machine learning, regular expressions, and rule-based logic to locate sensitive entities. The system acts as an NER model orchestrator, allowing for the integration of external named entity recognition models and PII detectors to support multi-language privacy scrubbing. It employs a plugin-based recognizer architecture that can be extended with custom recognizers, deny-li

yolotf este un framework de detecție a obiectelor care oferă instrumente pentru convertirea configurațiilor și ponderilor modelelor Darknet în grafuri TensorFlow. Include un antrenor de modele TensorFlow pentru antrenarea de noi modele de detecție sau fine-tuning-ul ponderilor existente folosind seturi de date personalizate. Proiectul dispune de un exportator de modele mobile care serializează definițiile grafurilor și metadatele în fișiere protobuf pentru deployment pe dispozitive mobile. Framework-ul suportă inferența de detecție a obiectelor pe imagini și video pentru a identifica obiecte și a exporta coordonatele bounding box-urilor. Gestionează starea modelului prin traducerea mapării ponderilor și antrenare bazată pe checkpoint-uri pentru a permite restaurarea ponderilor și a stărilor optimizatorului.

OpenPrompt este un framework de prompt learning conceput pentru a adapta modelele de limbaj mari (LLM) la sarcini de procesare a limbajului natural (NLP). Oferă un set de instrumente cuprinzător pentru implementarea strategiilor de prompting manual, soft și continuu, permițând rafinarea modelelor fără a actualiza toți parametrii subiacenți. Proiectul se distinge prin suportul pentru tuning-ul prompt-urilor discrete și continue. Include un sistem pentru injectarea de soft tokens și embedding-uri antrenabile în input-urile modelului prin gradient descent, precum și un motor de generare automată a prompt-urilor care utilizează beam search și modele generative pentru a descoperi șabloane de text cu probabilitate ridicată pentru seturi de date specifice. Framework-ul acoperă mai multe domenii de capabilități de bază, inclusiv designul de șabloane și verbalizarea etichetelor pentru maparea etichetelor de clasificare la cuvinte din vocabular. Oferă, de asemenea, instrumente de adaptare a modelelor pentru a încapsula modele pre-antrenate, calibrarea logit-urilor pentru a îmbunătăți acuratețea predicțiilor și un pipeline de date cu logică de eșantionare specializată pentru few-shot learning. Fluxurile de lucru de antrenare și experimentare sunt gestionate prin fișiere de configurare care definesc scenariile de învățare, hiperparametrii și specificațiile pipeline-ului.