Awesome GitHub RepositoriesAI Generated Code Scanning

PurpleLlama este o colecție de seturi de instrumente de securitate și framework-uri concepute pentru a audita vulnerabilitățile modelelor de limbaj mari (LLM) și a implementa guardrail-uri de input-output la runtime. Oferă un framework de evaluare a securității și o suită de benchmark-uri pentru a cuantifica riscurile asociate cu injecțiile de prompt-uri și generarea de cod malițios. Proiectul include un moderator de conținut și filtre de input-output care utilizează o taxonomie standardizată pentru a identifica și bloca conținutul dăunător, tentativele de jailbreaking și comenzile nesigure. De asemenea, dispune de capabilități pentru clasificarea documentelor sensibile pentru a preveni expunerea neautorizată a informațiilor private. Sistemul acoperă o suprafață largă de securitate, inclusiv clasificarea siguranței în mai multe limbi, scanarea codului în timpul execuției pentru vulnerabilități și benchmarking-ul riscurilor de securitate cibernetică bazat pe framework-uri standard din industrie.

PurpleLlama este o colecție de componente de securitate și toolkit-uri concepute pentru modele de limbaj mari. Oferă sisteme specializate, inclusiv un scanner de securitate a codului, un sistem de moderare a conținutului, un firewall pentru prompt injection și un toolkit de evaluare a securității. Proiectul permite identificarea și blocarea tentativelor de jailbreaking și a prompt-urilor malițioase în timpul inferenței modelului. Include capabilități pentru detectarea conținutului care încalcă regulile în mai multe limbi și modalități și scanarea codului generat pentru vulnerabilități pentru a preveni execuția comenzilor nesigure. Framework-ul suportă în continuare cuantificarea riscurilor de securitate cibernetică prin evaluări ale posturii de securitate și implementarea filtrelor de input și output pentru a aplica bariere de siguranță în fluxurile de lucru ale modelului.