Awesome GitHub RepositoriesCustom Attribution Algorithm Frameworks

Captum is an open-source library for explaining model predictions by attributing them to input features, neurons, and layers using gradient-based and perturbation-based methods. It provides a modular framework for implementing, evaluating, and combining a range of explanation techniques, including gradient-based attribution, perturbation-based analysis, game-theoretic Shapley value approximation, and surrogate model explanations, with support for parallelization and noise stabilization. The library distinguishes itself through its breadth of attribution methods and its support for advanced in

Transformers-interpret este o bibliotecă de diagnosticare concepută pentru interpretarea modelelor de machine learning bazate pe transformatoare. Aceasta funcționează ca un framework de atribuire care cuantifică contribuția token-urilor individuale de intrare la predicțiile finale ale unui model, permițând utilizatorilor să auditeze modelele de decizie și să depaneze sarcinile de procesare a limbajului natural (NLP). Biblioteca utilizează analiza bazată pe gradient și introspecția bazată pe hook-uri pentru a urmări modul în care caracteristicile specifice de intrare influențează output-urile modelului. Prin maparea scorurilor de atribuire numerice abstracte înapoi la unități lingvistice lizibile pentru oameni, aceasta oferă o vedere clară asupra modului în care modelele procesează textul. Framework-ul suportă analiza țintită, permițând utilizatorilor să explice predicțiile pentru clase specifice sau să examineze relațiile de intrare pereche. Dincolo de atribuirea de bază, instrumentul include capabilități de vizualizare care generează reprezentări grafice și tabelare ale importanței caracteristicilor. Aceste output-uri ajută la verificarea faptului că modelele se bazează pe date relevante în loc de modele neintenționate, facilitând o înțelegere mai profundă a comportamentului modelului în diverse arhitecturi de transformatoare.