9 Repos
Methods for adding penalty terms to training processes to prevent overfitting and improve model generalization.
Distinct from Regression Models: Distinct from Regression Models: focuses specifically on the regularization mechanisms applied to models rather than the regression algorithms themselves.
Explore 9 awesome GitHub repositories matching artificial intelligence & ml · Regularization Techniques. Refine with filters or upvote what's useful.
This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i
Explains the use of L1 regularization to promote sparse solutions by penalizing the absolute value of weights.
This project is a machine learning algorithm reference and implementation guide that provides theoretical foundations and code for supervised learning, deep learning, and natural language processing. It serves as a comprehensive toolkit for implementing predictive models and a technical reference for algorithm engineering. The project focuses on ensemble learning frameworks, including the construction of decision trees, random forests, and gradient boosting models. It also functions as a probabilistic graphical model library and an NLP algorithm reference, with specific implementations for se
Implements L1 regularization (Lasso) to shrink unimportant feature coefficients to zero for sparse feature selection.
This project is an educational resource providing practical code examples and implementations of machine learning algorithms using the Python language. It serves as a guide for constructing predictive pipelines, clustering models, and dimensionality reduction within the Scikit-Learn ecosystem. The repository includes comprehensive demonstrations for supervised and unsupervised learning, as well as detailed examples for implementing neural networks and deep architectures. It also provides practical guidance on exporting model parameters to JSON and wrapping trained models in web APIs for produ
Demonstrates regularization techniques, such as penalty terms, to prevent overfitting in regression models.
This project is a comprehensive library for numerical linear algebra and scientific computing, designed to provide optimized routines for matrix decomposition, statistical modeling, and high-performance data analysis. It serves as both a toolkit for solving complex linear systems and an educational resource for understanding the fundamental algorithms behind matrix factorizations and numerical solvers. The library distinguishes itself through a focus on randomized numerical linear algebra, utilizing probabilistic algorithms and approximate methods to perform dimensionality reduction and matri
The library adds penalty terms to training processes to prevent overfitting and ensure models remain simple enough to generalize well to new, unseen data.
This project is a machine learning educational resource and implementation guide for Python. It provides a collection of executable code and notebooks that demonstrate predictive modeling, data analysis workflows, and the implementation of various machine learning algorithms. The repository features practical examples of classification, regression, and clustering tasks using Scikit-Learn, alongside tutorials for building and training deep learning architectures with TensorFlow. These include implementations of convolutional and recurrent networks. The content covers a broad range of capabili
Implements penalty terms in regression models to prevent overfitting and improve generalization.
This repository is a collection of implementation references and solved notebooks covering supervised, unsupervised, and reinforcement learning techniques. It provides practical guides for building predictive models, clustering algorithms, and autonomous agents. The project includes specific implementations for neural network architectures, such as multi-layer perceptrons for digit recognition, and recommender systems using collaborative and content-based filtering. It also features reinforcement learning systems that utilize deep Q-learning to optimize decision-making policies. The codebase
Implements regularization techniques to penalize large weights and prevent model overfitting.
Dieses Projekt ist eine umfassende Bildungsressource und ein technisches Handbuch, das sich auf interpretierbares Machine Learning und erklärbare KI konzentriert. Es dient als Lehrbuch und Referenz für die Implementierung von Techniken, die komplexe Machine-Learning-Modelle für Menschen transparent und verständlich machen. Die Ressource bietet Anleitungen sowohl zum Aufbau inhärent transparenter Modelle, wie Entscheidungsbäumen und dünnbesetzten linearen Modellen, als auch zur Anwendung von Post-hoc-Erklärungsmethoden auf Black-Box-Systeme. Sie beschreibt spezifische Methoden zur Quantifizierung der Merkmalswichtigkeit, zur Generierung von Begründungen für individuelle Vorhersagen und zur Verwendung von Surrogat-Modellen zur Approximation komplexer Entscheidungsprozesse. Der Inhalt deckt ein breites Spektrum analytischer Funktionen ab, einschließlich der Analyse des globalen und lokalen Merkmalseinflusses, der Interpretierbarkeit von Computer Vision und der Verwendung spieltheoretischer Beiträge wie Shapley-Werten. Er befasst sich zudem mit der Modellevaluierung durch Interpretierbarkeitsbewertungen, Debugging-Workflows zur Identifizierung von Modell-Shortcuts und dem Design transparenter Algorithmusstrukturen. Das Projekt ist als Sammlung von Jupyter Notebooks implementiert.
Uses L1 regularization to constrain the number of active features, ensuring human-readable model complexity.
Dieses Projekt ist ein umfassendes Bildungsprogramm und Deep-Learning-Framework, das darauf ausgelegt ist, praktisches Deep Learning mit PyTorch anhand von Notebooks und Codebeispielen zu vermitteln. Es dient als High-Level-Bibliothek zum Erstellen, Trainieren und Bereitstellen neuronaler Netze und fungiert als Modell-Trainings-Orchestrator, der PyTorch-Modelle, Optimierer und Verlustfunktionen koordiniert. Das Projekt bietet spezialisierte Toolkits für Computer Vision, Natural Language Processing und die Vorverarbeitung tabellarischer Daten. Es zeichnet sich durch fortschrittliche Trainingskontrollen aus, wie z. B. diskriminative Lernraten, ein Zwei-Wege-Callback-System zur Anpassung der Trainingslogik und eine High-Level-Learner-Abstraktion, die die Geräteplatzierung und Trainingsschleifen automatisiert. Das Framework deckt ein breites Fähigkeitsspektrum ab, einschließlich der automatisierten Konstruktion von Datenpipelines, der Analyse von Modellarchitekturen und der Leistungsbewertung bei Klassifizierungs-, Regressions- und Segmentierungsaufgaben. Es enthält zudem Dienstprogramme für verteiltes Training über mehrere GPUs, Mixed-Precision-Training zur Speicheroptimierung und spezialisierte Unterstützung für medizinische Bilddaten. Das Projekt wird als eine Reihe von Jupyter Notebooks bereitgestellt.
fastai adds AR and TAR regularization to the training process to improve model generalization.
Dieses Projekt ist eine PyTorch-Bibliothek für den Aufbau und das Training von Kolmogorov-Arnold-Networks. Es implementiert eine neuronale Netzwerkarchitektur, die feste Aktivierungsfunktionen durch lernbare Spline-basierte Funktionen an den Kanten ersetzt und als Tool für interpretierbares Machine Learning dient. Die Implementierung nutzt reformulierte Matrixoperationen, um den Speicher-Overhead zu reduzieren und die Rechengeschwindigkeit zu erhöhen. Sie verwendet L1-Regularisierung, um Netzwerkgewichte zu spärlich zu machen, was die Transparenz der internen Logik und Entscheidungen des Modells verbessert. Das Framework deckt eine Reihe von Funktionen ab, darunter gitterbasierte Funktionsapproximation, B-Spline-Aktivierungsfunktionen und die Optimierung von Deep-Learning-Modellen. Diese Funktionen sind unter Verwendung nativer PyTorch-Tensoren aufgebaut, um automatische Differenzierung und Hardwarebeschleunigung zu unterstützen.
Applies L1 regularization to penalize absolute weight values and induce sparsity for better interpretability.