3 Repos
Techniques to prevent overfitting in machine learning models, including weight penalties and data subsampling.
Distinct from L2 Regularization: Covers a combination of L1/L2 regularization, bagging, and column sampling specifically for tree ensembles, which is broader than just L1 or L2 weights.
Explore 3 awesome GitHub repositories matching artificial intelligence & ml · Regularization and Sampling. Refine with filters or upvote what's useful.
LightGBM is a gradient boosting framework used to train decision tree ensembles for classification, regression, and ranking tasks. It functions as a distributed machine learning library and a decision tree ensemble implementation that utilizes leaf-wise growth and histogram-based feature binning. The framework is distinguished by its ability to offload heavy computations to CUDA or OpenCL devices for GPU acceleration and its capacity to parallelize training across multiple nodes using sockets, MPI, or Dask. It includes a specialized categorical feature processor that optimizes partitions for
Implements L1/L2 regularization, bagging, and column sub-sampling to prevent overfitting during the training process.
CatBoost is a gradient boosting machine learning library used to train decision tree ensembles for regression, classification, and ranking tasks. It functions as a high-performance framework that provides a categorical data processor for transforming non-numeric features, a distributed trainer for large-scale datasets, and GPU acceleration to speed up model construction. The library distinguishes itself through native handling of categorical data and text features, removing the need for manual encoding. It includes a specialized model interpretability tool that leverages SHAP values and featu
Adjusts boosting types and bootstrap sampling methods to reduce computational expense and increase training speed.
Neural Prophet ist eine auf PyTorch basierende Bibliothek für Zeitreihenprognosen, die für interpretierbares Machine Learning entwickelt wurde. Sie dient als Dekompositions-Framework, das Signale in Bestandteile wie autoregressive Effekte, stückweise lineare Trends und Fourier-basierte Saisonalität zerlegt, um zukünftige Werte vorherzusagen. Das Projekt zeichnet sich durch die Kombination neuronaler Netze mit traditionellen Algorithmen aus, um Prognosen zu erstellen, die zugrunde liegende Trendtreiber erklären. Es bietet einen globalen Zeitreihen-Modellierungsansatz, der es ermöglicht, ein einzelnes Modell über mehrere gleichzeitige Reihen hinweg zu trainieren, um gelernte Muster zu teilen und gleichzeitig lokale Spezifitäten beizubehalten. Zudem fungiert es als Tool zur Unsicherheitsquantifizierung und nutzt Quantil-Regression und konforme Vorhersagen, um zuverlässige Prognoseintervalle zu generieren. Die Bibliothek bietet eine umfassende Suite an Funktionen für das Datenmanagement, einschließlich Abruf von Feiertagen, Lückenfüllung und Normalisierung. Sie deckt den gesamten Modellierungslebenszyklus mit automatisierter Hyperparameter-Optimierung, Erkennung von Trend-Changepoints und der Integration von zukünftigen sowie verzögerten Regressoren ab. Die Analyse wird durch Prognosedekomposition und Input-Attribution unterstützt, um zu visualisieren, wie spezifische Faktoren die finalen Vorhersagen beeinflussen.
Employs penalty coefficients and sparsity constraints on seasonality and autoregressive components to prevent overfitting.