7 Repos
Creates new evaluation metrics by subclassing a base metric class and implementing process, compute, and evaluate methods.
Distinct from Evaluation Metrics: Distinct from Evaluation Metrics: focuses on the extensibility mechanism for defining new metrics, not the metrics themselves.
Explore 7 awesome GitHub repositories matching artificial intelligence & ml · Custom Metric Implementations. Refine with filters or upvote what's useful.
This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque
Implements custom evaluation metrics by extending base metric classes to meet specific project requirements.
MMSegmentation is an open-source semantic segmentation toolbox built on PyTorch that provides a modular, configurable framework for building, training, evaluating, and deploying segmentation models. At its core, it offers a config-driven pipeline that assembles training, evaluation, and inference workflows by parsing hierarchical configuration files, with a modular component registry that enables plug-and-play composition of neural network modules, optimizers, datasets, and metrics. The framework supports the full model lifecycle through a unified runner interface that controls training, testi
Allows users to create new evaluation metrics by subclassing a base metric class and implementing custom computation logic.
MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish
Adds new evaluation metrics by subclassing a base class and registering them with a decorator for configuration-driven use.
GluonTS ist eine probabilistische Zeitreihenbibliothek und ein Deep-Learning-Prognose-Framework. Es bietet ein Toolkit zum Aufbau, Training und zur Evaluierung neuronaler Netzwerkarchitekturen, die zukünftige Werte als Wahrscheinlichkeitsverteilungen vorhersagen, um Unsicherheit zu quantifizieren. Das Projekt zeichnet sich durch die Unterstützung von Zero-Shot-Forecasting und die Integration diverser Modellierungsansätze aus, einschließlich tiefer probabilistischer neuronaler Netze und Wrapper für externe statistische Bibliotheken wie Prophet und R forecast. Es implementiert spezialisierte architektonische Primitiven wie kausale Konvolutionen und invertierbare Residual-Netzwerke, um Informationslecks zu verhindern und latente Repräsentationen in gültige Wahrscheinlichkeitsverteilungen abzubilden. Das Framework deckt eine umfassende Data-Engineering-Oberfläche ab, einschließlich Zeitreihenskalierung, bijektiver Transformationen und hierarchischer Modellierung. Es nutzt Apache Arrow und Parquet für hochperformantes Datensatz-Streaming und Random-Access-Management. Zur Modellbewertung enthält es eine Evaluierungssuite zur Messung von Prognosegenauigkeit und probabilistischer Abdeckung unter Verwendung von Metriken wie Quantile Loss und Continuous Rank Probability Scores. Die Bibliothek unterstützt die Modellbereitstellung durch Integration mit Amazon SageMaker.
Provides mechanisms to compose multiple simple evaluation metrics into a single derived metric.
GluonTS ist ein Framework für probabilistische Zeitreihenprognosen, das darauf ausgelegt ist, zukünftige Werte als Wahrscheinlichkeitsverteilungen mit Konfidenzintervallen vorherzusagen. Es unterstützt sowohl das traditionelle Modelltraining als auch Zero-Shot-Forecasting, bei dem vortrainierte Modelle Vorhersagen für neue Serien ohne zusätzliches Training generieren. Das Projekt zeichnet sich durch die Integration einer Vielzahl von Prognoseansätzen in einen einheitlichen Workflow aus. Dies umfasst Deep-Learning-Architekturen wie rekurrente neuronale Netze und kausale Konvolutionen sowie die Integration externer statistischer Modelle, der Prophet-Bibliothek und R-Paketen. Das Toolkit bietet eine umfassende Oberfläche für das Zeitreihen-Data-Engineering, die Datensatzskalierung, -aufteilung und die Transformation roher Zeitdaten in Tensoren abdeckt. Es enthält zudem eine Suite von Evaluierungstools zur Messung von Prognosegenauigkeit und Unsicherheitsintervallen sowie Hilfsmittel zur Datensatzpersistenz unter Verwendung von Formaten wie Arrow und Parquet. Das Framework unterstützt die Bereitstellung von Prognosemodellen innerhalb der Cloud-Infrastruktur.
Allows building evaluation measures by combining simple metrics and applying custom post-processing functions.
mmocr ist ein auf PyTorch basierendes Framework für optische Zeichenerkennung (OCR), das für das Training und Deployment von Modellen zur Texterkennung, -identifizierung und Extraktion von Schlüsselinformationen entwickelt wurde. Es dient als umfassende Toolbox für die Erkennung und Identifizierung von Text in Szenen und bietet spezialisierte Bibliotheken zum Lokalisieren von Textregionen und zum Konvertieren von visuellem Text in maschinell kodierte Strings. Das Projekt zeichnet sich durch ein Forschungs-Framework für die Extraktion von Schlüsselinformationen und fortgeschrittene Text-Spotting-Funktionen aus. Dazu gehören punktbasiertes Spotting mittels Transformern und die Verwendung parametrisierter Bezier-Kurven, um beliebig geformten Text zu identifizieren und zu transkribieren. Das Framework deckt ein breites Spektrum an Computer-Vision-Funktionen ab, einschließlich Daten-Pipeline-Management zur Augmentierung und Standardisierung diverser OCR-Datensätze, Modelltraining mit verteilter Skalierung und Performance-Evaluierung unter Verwendung von Standard-OCR-Metriken. Es bietet zudem Dienstprogramme für geometrische Polygon-Manipulation und Ergebnisvisualisierung zur Überprüfung von Vorhersagen gegen Ground-Truth-Annotationen. Das System ist in Python implementiert und unterstützt die Installation über Docker-Umgebungs-Packaging.
Allows for the creation of new evaluation metrics by subclassing a base metric class and implementing custom logic.
Dieses Projekt ist eine umfassende Bildungsressource und ein Tutorial-Handbuch für das Erstellen, Trainieren und Bereitstellen von Machine-Learning-Modellen mit TensorFlow 2. Es dient als strukturierter Lernleitfaden für grundlegende Deep-Learning-Konzepte, einschließlich neuronaler Netzwerkarchitekturen, automatischer Differenzierung und Tensor-Operationen. Das Handbuch bietet technische Anleitungen zur Optimierung der Ausführungseffizienz durch GPU-Speicherverwaltung, verteiltes Training und Modellquantisierung. Es enthält zudem detaillierte Anleitungen für den Aufbau leistungsfähiger Datenpipelines und den Export von Modellen für Produktionsserver, mobile Geräte und Webbrowser. Das Material deckt ein breites Spektrum an Funktionen ab, darunter die Modellentwicklung mit konvolutionellen und rekurrenten Netzwerken, die Implementierung benutzerdefinierter Verlustfunktionen und Layer sowie die Nutzung vortrainierter Modelle für Transfer Learning. Zudem werden Bereitstellungsstrategien für Edge-Geräte und die Nutzung cloudbasierter Runtimes zur Hardwarebeschleunigung behandelt. Die Ressource ist als Sammlung von Jupyter Notebooks implementiert.
Explains how to create new evaluation metrics by subclassing a base metric class and implementing state updates.