Awesome GitHub RepositoriesData Preprocessing Pipelines

Keras is a high-level deep learning API used to design, build, and train neural networks for tasks such as computer vision, natural language processing, and time series forecasting. It provides a framework for defining model architectures and optimizing weights through a structured interface. The project is defined by a backend-agnostic design that allows the same model code to run across different compute engines. This multi-backend execution enables users to swap underlying engines to optimize for specific hardware or performance requirements. The system supports distributed model training

This project provides a collection of practical machine learning code examples, including implementations for supervised, unsupervised, and reinforcement learning algorithms. It features deep learning model implementations for convolutional, recurrent, and generative architectures, alongside specific examples of reinforcement learning agents that maximize rewards in simulated environments. The repository includes dedicated data preprocessing pipelines for sanitization, feature scaling, and dimensionality reduction. It also provides implementations for a wide range of specific models, such as

Label Studio is a multi-modal data annotation platform designed to create and manage high-quality training datasets for machine learning. It functions as a self-hosted, containerized environment that supports secure, private deployments, including air-gapped configurations. The platform provides a centralized workspace for labeling diverse media types, such as images, text, audio, and time-series data, to support supervised and reinforcement learning workflows. The platform distinguishes itself through deep integration with machine learning backends, enabling active learning loops, automated

This project is a deep learning library designed for training neural networks on irregular data structures, including graphs, 3D meshes, and point clouds. It functions as an extension to the PyTorch framework, providing specialized layers and kernels that enable the processing of complex, non-Euclidean information. The library distinguishes itself through a geometric deep learning toolkit that manages the unique requirements of graph-based data. It utilizes sparse matrix-based message passing to aggregate information across nodes and employs dynamic computational graph construction to accommo

This project is an educational resource providing practical code examples and implementations of machine learning algorithms using the Python language. It serves as a guide for constructing predictive pipelines, clustering models, and dimensionality reduction within the Scikit-Learn ecosystem. The repository includes comprehensive demonstrations for supervised and unsupervised learning, as well as detailed examples for implementing neural networks and deep architectures. It also provides practical guidance on exporting model parameters to JSON and wrapping trained models in web APIs for produ

Nerfstudio ist ein modulares Entwicklungs-Framework zum Trainieren, Visualisieren und Exportieren dreidimensionaler Szenendarstellungen, die aus zweidimensionalen Bilddatensätzen abgeleitet wurden. Es bietet eine neuronale Szenenrekonstruktions-Pipeline, die Rohbilder und Kameradaten in hochauflösende 3D-Assets und filmische Videos unter Verwendung eines differenzierbaren volumetrischen Renderers umwandelt. Das System verfügt über einen interaktiven webbasierten Visualisierer, der es Nutzern ermöglicht, den Trainingsfortschritt zu überwachen und die neuronale Szenengeometrie in Echtzeit zu inspizieren. Es entkoppelt neuronale Netzwerkarchitekturen von der Trainingsschleife durch eine standardisierte modulare Schnittstelle, was die Entwicklung und das Experimentieren mit benutzerdefinierten neuronalen Strahlungsfeldarchitekturen ermöglicht. Das Framework deckt ein breites Spektrum an Fähigkeiten ab, einschließlich der Vorverarbeitung von Datensätzen für die Kamerapositionsberechnung, der Bewertung der Modelltreue und der Generierung filmischer Videosequenzen durch Kameratrajektorien-Interpolation. Es enthält zudem Dienstprogramme zum Exportieren trainierter Szenen als 3D-Assets und Punktwolken zur Verwendung in externer Modellierungssoftware. Eine konsistente Hardwareausführung wird durch containerisierte Umgebungen unterstützt, die Grafiktreiber und Systemabhängigkeiten bündeln.

This is a cross-platform framework for building, training, and deploying custom machine learning models within the .NET ecosystem. It provides a predictive modeling engine for classification, regression, and forecasting tasks, alongside an inference runtime to generate predictions across different hardware architectures. The framework includes a gradient boosting library and supports interoperability with external models via a standardized open format. It features tools for prediction explainability, allowing the analysis of feature importance to debug model behavior and identify bias. The p

This repository is the official documentation for TensorFlow, a machine learning framework. It provides comprehensive guides, tutorials, and API references for building, training, and deploying machine learning models. The documentation covers the full lifecycle of machine learning projects, from constructing data pipelines and building neural networks with high-level APIs to customizing training loops and deploying trained models in production, on edge devices, or in browsers. The documentation includes step-by-step tutorials for a range of tasks, including reinforcement learning, ranking mo

River ist ein Python-Framework für Online-Machine-Learning, das darauf ausgelegt ist, Modelle auf Streaming-Daten zu trainieren und zu evaluieren. Es ermöglicht inkrementelles Lernen durch die Aktualisierung von Modellparametern pro Beobachtung, wodurch das Speichern vollständiger Trainingsdatensätze im Arbeitsspeicher entfällt. Die Bibliothek zeichnet sich durch ein dediziertes System zur Erkennung von Concept Drift aus, das Änderungen in Datenverteilungen überwacht, um eine Modellanpassung auszulösen. Sie bietet zudem ein Framework für progressive Validierung, das den Echtzeit-Einsatz simuliert, indem Modelle an Stichproben getestet werden, bevor sie für das Training verwendet werden. Das System deckt ein breites Spektrum an Streaming-Funktionen ab, einschließlich Echtzeit-Feature-Engineering, Zeitreihenprognosen und Online-Anomalieerkennung. Es unterstützt unüberwachtes Lernen durch inkrementelles Clustering und Entscheidungsbäume sowie Ensemble-Aggregation und Bandit-Richtlinien für die Modellauswahl. Das Projekt enthält Dienstprogramme für das Streaming von Daten aus Quellen wie CSV-Dateien und APIs sowie Werkzeuge zur Berechnung laufender Statistiken und speichereffizienter Daten-Sketches.

Dieses Projekt ist ein Lehrplan für Machine Learning und eine Lernplattform, die über interaktive Jupyter Notebooks bereitgestellt wird. Es dient als umfassender Leitfaden zur Beherrschung des Python-Data-Science-Toolkits und bietet strukturierte Tutorials für numerisches Rechnen, Manipulation tabellarischer Daten und statistische Visualisierung. Der Lehrplan enthält spezifische Implementierungsleitfäden für Scikit-Learn und einen praktischen Kurs zu TensorFlow für den Aufbau, das Training und das Deployment neuronaler Netze und Computer-Vision-Modelle. Er deckt den End-to-End-Prozess des Aufbaus prädiktiver Modelle ab, von der anfänglichen Problemformulierung und Aufgabenkategorisierung bis hin zum Deployment der Modelle über interaktive Weboberflächen. Das Projekt deckt ein breites Funktionsspektrum ab, einschließlich numerischem Rechnen mit mehrdimensionalen Arrays, explorativer Datenanalyse und Datenvorverarbeitungsroutinen. Es bietet detaillierte Workflows für überwachtes und unüberwachtes Lernen, automatisierte Machine-Learning-Pipelines, Hyperparameter-Optimierung und Modellbewertung mittels Klassifizierungsmetriken und Kreuzvalidierung. Der Bildungsinhalt ist als eine Reihe von Notebooks strukturiert, die Python-Code mit narrativen Erklärungen verknüpfen, um Data-Science-Workflows zu dokumentieren.

LatentSync ist ein audio-gesteuerter Videogenerator und ein Latent-Diffusion-Lip-Sync-Modell, das darauf ausgelegt ist, die Lippenbewegungen eines Sprechers in einem Video mit einer Ziel-Audiospur zu synchronisieren. Es bietet ein Lip-Sync-Trainings-Framework zur Entwicklung von Synchronisationsnetzwerken auf benutzerdefinierten Video- und Audiodatensätzen. Das System nutzt eine Video-Vorverarbeitungspipeline, um Gesichtsdaten zu bereinigen, zu segmentieren und auszurichten. Es enthält ein visuelles Sync-Evaluierungstool, das Konfidenzwerte berechnet, um die Genauigkeit der Audio- und Videoausrichtung in generierten Videos zu messen. Das Projekt deckt Funktionen für die Entwicklung benutzerdefinierter Synchronisationsnetzwerke, die Verwaltung von Trainingskonfigurationen für Hardwarespeicher und Auflösung sowie die Evaluierung synthetischer Videos ab.

NVIDIA DALI is a GPU-accelerated data loading and preprocessing library designed for deep learning workflows. It constructs high-performance data pipelines that offload decoding, augmentation, and normalization to the GPU, eliminating CPU bottlenecks in training and inference. The library reads data from multiple storage formats and streams it directly into GPU memory, with support for multi-GPU execution to scale throughput across large-scale workloads. DALI distinguishes itself by enabling data pipelines to be built once and executed across multiple deep learning frameworks without code cha

Leaf ist ein Machine-Learning-Framework und Toolkit für neuronale Netzwerkarchitekturen, das für den Aufbau, das Training und das Deployment von Modellen verwendet wird. Es fungiert als Hardware-Abstraktionsschicht, die hochgradige Computational Graphs auf Low-Level-Anweisungen über verschiedene CPU- und GPU-Backends sowie Betriebssysteme hinweg abbildet. Das System ermöglicht den Entwurf flexibler Modellstrukturen durch eine modulare Architektur, bei der wiederverwendbare Container-Layer Gewichte und mathematische Operationen kapseln. Dies erlaubt die Komposition komplexer neuronaler Netze durch verschachtelte Komponenten. Das Framework enthält eine Data-Engineering-Pipeline zur Transformation von Rohdatensätzen in saubere Tensoren und einen Performance-Profiler zur Identifizierung von Laufzeitengpässen mittels diagnostischer Instrumentierung. Diese Funktionen unterstützen die Optimierung von High-Performance-Computing und das modellübergreifende Deployment auf verschiedener Hardware.

Dieses Projekt bietet eine übersetzte Version der Anleitungen und API-Referenzen der Machine-Learning-Bibliothek scikit-learn für chinesischsprachige Nutzer. Es dient als lokalisierte Wissensdatenbank und technische Referenz für die Implementierung prädiktiver Datenanalysen und statistischer Modellierung unter Verwendung eines Python-basierten Toolkits. Die Ressource deckt die Implementierung von überwachtem Lernen ab, einschließlich Klassifizierungs- und Regressionsaufgaben, sowie Workflows für unüberwachtes Lernen zur Mustererkennung und Anomalieerkennung. Zudem bietet sie Anleitungen zur Data-Science-Ausbildung, mit speziellem Fokus auf die Nutzung von scikit-learn für Machine Learning. Die Dokumentation enthält detaillierte Anweisungen zur Datenvorverarbeitung, Dimensionsreduktion und Feature-Selektion. Sie erläutert zudem die Modellevaluierung und -optimierung durch Leistungsmetriken, Hyperparameter-Optimierung und Generalisierungsvalidierung sowie die Verwendung von Vorhersage-Pipelines und Natural-Language-Processing-Dienstprogrammen.

Kaolin ist eine PyTorch-3D-Deep-Learning-Bibliothek, die eine umfassende Suite an Tools für 3D-Geometrieverarbeitung, Physiksimulation, Datenvisualisierung und gradientenbasiertes Rendering für Computer Vision bereitstellt. Die Bibliothek enthält einen differenzierbaren 3D-Renderer und ein Toolkit zur Geometrieverarbeitung für die Konvertierung und Transformation von 3D-Repräsentationen wie Meshes und Punktwolken. Sie verfügt zudem über eine 3D-Physiksimulations-Engine zur Berechnung physikalischer Interaktionen und Kollisionen zwischen dreidimensionalen Objekten und Szenen. Das Toolkit bietet Utilities für die 3D-Datenvisualisierung, einschließlich der Erstellung interaktiver Ansichten und Turntable-Animationen. Zusätzliche Funktionen decken das 3D-Datenmanagement, die Datenvorverarbeitung und das Rendering von 3D-Repräsentationen ab.

Dieses Projekt ist eine umfassende Lehrressource und ein Kurs zum Aufbau neuronaler Netze mit PyTorch. Es deckt die grundlegenden Bausteine des Deep Learning ab, einschließlich Tensor-Manipulation, automatischer Differenzierung und der Konstruktion modularer Komponenten für neuronale Netze. Das Repository dient als technischer Leitfaden für verschiedene spezialisierte Bereiche. Es bietet Implementierungsdetails für Computer-Vision-Aufgaben wie Bildklassifizierung, Objekterkennung und semantische Segmentierung sowie Workflows für die Verarbeitung natürlicher Sprache (NLP) mit Transformern, rekurrenten Netzen und generativen Modellen. Zudem enthält es eine Referenz für generative KI, mit Fokus auf die Synthese von Bildern mittels Diffusionsmodellen und adversarialen Netzwerken. Das Material erstreckt sich auf Modelloptimierung und Deployment-Pipelines. Es behandelt Techniken zur Reduzierung der Modellgröße und zur Erhöhung der Inferenzgeschwindigkeit durch Quantisierung und den Export von Modellen in Formate wie ONNX und TensorRT. Weitere Kompetenzbereiche umfassen Data Engineering für paralleles Laden, Modellevaluierung mittels benutzerdefinierter Metriken und das Deployment von Open-Source Large Language Models. Das Projekt wird primär als eine Reihe von Jupyter Notebooks bereitgestellt.

Dieses Projekt ist eine Sammlung grundlegender Machine-Learning-Algorithmen und Tools, die von Grund auf in Python implementiert wurden. Es dient als Bibliothek von Kernimplementierungen für Regressions-, Klassifizierungs- und Clustering-Modelle, die dazu konzipiert sind, die zugrunde liegenden mathematischen Strukturen dieser Algorithmen zu demonstrieren, ohne sich auf High-Level-Machine-Learning-Frameworks zu verlassen. Das Projekt konzentriert sich auf die manuelle Implementierung algorithmischer Logik, einschließlich neuronaler Netze mit Forward-Propagation und Gewichtsaktualisierungen sowie verschiedener überwachter und unüberwachter Lernmodelle. Es nutzt NumPy für die Vektorisierung, um Matrixberechnungen und mathematische Operationen auf großen Datensätzen durchzuführen. Das Toolkit deckt ein breites Spektrum an Fähigkeiten ab, einschließlich Dimensionsreduktion mittels Principal Component Analysis und Datenvorverarbeitung für numerische und Bilddatensätze. Die algorithmischen Implementierungen umfassen lineare und Bayes'sche Regression, K-Means-Clustering und mehrere Klassifizierungsmethoden wie Support Vector Machines, Decision Trees und K-Nearest Neighbors. Das Projekt wird als eine Reihe von Jupyter Notebooks bereitgestellt.

Dieses Projekt ist eine umfassende Bildungsressource und ein Tutorial-Handbuch für das Erstellen, Trainieren und Bereitstellen von Machine-Learning-Modellen mit TensorFlow 2. Es dient als strukturierter Lernleitfaden für grundlegende Deep-Learning-Konzepte, einschließlich neuronaler Netzwerkarchitekturen, automatischer Differenzierung und Tensor-Operationen. Das Handbuch bietet technische Anleitungen zur Optimierung der Ausführungseffizienz durch GPU-Speicherverwaltung, verteiltes Training und Modellquantisierung. Es enthält zudem detaillierte Anleitungen für den Aufbau leistungsfähiger Datenpipelines und den Export von Modellen für Produktionsserver, mobile Geräte und Webbrowser. Das Material deckt ein breites Spektrum an Funktionen ab, darunter die Modellentwicklung mit konvolutionellen und rekurrenten Netzwerken, die Implementierung benutzerdefinierter Verlustfunktionen und Layer sowie die Nutzung vortrainierter Modelle für Transfer Learning. Zudem werden Bereitstellungsstrategien für Edge-Geräte und die Nutzung cloudbasierter Runtimes zur Hardwarebeschleunigung behandelt. Die Ressource ist als Sammlung von Jupyter Notebooks implementiert.

This project is a collection of interactive Jupyter notebooks and a structured machine learning tutorial series. It serves as an educational resource for studying predictive modeling and statistical analysis through a curriculum of executable code examples. The notebooks are specifically designed to accompany video tutorials, integrating external video assets with live code to synchronize visual instruction with hands-on experimentation. This approach allows users to follow sequential lessons while executing and modifying machine learning workflows directly in a browser. The content covers t

4DGaussians is a research library and neural rendering engine designed for reconstructing and rendering dynamic three-dimensional scenes. It represents moving environments as a collection of Gaussian primitives that evolve in position and appearance over a temporal dimension. The framework utilizes neural deformation fields to predict spatial offsets and rotations for static point representations, simulating complex motion over time. It further employs temporal basis decomposition to encode motion trajectories into learned functions, compressing dynamic scene data while maintaining smooth tra