Awesome GitHub RepositoriesTraining Dataset Processing

This repository is a collection of Jupyter notebooks providing reference implementations and templates for building, training, and deploying machine learning models using Amazon SageMaker. It serves as an example library for implementing model architectures and automating the machine learning lifecycle. The library provides practical patterns for machine learning training, data engineering, and model deployment. It includes implementation guides for MLOps, including workflows for model monitoring, lineage tracking, and hyperparameter tuning. The examples cover a broad range of capabilities i

This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque

ART is a platform for agentic training, providing a reinforcement learning framework, training environment, and compute orchestrator. It enables the improvement of multi-step agent reasoning and tool usage through group relative policy optimization and a judge-based reward modeling system. The project features tools for model distillation to transfer capabilities from large teacher models to smaller architectures, as well as a system for capturing execution trajectories to generate synthetic training data. It supports specialized training workflows including supervised fine-tuning for baselin

This repository contains programming assignments and lecture notes from Andrew Ng's foundational deep learning course specialization on Coursera. The materials cover core neural network training techniques including optimization algorithms, normalization methods, regularization approaches, parameter initialization strategies, and learning rate scheduling to improve model convergence and generalization. The coursework explores design principles where successive neural network layers learn progressively more abstract feature representations from input data. It provides guidance on selecting ope

gpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran

This project is a machine learning educational resource and implementation guide for Python. It provides a collection of executable code and notebooks that demonstrate predictive modeling, data analysis workflows, and the implementation of various machine learning algorithms. The repository features practical examples of classification, regression, and clustering tasks using Scikit-Learn, alongside tutorials for building and training deep learning architectures with TensorFlow. These include implementations of convolutional and recurrent networks. The content covers a broad range of capabili

Feast is a machine learning feature store and MLOps data infrastructure layer. It provides a centralized system for managing and serving features across offline training and online production environments, utilizing an online feature serving layer for low-latency retrieval. The project centers on a feature registry that acts as a central catalog for defining, governing, and discovering feature services. It employs a unified data access layer to decouple feature retrieval from physical storage and includes a point-in-time data generator to create historically accurate training datasets that pr

MMDetection3D is an open-source toolbox for 3D perception, providing a unified framework for detecting and segmenting objects in three-dimensional environments. It supports a range of core tasks including monocular 3D object detection from single camera images, LiDAR-based 3D object detection from raw point clouds, and multi-modal fusion that combines camera images with LiDAR data. The toolbox also covers point cloud semantic segmentation, assigning class labels to every point in a scan for scene understanding. The project distinguishes itself through a config-driven pipeline that orchestrate

Dieses Projekt ist eine Deep-Learning-Tutorial-Serie und ein Bildungslehrplan, der entwickelt wurde, um PyTorch-Grundlagen zu vermitteln. Er dient als strukturierter Trainings-Guide zur Beherrschung neuronaler Netzwerkarchitekturen, automatischer Differenzierung sowie der Verwendung von Tensoren und dynamischen Berechnungsgraphen. Der Lehrplan konzentriert sich auf praktische Implementierungen und leitet gezielt die Entwicklung von Empfehlungssystemen, Werbemodellen und Interest-Networks an, um Benutzerpräferenzen vorherzusagen. Zudem bietet er instruktive Inhalte für Zeitreihenprognosen und die Verarbeitung sequenzieller Daten. Das Material deckt ein breites Spektrum an Deep-Learning-Funktionen ab, einschließlich der Konstruktion von Modellen für Bild- und Textklassifizierung sowie strukturierter Daten. Es integriert Workflows für GPU-Beschleunigung, Visualisierung von Trainingsmetriken und die Erstellung webbasierter Interfaces zum Testen von Modellvorhersagen. Das Projekt wird als Sammlung von Jupyter Notebooks bereitgestellt.

River ist ein Python-Framework für Online-Machine-Learning, das darauf ausgelegt ist, Modelle auf Streaming-Daten zu trainieren und zu evaluieren. Es ermöglicht inkrementelles Lernen durch die Aktualisierung von Modellparametern pro Beobachtung, wodurch das Speichern vollständiger Trainingsdatensätze im Arbeitsspeicher entfällt. Die Bibliothek zeichnet sich durch ein dediziertes System zur Erkennung von Concept Drift aus, das Änderungen in Datenverteilungen überwacht, um eine Modellanpassung auszulösen. Sie bietet zudem ein Framework für progressive Validierung, das den Echtzeit-Einsatz simuliert, indem Modelle an Stichproben getestet werden, bevor sie für das Training verwendet werden. Das System deckt ein breites Spektrum an Streaming-Funktionen ab, einschließlich Echtzeit-Feature-Engineering, Zeitreihenprognosen und Online-Anomalieerkennung. Es unterstützt unüberwachtes Lernen durch inkrementelles Clustering und Entscheidungsbäume sowie Ensemble-Aggregation und Bandit-Richtlinien für die Modellauswahl. Das Projekt enthält Dienstprogramme für das Streaming von Daten aus Quellen wie CSV-Dateien und APIs sowie Werkzeuge zur Berechnung laufender Statistiken und speichereffizienter Daten-Sketches.

Torchtune is a PyTorch-native library for fine-tuning, aligning, and quantizing large language models. It provides a config-driven system for instantiating components, orchestrating distributed training, and managing parameter-efficient fine-tuning with quantization support, all through YAML-based configurations and command-line overrides. The library distinguishes itself through its comprehensive post-training workflow orchestration, combining supervised fine-tuning, preference optimization (DPO, PPO, GRPO), knowledge distillation, and quantization-aware training in a single configurable pip

Dieses Projekt ist ein Alignment-Framework und eine Pipeline-Suite für das Training von Sprachmodellen mittels Supervised Fine-Tuning und Preference Optimization. Es bietet Tools für die Ausführung von großskaligem, verteiltem Training über mehrere GPUs und Compute-Nodes hinweg, ergänzt durch ein System zur Messung von Hilfsbereitschaft und Dialogqualität durch Single-Turn- und Multi-Turn-Benchmarks. Das Framework enthält spezialisierte Tools für Direct Preference Optimization, um das Modellverhalten mithilfe gepaarter Daten ohne separates Reward-Modell zu verfeinern. Es unterstützt zudem Constitutional AI Alignment sowie das Training von Reward-Modellen zur Bewertung und Einstufung von Antworten basierend auf Präferenzkriterien. Das Projekt deckt umfassendere Funktionen für das Blending und Mischen von Datensätzen, Parameter-effizientes Fine-Tuning via Low-Rank Adaptation sowie Rejection Sampling Optimization ab. Es verwaltet den Trainings-Lebenszyklus durch konfigurationsgesteuerte Rezepte und bietet Systeme für das Streaming von Echtzeit-Leistungsmetriken an externe Dashboards.

PCDet ist eine Toolbox für LiDAR-3D-Objekterkennung und eine Bibliothek zur Punktwolkenverarbeitung, die auf dem Deep-Learning-Framework PyTorch basiert. Es bietet ein System zur Identifizierung und Lokalisierung dreidimensionaler Objekte innerhalb von Punktwolkendaten. Das Projekt nutzt ein Daten-Modell-Trennungs-Muster, um die Logik zum Laden von Datensätzen von der Kern-Erkennungs-Pipeline zu entkoppeln. Es verfügt über eine Multi-Sensor-Fusions-Pipeline, die Daten von mehreren Sensoren in einer gemeinsamen räumlichen Ansicht kombiniert, sowie ein verteiltes GPU-Trainingssystem zur Skalierung von Workloads über mehrere Grafikprozessoren. Das Toolkit deckt verschiedene Funktionsbereiche ab, darunter voxelbasierte Merkmalsextraktion und zeitliche Punktwolkenanalyse durch Multi-Frame-Fusion. Es integriert zudem Leistungsoptimierungen für GPU-beschleunigte 3D Intersection-over-Union und Rotated Non-Maximum Suppression.

MuseTalk is a deep learning lip synchronization system designed to align video facial movements with audio tracks for high-fidelity video dubbing. It functions as an engine that matches facial expressions to audio input in real-time, enabling the modification of a speaker's lip movements to match new audio sources across different languages. The project features a distributed GPU training pipeline and a multi-stage processing workflow for refining the visual accuracy of synthetic speech. It distinguishes itself through the use of region-specific face masking and mouth openness control, which

OpenVLA is a vision-language-action model and framework designed for general-purpose robotic manipulation. It provides a robotic policy training framework and a control inference engine that map visual and textual inputs to robotic control actions, enabling zero-shot instruction following on hardware. The project includes a robotics dataset pipeline for standardizing diverse trajectory data and managing dataset mixtures. It supports large-scale model training through distributed GPU compute and sharded data parallelism, alongside parameter-efficient adaptation for fine-tuning models to new ta

xtuner ist eine umfassende Trainings-Engine für Large Language Models und bietet ein Toolkit für Pre-Training, Supervised Fine-Tuning und die Optimierung von vision-sprachlichen multimodalen Modellen. Sie dient als verteilter Trainingsbeschleuniger und spezialisiertes Framework zur Skalierung von Mixture-of-Experts-Modellen sowie zur Ausrichtung von Modellverhalten durch Reinforcement Learning from Human Feedback. Das Projekt zeichnet sich durch fortgeschrittene Speicher- und Rechenoptimierungen aus, wie Sequence-Parallelism für ultra-lange Kontextfenster und Interleaved-Pipeline-Parallelism zur Reduzierung von GPU-Idle-Zeiten. Es bietet eine dedizierte Suite für Preference-Optimization und implementiert Techniken wie Group Relative Policy Optimization und Direct Preference Optimization, um Modell-Policies und Belohnungssysteme zu verfeinern. Breite Funktionsbereiche decken verteiltes Modelltraining über mehrere Knoten hinweg, multimodale Datensatzvorbereitung und die Verwaltung von Adapter-basiertem Fine-Tuning ab. Die Engine enthält zudem Tools für Modellevaluation, Weight-Merging und den Export trainierter Parameter in Inferenz-Engines. Das Training wird über standardisierte Konfigurationsdateien und verteilte Launcher verwaltet, um konsistente Ergebnisse über Rechencluster hinweg sicherzustellen.

Dieses Projekt ist ein Framework für Neural Style Transfer, das eine Suite von Computer-Vision-Tools zur Anwendung künstlerischer Stile auf Bilder und Videos bereitstellt. Es fungiert als System für das Training von Feedforward-Neuronalen-Netzen, als iterativer Stil-Optimierer und als Echtzeit-Video-Stilisierer. Das Framework unterstützt zwei primäre Methoden der Stilisierung: ein Feedforward-Modell, das Stile in einem einzigen Durchgang anwendet, und eine iterative Optimierungsmethode, die stilisierte Bilder durch Minimierung von Inhalts- und Stilverlust ohne vortrainiertes Modell generiert. Es ermöglicht zudem die Echtzeitverarbeitung von Live-Webcam-Feeds unter Verwendung trainierter Modelle. Das Projekt deckt mehrere Funktionsbereiche ab, darunter künstlerische Bildverarbeitung, das Training von Style-Transfer-Modellen durch Minimierung des perzeptuellen Verlusts sowie Dienstprogramme zur Datensatzvorbereitung, um Bildordner in kompatible Trainingssets zu formatieren.

Dieses Projekt ist ein PyTorch-Deep-Learning-Tutorial und eine Bildungsressource. Es bietet einen strukturierten Lehrplan und Schritt-für-Schritt-Anleitungen für das Design, das Training und die Validierung von neuronalen Netzen von Grund auf. Die Ressource enthält spezifische Anleitungen zur Implementierung von Computer Vision mit Fokus auf Objekterkennung und Bildklassifizierung mittels Convolutional Neural Networks (CNNs). Zudem bietet sie Anweisungen zur Optimierung der Modellleistung durch Hardwarebeschleunigung, um die Trainingszeit zu verkürzen. Die Materialien decken den gesamten Lebenszyklus der Modellentwicklung ab, einschließlich Tensor-Operationen, Vorbereitung von Bilddatensätzen sowie der Verwendung von Loss-Funktionen und Optimierern. Auch das Modell-Lifecycle-Management durch Speichern und Neuladen trainierter Gewichte wird behandelt.

Dieses Projekt bietet eine Sammlung verarbeiteter chinesischer Konversationsdatensätze und Preprocessing-Workflows, die für das Training und Instruction-Tuning von Large Language Models (LLMs) entwickelt wurden. Es fungiert als Trainingskorpus aus bereinigtem, standardisiertem chinesischem Text, der als Frage-Antwort-Paare formatiert ist. Das Repository enthält eine Preprocessing-Pipeline und einen Datensatz-Aggregator, die mehrere öffentliche Chat-Quellen in einheitliche Dateien zusammenführen. Diese Tools normalisieren den Text, indem sie traditionelle chinesische Schriftzeichen in vereinfachte Zeichen umwandeln und komplexe Dialogstränge in eine standardisierte Sequenz von Einzel-Turns transformieren. Die resultierenden Daten werden als unabhängige, tabulatorgetrennte Dateien exportiert, was ein konsistentes Schema über verschiedene Quellen hinweg sicherstellt. Dieser technische Workflow konzentriert sich auf die Beseitigung von Formatierungsinkonsistenzen, um rohe Konversationsdaten für Machine-Learning-Aufgaben vorzubereiten.

Dieses Projekt ist ein Deep-Learning-Bildungskurs und Implementierungsleitfaden für den Aufbau und das Training neuronaler Netze. Es bietet einen Lehrplan für die Entwicklung von Modellen, die Mustererkennungs- und generative Aufgaben lösen. Das Material umfasst spezialisierte Module für Computer Vision, Natural Language Processing und generative KI. Es behandelt die praktische Anwendung von Transfer Learning zur Klassifizierung neuer Daten sowie die Erstellung synthetischer Medien. Das Projekt umfasst den Entwurf von Netzwerkarchitekturen, die Konstruktion von Machine-Learning-Datenpipelines und die Nutzung von Modell-Leistungsdiagnosen zur Identifizierung von Underfitting oder Overfitting. Die Inhalte werden über Jupyter Notebooks vermittelt.