1 Repo
Packing individual data samples into fixed or dynamic sized tensors for efficient processing.
Distinct from Sample Groupers: Focuses on the packing process for efficiency, not grouping based on key values.
Explore 1 awesome GitHub repository matching data & databases · Sample Batching. Refine with filters or upvote what's useful.
Flashlight ist eine C++-Bibliothek für maschinelles Lernen und ein Deep-Learning-Framework zur Erstellung und zum Training neuronaler Netze. Es fungiert als Tensor-Manipulationsbibliothek und Engine für automatische Differenzierung, die Operationen verfolgt, um Gradienten via Backpropagation für die Modelloptimierung zu berechnen. Das Projekt zeichnet sich durch seine Rolle als Framework für verteiltes Training aus, das All-Reduce-Gradientensynchronisation und verteilte Umgebungen nutzt, um Machine-Learning-Workloads über mehrere Nodes und Geräte hinweg zu skalieren. Es verfügt über eine Backend-agnostische Speicherschnittstelle und RAII-basiertes Management, um Tensor-Operationen von der physischen Hardware zu entkoppeln. Das Framework deckt ein breites Funktionsspektrum ab, einschließlich der Konstruktion neuronaler Netzwerkarchitekturen mit konvolutiven, linearen und rekurrenten Schichten. Es bietet umfangreiche Utilities für Tensor-Algebra, Dataset-Management und Batching, versionierte Binärserialisierung für Modellzustände sowie Überwachungswerkzeuge zur Verfolgung von Trainingsmetriken und Speicherauslastung.
Packs individual samples into fixed or dynamic sizes for efficient processing.