Awesome GitHub RepositoriesTraining Sample Streaming

3FS is a distributed file system and RDMA storage cluster designed for high-performance AI training and inference workloads. It functions as a strongly consistent storage layer that utilizes a disaggregated architecture to pool SSDs and memory resources across multiple nodes. The system provides specialized storage implementations including an AI training checkpoint store for parallel state preservation and a distributed key-value cache store for decoder layer vectors to optimize inference processing. It ensures data integrity through chain replication and apportioned query distribution. The

Hub is a multimodal AI data lake and vector database designed for storing and querying embeddings, text, audio, and images. It functions as a dataset version control system and a machine learning data streaming engine to support large-scale model training. The system utilizes a serverless PostgreSQL vector store to index high-dimensional embeddings for semantic search. It provides a visual interface for inspecting multimodal datasets and viewing annotations such as bounding boxes and masks. The platform handles cloud-agnostic storage synchronization and implements lazy, compressed data strea

DeepLake is AI data infrastructure consisting of a multimodal data lake, a hybrid search engine, and a serverless vector database. It provides a PostgreSQL-based AI data runtime that combines multimodal storage with streaming pipelines to load and shuffle datasets from cloud storage directly into deep learning training pipelines. The system utilizes lazy indexing to store and slice images, audio, and video without loading entire files into memory. It enables retrieval-augmented generation by persisting high-dimensional embeddings in a serverless vector store and implementing hybrid search tha

LanceDB is a vector database and columnar data store designed to function as a versioned dataset manager and vector search engine. It serves as a high-performance backend for indexing and retrieving high-dimensional embeddings, providing the foundation for machine learning data pipelines. The system distinguishes itself through a combination of cloud-native object storage and immutable version tracking, allowing for data time-travel and reproducible AI experiments. It integrates hybrid search capabilities, merging dense vector similarity with BM25 full-text search and SQL-like scalar filters

Brain is a JavaScript library for building, training, and running feed-forward neural networks. It implements a multilayer perceptron model designed for pattern recognition and function approximation. The library includes a standalone inference engine that converts trained models into portable JavaScript functions. This allows predictions to be executed in browser or Node.js environments without requiring the original library dependencies. The system supports persistent model management through JSON serialization for saving and loading network weights. It also provides a streaming mechanism

Dieses Projekt ist ein JAX-basiertes Transformer-Framework und Large-Language-Model-Trainer für das Training verteilter Modelle auf TPU-Hardwarebeschleunigern. Es bietet ein System für Pretraining und Fine-Tuning autoregressiver Modelle durch Aufteilung von Gewichten und Berechnungen über ein Mesh von Geräten, um den Speicherbedarf zu reduzieren und die Verarbeitungsgeschwindigkeit zu erhöhen. Das Framework enthält einen TPU-Compute-Orchestrator für die Ressourcenbereitstellung und die Automatisierung der Abhängigkeitsinstallation auf verteilten Remote-Knoten. Es verfügt zudem über einen Modell-Gewichtskonverter, der Checkpoints zwischen verschiedenen Hardwarekonfigurationen und numerischen Präzisionen transformieren und neu sharden kann. Das Projekt deckt breitere Funktionen ab, darunter Sharded-Checkpoint-Management für Cloud-Speicher, stream-basiertes Datenladen mit Zustandswiederherstellung und nucleus-basierte Textgenerierung für Modell-Inferenz. Es unterstützt zudem XLA-kompilierte Hardwarebeschleunigung für TPU- und GPU-Cluster und bietet Tools für Performance-Benchmarking gegen standardisierte Sprachaufgaben.

PyTorch Metric Learning is an open-source library for training neural networks to produce similarity-preserving embedding spaces. It provides a modular framework where interchangeable loss functions, mining strategies, and evaluation tools can be composed to learn representations that map similar items to nearby points and dissimilar items to distant points in the embedding space. The library distinguishes itself through a highly configurable architecture that separates concerns across several interchangeable components. Users can assemble custom loss functions from pluggable distance metrics

Augmentor ist eine Python-Bibliothek und ein Framework für Bild-Augmentierung zur Erweiterung von Machine-Learning-Datensätzen. Es fungiert als Preprocessing-Tool, das synthetische Bildvariationen zur Erhöhung der Datenvielfalt generiert, und als Trainingsdaten-Streamer, der augmentierte Bilder und Labels direkt in neuronale Netzwerk-Loops einspeist, ohne dass ein Zwischenspeicher auf der Festplatte erforderlich ist. Das Framework erhält die räumliche Ausrichtung zwischen Bildern und den zugehörigen Masken aufrecht, was für das Training semantischer Segmentierung erforderlich ist. Es unterstützt verschiedene geometrische und Pixelebenen-Transformationen, einschließlich elastischer Verzerrungen, perspektivischer Verschiebungen durch Neigen und Verzerren, Rotation, Scherung und zufälligem Löschen von Regionen. Das System umfasst Funktionen für klassenspezifische Verarbeitungsstrategien zur Adressierung von Datenungleichgewichten und nutzt Multi-Threading, um die parallele Generierung augmentierter Datensätze zu beschleunigen. Es bietet zudem Utilities zur Bereinigung und Standardisierung von Rohbilddateien während der Preprocessing-Phase.