Awesome GitHub RepositoriesHigh-Performance Tensor Libraries

Tinygrad is a deep learning framework and tensor computation engine designed for building and training neural networks. It functions as a hardware abstraction layer that manages device memory, command queues, and kernel dispatching across heterogeneous computing architectures. By utilizing a lazy-evaluation approach, the framework constructs computational graphs that defer execution until data is explicitly required, allowing it to process only the necessary operations for a given result. The project distinguishes itself through a just-in-time compilation layer that transforms abstract comput

This project is a deep learning framework designed for constructing, training, and deploying neural networks across diverse hardware environments. It functions as a high-performance tensor computation library that provides both imperative and symbolic programming interfaces, allowing developers to balance flexible, step-by-step model building with the efficiency of compiled computation graphs. The framework distinguishes itself through a hybrid execution engine that integrates declarative graph compilation with imperative runtime logic. It supports scalable, distributed training across multip

Deeplearning4j is a JVM-based deep learning framework and tensor computing library. It provides a computational graph engine for defining and executing deep learning workflows and mathematical operations within the Java Virtual Machine. The project includes a dedicated importer for loading and running pretrained models exported from Keras, TensorFlow, and ONNX formats. Its tensor computing capabilities are driven by a modular native C++ math core to execute high-performance linear algebra operations. The framework covers neural network training, deep learning model inference, and the constru

GGML is a machine learning tensor library and neural network engine written in C. It functions as a compute-focused runtime designed to execute transformer-based models and perform complex mathematical operations on multi-dimensional arrays directly on local consumer hardware. The library distinguishes itself by enabling local inference for large language models and edge machine learning deployment without reliance on external cloud infrastructure. It achieves this through a tensor-based computation graph that organizes operations for efficient execution and memory management, alongside stati

llama-rs este un motor de inferență pentru modele de limbaj mari (LLM) implementat în Rust. Permite executarea calculelor modelului pe hardware local pentru a genera răspunsuri text din prompt-urile utilizatorului. Proiectul utilizează operațiuni tensoriale bazate pe Rust și maparea directă a memoriei modelului pentru a gestiona algebra liniară de înaltă performanță și încărcarea eficientă a ponderilor. Încorporează cuantificarea ponderilor pentru a reduce amprenta de memorie a modelelor prin convertirea ponderilor de înaltă precizie în formate mai mici. Sistemul include o interfață de linie de comandă pentru sesiuni de chat interactive și prompt-uri unice, împreună cu persistența sesiunii bazată pe fișiere pentru a salva și restaura istoricul conversațiilor. Oferă, de asemenea, utilitare pentru preluarea configurațiilor de tokenizare din hub-uri externe și instrumente pentru calcularea scorurilor de perplexitate pentru a evalua performanța modelului.

Flashlight este o bibliotecă C++ standalone de machine learning și tensori, utilizată pentru construirea și antrenarea rețelelor neuronale. Aceasta funcționează ca un framework cuprinzător de rețele neuronale și motor de diferențiere automată, oferind instrumentele necesare pentru a construi grafuri de calcul și a calcula gradienții prin backpropagation. Proiectul servește drept framework de antrenare distribuită, utilizând operațiuni all-reduce pentru a sincroniza gradienții și parametrii pe mai multe noduri de calcul și dispozitive. Se distinge prin integrarea profundă a manipulării de înaltă performanță a tensorilor, interoperabilitatea nativă a memoriei dispozitivului și un sistem pentru sincronizarea ponderilor între workerii distribuiți pentru a accelera antrenarea modelelor la scară largă. Framework-ul acoperă o gamă largă de capabilități de deep learning, inclusiv compoziția modulară a straturilor pentru proiectarea arhitecturilor complexe precum blocuri reziduale și celule recurente. Oferă utilitare extinse de gestionare a datelor pentru ingestie și prefetching, alături de sisteme de serializare pentru persistența stărilor modelelor. În plus, include o suită de instrumente de monitorizare și observabilitate pentru urmărirea metricilor de antrenare și măsurarea erorilor de secvență. Biblioteca este implementată în C++.

This project is a Rust interface for the PyTorch C++ library, serving as a deep learning framework and tensor computing library. It functions as a C++ API wrapper that enables the manipulation of multi-dimensional arrays and the execution of neural network architectures across CPU and GPU hardware accelerators. The library provides a TorchScript inference engine to load and execute just-in-time compiled models. It also supports Rust and Python interoperability, allowing for the creation of Python extensions that share tensor data through a common interface. The system covers deep learning mo

Caffe este un framework de deep learning de înaltă performanță și o bibliotecă de rețele neuronale convoluționale concepută pentru antrenarea și implementarea rețelelor neuronale. Acesta funcționează ca un motor de machine learning accelerat prin GPU, cu un nucleu implementat în C++ pentru a permite operațiuni cu tensori de mare capacitate. Proiectul utilizează un sistem de configurare declarativ unde arhitecturile modelelor și hiperparametrii sunt definiți în fișiere text externe, separând designul rețelei de codul de execuție. Include un sistem de serializare a modelelor pentru a exporta ponderile și topologiile antrenate în fișiere binare pentru o implementare eficientă în diferite medii hardware. Framework-ul acoperă o gamă largă de capabilități, inclusiv designul arhitecturii rețelelor neuronale, antrenarea modelelor supervizate cu optimizare bazată pe gradient și fluxuri de lucru de clasificare a imaginilor. Oferă instrumente pentru preprocesarea seturilor de date, extragerea caracteristicilor neuronale și ajustarea fină (fine-tuning) a modelelor pre-antrenate. Nucleul C++ este accesibil printr-o interfață multi-limbaj cu binding-uri oficiale pentru Python și MATLAB.

TensorFlow-World este o colecție de tutoriale, ghiduri de implementare și template-uri de modele pentru construirea și antrenarea modelelor de machine learning folosind framework-ul TensorFlow. Servește ca resursă educațională pentru proiectarea arhitecturilor de deep learning și implementarea modelelor predictive. Proiectul oferă exemple gata de utilizare pentru construirea arhitecturilor de rețele neuronale și a clasificatorilor liniari. Include ghiduri despre efectuarea operațiilor cu tensori, diferențierea automată și optimizarea prin gradient descent. Materialele acoperă o gamă de capabilități de machine learning, inclusiv utilizarea abstracțiilor de nivel înalt Keras pentru compunerea modelelor, implementarea clasificatorilor kernel și dezvoltarea sistemelor de regresie și clasificare.

Acest repository servește drept resursă educațională structurată pentru învățarea modului de construire, antrenare și deployment a rețelelor neuronale folosind framework-ul PyTorch. Oferă o colecție de exemple de cod practice și tutoriale concepute pentru a ghida practicienii prin implementarea modelelor de deep learning. Proiectul acoperă o gamă largă de domenii de machine learning, inclusiv computer vision, procesarea limbajului natural, modelarea generativă și reinforcement learning. Prin utilizarea componentelor modulare și a calculului automat al gradienților, materialele demonstrează cum să construiești arhitecturi complexe și să optimizezi procesele de antrenare prin algoritmi specializați și tehnici de augmentare a datelor. Conținutul este organizat într-o serie de exerciții practice care abordează întregul ciclu de viață al dezvoltării modelelor. Aceasta include configurarea buclelor de antrenare, gestionarea parametrilor modelului și integrarea modelelor antrenate în mediile de producție.