Awesome GitHub RepositoriesHigh-Performance Tensor Libraries

Tinygrad is a deep learning framework and tensor computation engine designed for building and training neural networks. It functions as a hardware abstraction layer that manages device memory, command queues, and kernel dispatching across heterogeneous computing architectures. By utilizing a lazy-evaluation approach, the framework constructs computational graphs that defer execution until data is explicitly required, allowing it to process only the necessary operations for a given result. The project distinguishes itself through a just-in-time compilation layer that transforms abstract comput

This project is a deep learning framework designed for constructing, training, and deploying neural networks across diverse hardware environments. It functions as a high-performance tensor computation library that provides both imperative and symbolic programming interfaces, allowing developers to balance flexible, step-by-step model building with the efficiency of compiled computation graphs. The framework distinguishes itself through a hybrid execution engine that integrates declarative graph compilation with imperative runtime logic. It supports scalable, distributed training across multip

Deeplearning4j is a JVM-based deep learning framework and tensor computing library. It provides a computational graph engine for defining and executing deep learning workflows and mathematical operations within the Java Virtual Machine. The project includes a dedicated importer for loading and running pretrained models exported from Keras, TensorFlow, and ONNX formats. Its tensor computing capabilities are driven by a modular native C++ math core to execute high-performance linear algebra operations. The framework covers neural network training, deep learning model inference, and the constru

GGML is a machine learning tensor library and neural network engine written in C. It functions as a compute-focused runtime designed to execute transformer-based models and perform complex mathematical operations on multi-dimensional arrays directly on local consumer hardware. The library distinguishes itself by enabling local inference for large language models and edge machine learning deployment without reliance on external cloud infrastructure. It achieves this through a tensor-based computation graph that organizes operations for efficient execution and memory management, alongside stati

llama-rs هو محرك استنتاج للنماذج اللغوية الكبيرة محلياً تم تنفيذه بلغة Rust. يتيح تنفيذ حسابات النموذج على الأجهزة المحلية لتوليد استجابات نصية من مطالبات المستخدم. يستخدم المشروع عمليات الموتر القائمة على Rust وتعيين النموذج في الذاكرة المباشرة للتعامل مع الجبر الخطي عالي الأداء وتحميل الأوزان بكفاءة. يدمج تكميم الأوزان لتقليل أثر الذاكرة للنماذج عن طريق تحويل الأوزان عالية الدقة إلى تنسيقات أصغر. يتضمن النظام واجهة سطر أوامر لجلسات الدردشة التفاعلية والمطالبات الفردية، إلى جانب استمرارية الجلسة المدعومة بالملفات لحفظ واستعادة سجلات المحادثة. كما يوفر أدوات لاسترجاع تكوينات المقسم (tokenizer) من المراكز البعيدة وأدوات لحساب درجات الحيرة لتقييم أداء النموذج.

Flashlight هي مكتبة تعلم آلي مستقلة بلغة C++ ومكتبة موترات تستخدم لبناء وتدريب الشبكات العصبية. تعمل كإطار عمل شامل للشبكات العصبية ومحرك للتمايز التلقائي، مما يوفر الأدوات لبناء رسوم بيانية للحساب وحساب التدرجات عبر الانتشار العكسي. يعمل المشروع كإطار عمل للتدريب الموزع، حيث يستخدم عمليات (All-reduce) لمزامنة التدرجات والمعلمات عبر عقد حساب وأجهزة متعددة. يتميز بالتكامل العميق لمعالجة الموترات عالية الأداء، وقابلية التشغيل البيني لذاكرة الجهاز الأصلية، ونظام لمزامنة الأوزان عبر العمال الموزعين لتسريع تدريب النماذج واسعة النطاق. يغطي إطار العمل مجموعة واسعة من قدرات التعلم العميق، بما في ذلك تكوين الطبقات المعيارية لتصميم بنيات معقدة مثل الكتل المتبقية (Residual blocks) والخلايا المتكررة. يوفر أدوات واسعة النطاق لإدارة البيانات للاستيعاب والجلب المسبق، إلى جانب أنظمة التسلسل لحفظ حالات النموذج. بالإضافة إلى ذلك، يتضمن مجموعة من أدوات المراقبة وقابلية المراقبة لتتبع مقاييس التدريب وقياس أخطاء التسلسل. تم تنفيذ المكتبة بلغة C++.

This project is a Rust interface for the PyTorch C++ library, serving as a deep learning framework and tensor computing library. It functions as a C++ API wrapper that enables the manipulation of multi-dimensional arrays and the execution of neural network architectures across CPU and GPU hardware accelerators. The library provides a TorchScript inference engine to load and execute just-in-time compiled models. It also supports Rust and Python interoperability, allowing for the creation of Python extensions that share tensor data through a common interface. The system covers deep learning mo

Caffe هو إطار عمل للتعلم العميق عالي الأداء ومكتبة للشبكات العصبية التلافيفية مصممة لتدريب ونشر الشبكات العصبية. يعمل كمحرك تعلم آلي مسرع بواسطة GPU مع نواة منفذة بلغة C++ لتمكين عمليات الموترات (tensor) عالية الإنتاجية. يستخدم المشروع نظام تكوين تصريحي حيث يتم تعريف معماريات النماذج والمعاملات الفائقة في ملفات نصية خارجية، مما يفصل تصميم الشبكة عن كود التنفيذ. يتضمن نظام تسلسل للنماذج لتصدير الأوزان والطوبولوجيا المدربة إلى ملفات ثنائية للنشر الفعال عبر بيئات أجهزة مختلفة. يغطي إطار العمل مجموعة واسعة من القدرات، بما في ذلك تصميم معمارية الشبكة العصبية، والتدريب الخاضع للإشراف للنماذج مع التحسين القائم على التدرج، وسير عمل تصنيف الصور. يوفر أدوات لمعالجة البيانات مسبقاً، واستخراج الميزات العصبية، وضبط النماذج المدربة مسبقاً. نواة C++ متاحة من خلال واجهة متعددة اللغات مع روابط رسمية لـ Python وMATLAB.

TensorFlow-World هي مجموعة من البرامج التعليمية، وأدلة التنفيذ، وقوالب النماذج لبناء وتدريب نماذج التعلم الآلي باستخدام إطار عمل TensorFlow. تعمل كمورد تعليمي لتصميم بنى التعلم العميق وتنفيذ النماذج التنبؤية. يوفر المشروع أمثلة جاهزة للاستخدام لبناء بنى الشبكات العصبية والمصنفات الخطية. ويتضمن أدلة حول إجراء عمليات الـ tensor، والتمايز التلقائي، وتحسين الانحدار المتدرج. تغطي المواد مجموعة من قدرات التعلم الآلي، بما في ذلك استخدام تجريدات Keras عالية المستوى لتكوين النموذج، وتنفيذ مصنفات النواة (kernel classifiers)، وتطوير أنظمة الانحدار والتصنيف.

يعمل هذا المستودع كمورد تعليمي مهيكل لتعلم بناء وتدريب ونشر الشبكات العصبية باستخدام إطار العمل PyTorch. يوفر مجموعة من أمثلة الكود العملية والدروس المصممة لتوجيه الممارسين خلال تنفيذ نماذج التعلم العميق. يغطي المشروع نطاقاً واسعاً من مجالات تعلم الآلة، بما في ذلك رؤية الحاسوب، ومعالجة اللغات الطبيعية، والنمذجة التوليدية، والتعلم التعزيزي. من خلال استخدام المكونات المعيارية وحساب التدرج الآلي، توضح المواد كيفية بناء معماريات معقدة وتحسين عمليات التدريب من خلال خوارزميات متخصصة وتقنيات زيادة البيانات. تم تنظيم المحتوى في سلسلة من التمارين العملية التي تعالج دورة حياة تطوير النموذج بالكامل. ويشمل ذلك تكوين حلقات التدريب، وإدارة معلمات النموذج، ودمج النماذج المدربة في بيئات الإنتاج.

Taco is a sparse tensor algebra compiler that translates high-level tensor index expressions into optimized machine code. It functions as a numerical code generator, producing specialized C kernels designed to execute complex multidimensional array operations efficiently on both CPU and GPU hardware. The project distinguishes itself by allowing users to define custom tensor storage layouts by composing dimension-level formats, such as dense or compressed structures, to match the specific sparsity patterns of their datasets. By analyzing the mathematical structure of tensor operations at compi