Awesome GitHub RepositoriesTensor Computation Graphs

Llama is a computational framework and runtime environment designed for executing transformer-based neural networks locally. It functions as a generative AI inference engine, enabling the processing of input sequences through pre-trained model weights to produce text completions and structured data outputs directly on your own hardware. The system distinguishes itself through specialized memory and computation management techniques, including memory-mapped weight loading and quantization-aware inference, which allow for efficient execution on standard consumer hardware. It utilizes a stateles

Detectron2 is a PyTorch computer vision framework and visual recognition platform designed for training and deploying models for object detection, image segmentation, and visual recognition. It provides a research-oriented environment for training complex vision models with multi-GPU acceleration. The project includes a specialized object detection library for identifying and locating multiple objects via bounding boxes, as well as an image segmentation toolkit for creating pixel-level masks through instance, semantic, and panoptic segmentation. Additionally, it features a human pose estimati

This project is a structured educational resource and training platform designed for mastering deep learning development. It provides a comprehensive curriculum focused on building, evaluating, and refining predictive models through hands-on coding exercises and standard industry workflows. The curriculum emphasizes practical implementation, guiding users through the construction of neural network architectures and the application of transfer learning to adapt pretrained models for custom tasks. It includes methodologies for tracking and comparing model experiment results, allowing for the sy

This project is an open source deep learning textbook and educational resource. It provides a structured curriculum of theory and practical examples designed for mastering the training of regression, classification, and generative models using the TensorFlow framework. The repository functions as a machine learning code collection, utilizing interactive notebooks and source code to demonstrate neural network implementation and tensor operations. It covers the development of deep learning models and the study of reinforcement learning. The material employs a case-study driven pedagogy, combin

ConvNetJS is a JavaScript deep learning library and neural network training engine designed for client-side machine learning. It functions as a framework for building, training, and running convolutional neural networks directly within a web browser without the need for a backend server. The library specializes in image recognition and pattern analysis using convolutional and pooling layers. It enables the creation of models for classification and regression tasks, as well as the development of reinforcement learning agents that optimize behavior through trial and error in simulated environme

Sonnet is a modular machine learning framework and TensorFlow library used for building, training, and managing deep learning models. It functions as a system for composing neural networks from reusable modules and layers that encapsulate their own parameters and internal states. The project provides specialized tools for distributed model training, enabling the synchronization of gradients across multiple hardware devices. It also serves as a model state management system, allowing for the persistence of neural network weights and the export of portable models that separate the computation g

torchdiffeq est une bibliothèque de résolution d'équations différentielles ordinaires (ODE) pour PyTorch, conçue pour résoudre des problèmes de valeur initiale et construire des frameworks de réseaux de neurones basés sur les ODE. Elle fournit un intégrateur d'ODE différentiable permettant aux modèles de deep learning de simuler une profondeur continue en intégrant des fonctions dynamiques au fil du temps. La bibliothèque propose un calculateur de gradient par méthode adjointe pour une rétropropagation efficace en mémoire. En résolvant un système adjoint augmenté à rebours dans le temps, elle calcule les gradients des paramètres sans stocker chaque état intermédiaire du solveur. Le projet couvre l'intégration numérique avec des solveurs à pas fixe ou adaptatif, incluant le contrôle d'erreur et l'interpolation d'état polynomiale. Il prend également en charge la gestion d'événements différentiables pour arrêter les solveurs lorsque des fonctions scalaires spécifiques sont déclenchées, tout en propageant les gradients à travers le temps de l'événement. Le framework est utilisé pour des applications telles que les flux normalisants continus et la transformation de distributions de probabilité via des équations différentielles ordinaires apprises en temps continu.

Ce projet est une collection de Jupyter Notebooks éducatifs proposant des tutoriels sur la construction de réseaux de neurones et les opérations sur tenseurs avec le framework TensorFlow. Il sert de dépôt pédagogique pour le machine learning et de guide d'implémentation pour les étudiants en deep learning. La suite se concentre sur des architectures avancées spécifiques, notamment les réseaux convolutifs pour la classification d'images, les réseaux résiduels avec connexions sautées pour la stabilité de l'entraînement, et les auto-encodeurs variationnels pour la modélisation générative et la synthèse de données. Elle inclut également des guides pour construire des auto-encodeurs de débruitage et profonds afin d'effectuer l'extraction de caractéristiques et la réduction de dimensionnalité. Le dépôt couvre un large spectre de modélisation prédictive, avec des implémentations de régression linéaire, polynomiale et logistique pour prédire des valeurs continues et des résultats binaires. Le contenu est organisé en notebooks interactifs permettant aux utilisateurs d'exécuter des opérations mathématiques et de modifier des expériences de machine learning.

Cactus est un moteur d'inférence IA embarqué conçu pour exécuter des grands modèles de langage (LLM), des modèles de vision et des systèmes de synthèse vocale sur mobile et objets connectés. Il fournit un graphe de calcul de tenseurs programmable pour définir des séquences d'opérations matricielles et de fonctions d'activation, ainsi qu'un framework de RAG (Retrieval Augmented Generation) local qui base les réponses du modèle sur des fichiers texte locaux. Le projet propose un SDK multiplateforme avec des bindings pour intégrer des capacités d'IA dans des applications mobiles, ainsi qu'un système de conversion de modèles qui transforme des formats externes pour une exécution locale optimisée. Il utilise un système de routage hybride pour rediriger les charges de travail entre l'exécution sur l'appareil et des fournisseurs cloud selon la capacité matérielle. Le moteur couvre une large surface de capacités, incluant le traitement audio sur l'appareil pour la détection d'activité vocale et la transcription, la génération d'embeddings vectoriels pour la recherche de similarité, et l'intégration d'outils pour parser les sorties des modèles en appels de fonctions externes. Ces processus sont supportés par des noyaux natifs optimisés pour une faible latence sur matériel mobile.

Caffe est un framework de deep learning haute performance et une bibliothèque de réseaux de neurones convolutifs conçue pour l'entraînement et le déploiement de réseaux de neurones. Il fonctionne comme un moteur de machine learning accéléré par GPU avec un cœur implémenté en C++ pour permettre des opérations sur tenseurs à haut débit. Le projet utilise un système de configuration déclaratif où les architectures de modèles et les hyperparamètres sont définis dans des fichiers texte externes, séparant la conception du réseau du code d'exécution. Il inclut un système de sérialisation de modèles pour exporter les poids entraînés et les topologies dans des fichiers binaires pour un déploiement efficace sur différents environnements matériels. Le framework couvre un large éventail de capacités, y compris la conception d'architectures de réseaux de neurones, l'entraînement de modèles supervisés avec optimisation basée sur le gradient et les flux de travail de classification d'images. Il fournit des outils pour le prétraitement des jeux de données, l'extraction de caractéristiques neuronales et le fine-tuning de modèles pré-entraînés. Le cœur C++ est accessible via une interface multi-langage avec des bindings officiels pour Python et MATLAB.

oneDNN is a library for deep learning acceleration that provides optimized building blocks for neural network training and inference. It manages tensor computation across CPU and GPU hardware, enabling the execution of high-performance primitives for model training and neural network inference optimization. The project distinguishes itself through hardware-specific kernel optimization and the use of just-in-time compilation to target specific processor instruction sets. It supports quantized neural network execution using both static and dynamic quantization to reduce memory usage and increas

PyTorchZeroToAll est une ressource pédagogique et une collection de tutoriels axés sur le deep learning et le framework PyTorch. Il fournit un parcours d'apprentissage structuré pour implémenter des architectures de réseaux de neurones, allant de la syntaxe de base et des fondamentaux jusqu'à la conception de modèles complexes. Le projet sert de guide d'implémentation pour construire divers types de réseaux, incluant les réseaux linéaires, logistiques, convolutifs et récurrents. Il couvre spécifiquement le workflow pour la modélisation de séquences via l'utilisation de mécanismes d'attention et de réseaux au niveau des caractères. La ressource couvre également la préparation des données de machine learning, incluant l'utilisation de chargeurs de jeux de données personnalisés, d'outils de traitement de texte et la traduction de fichiers sources bruts en tenseurs pour les pipelines d'entraînement.

This is a TensorFlow-based framework for implementing and training capsule networks designed for image classification. It utilizes a tensor graph neural network model to build architectures that preserve spatial relationships and pose parameters through vector-based neuron groupings. The project implements a dynamic routing mechanism to establish hierarchical relationships between input features and output capsules. To handle complex architectures, it includes a distributed deep learning toolset that enables training across multiple graphics processing units. The framework covers the full ma

Taco is a sparse tensor algebra compiler that translates high-level tensor index expressions into optimized machine code. It functions as a numerical code generator, producing specialized C kernels designed to execute complex multidimensional array operations efficiently on both CPU and GPU hardware. The project distinguishes itself by allowing users to define custom tensor storage layouts by composing dimension-level formats, such as dense or compressed structures, to match the specific sparsity patterns of their datasets. By analyzing the mathematical structure of tensor operations at compi

This project provides a clean implementation of the latent diffusion model architecture using the PyTorch framework. It functions as a generative machine learning pipeline designed to synthesize images from text prompts by loading pre-trained model weights into a modular neural network structure. The implementation focuses on the mechanics of image generation, utilizing a tensor-based computational graph to execute the complex linear algebra required for inference. It incorporates transformer-based text encoding to map natural language into vector embeddings, which are then integrated into th