Awesome GitHub RepositoriesAI Hardware Acceleration

This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i

AISystem is a comprehensive AI full-stack infrastructure project covering the entire pipeline from AI chip architecture to high-level training frameworks. It encompasses the development of AI compiler frameworks, inference engines, and distributed training orchestrators designed to coordinate workloads across a heterogeneous compute stack of CPUs, GPUs, and NPUs. The project focuses on the deep integration of software and hardware, employing software-hardware co-design to align tensor layouts with physical memory structures. It provides specialized capabilities for accelerating Transformer mo

ai-edu is a comprehensive AI education curriculum and machine learning courseware collection. It provides theoretical tutorials, deep learning lab exercises, and project blueprints designed to teach artificial intelligence fundamentals through a combination of study and practical implementation. The project focuses on a learning-by-doing approach, guiding users from Python programming and neural network basics to advanced topics. It includes specialized instructional content on distributed AI training, MLOps educational guides for model quantization and pruning, and detailed frameworks for im

This repository provides a collection of reference implementations, toolkits, and orchestration tools for training and deploying large-scale AI models on Cloud TPU hardware. It serves as a framework for managing the lifecycle of accelerator clusters, including hardware orchestration and the provisioning of high-performance compute infrastructure for machine learning workloads. The project specifically enables the pre-training of foundation models, large language models, and complex reasoning architectures through distributed training toolkits and multi-host scaling recipes. It further provide

Dieses Projekt ist eine umfassende Bildungsressource und ein Lehrplan, der sich auf das Design und die Implementierung des gesamten Machine-Learning-Software- und Hardware-Stacks konzentriert. Es dient als technische Referenz für die Architektur von Machine-Learning-Systemen, die von Low-Level-Programmierschnittstellen bis hin zur Deployment-Infrastruktur im großen Maßstab reicht. Das Projekt bietet instruktive Anleitungen zu mehreren spezialisierten Bereichen, einschließlich der Entwicklung von KI-Compilern durch Zwischenrepräsentationen und Graph-Optimierungen. Es deckt die Architekturmuster ab, die für verteiltes Training über GPU-Cluster hinweg erforderlich sind, sowie die Programmierung von Hardware-Beschleunigern zur Optimierung von Workloads auf spezialisierten Chips. Die Ressource beschreibt zudem die Implementierung von Modell-Serving-Frameworks für Produktionsumgebungen und das Design von Reinforcement-Learning-Pipelines. Ihr Umfang erstreckt sich auf die Kernkomponenten von ML-Systemen, wie automatische Differenzierung, Tensor-Abstraktionen und die Orchestrierung von GPU-Ressourcen.

MindSpore ist ein Deep-Learning-Framework, das für das Erstellen und Trainieren neuronaler Netze in Cloud-, Edge- und Mobilumgebungen entwickelt wurde. Es fungiert als verteiltes Trainingssystem und hardwarebeschleunigtes KI-Toolkit, das in der Lage ist, Arbeitslasten auf CPUs, GPUs und spezialisierten KI-Prozessoren auszuführen. Das Projekt enthält eine Engine für automatische Differenzierung, die Gradienten durch Quelltransformation und statische Kompilierung berechnet. Es ermöglicht verteiltes Modelltraining durch Aufteilen von Arbeitslasten auf Hardware unter Verwendung von Daten- und Modellparallelität. Das Framework deckt plattformübergreifende KI-Bereitstellung und Modellinferenz ab und nutzt ein Hochleistungs-Toolkit zur Beschleunigung der Ausführung und Bereitstellung. Es bietet spezialisierte Beschleunigung für Ascend-Hardware und unterstützt hardwareunabhängige Operator-Zuordnung für heterogene Geräte-Backends. Die Umgebung kann über einen Paketmanager installiert oder auf Linux-Systemen für Standard- oder spezialisierte KI-Prozessorumgebungen aus dem Quellcode kompiliert werden.