1 repository
Awesome GitHub RepositoriesKernel Call Fusion
Optimizations that combine multiple small function calls into a single kernel execution to reduce memory overhead.
Distinct from Memory Access Pattern Optimizers: Focuses on fusing calls into a single kernel to reduce allocations, whereas memory access pattern optimizers focus on layout and swizzling.
Explore 1 awesome GitHub repository matching software engineering & architecture · Kernel Call Fusion. Refine with filters or upvote what's useful.
Awesome Kernel Call Fusion GitHub Repositories
Găsește cele mai bune repo-uri cu AI.Vom căuta cele mai potrivite repository-uri folosind AI.
- flashlight/flashlight
flashlight/flashlight
5,443Vezi pe GitHubFlashlight este o bibliotecă C++ standalone de machine learning și tensori, utilizată pentru construirea și antrenarea rețelelor neuronale. Aceasta funcționează ca un framework cuprinzător de rețele neuronale și motor de diferențiere automată, oferind instrumentele necesare pentru a construi grafuri de calcul și a calcula gradienții prin backpropagation. Proiectul servește drept framework de antrenare distribuită, utilizând operațiuni all-reduce pentru a sincroniza gradienții și parametrii pe mai multe noduri de calcul și dispozitive. Se distinge prin integrarea profundă a manipulării de înaltă performanță a tensorilor, interoperabilitatea nativă a memoriei dispozitivului și un sistem pentru sincronizarea ponderilor între workerii distribuiți pentru a accelera antrenarea modelelor la scară largă. Framework-ul acoperă o gamă largă de capabilități de deep learning, inclusiv compoziția modulară a straturilor pentru proiectarea arhitecturilor complexe precum blocuri reziduale și celule recurente. Oferă utilitare extinse de gestionare a datelor pentru ingestie și prefetching, alături de sisteme de serializare pentru persistența stărilor modelelor. În plus, include o suită de instrumente de monitorizare și observabilitate pentru urmărirea metricilor de antrenare și măsurarea erorilor de secvență. Biblioteca este implementată în C++.
Reduces memory allocations and improves performance by fusing multiple function calls into a single kernel call.
C++
