Awesome GitHub RepositoriesMixed Granularity Quantization

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

mistral.rs is an inference engine for large language models that runs locally and exposes models behind OpenAI and Anthropic-compatible APIs. It serves as a multi-model serving platform, capable of loading several models in a single server process with per-request routing and on-demand loading and unloading. The engine supports multimodal inference, processing text alongside images, video, audio, and speech inputs, and includes a quantized model deployment runtime that reduces memory use and speeds up inference on consumer hardware. The project distinguishes itself through an agentic tool exe

This project provides a comprehensive technical guide and framework for engineering large-scale machine learning systems. It covers the full lifecycle of model development, focusing on the infrastructure and computational principles required to build, train, and serve generative AI models across distributed GPU clusters. The repository distinguishes itself by offering deep-dive tutorials and implementation strategies for complex system challenges. It emphasizes high-performance architectural primitives, such as collective communication orchestration, distributed tensor sharding, and static gr

Acest proiect este o resursă educațională cuprinzătoare și un curs pentru construirea de rețele neuronale folosind PyTorch. Acoperă elementele fundamentale ale deep learning-ului, inclusiv manipularea tensorilor, diferențierea automată și construcția componentelor modulare de rețele neuronale. Repository-ul servește drept ghid tehnic pentru mai multe domenii specializate. Oferă detalii de implementare pentru sarcini de computer vision, cum ar fi clasificarea imaginilor, detecția obiectelor și segmentarea semantică, precum și fluxuri de lucru de procesare a limbajului natural (NLP) care implică transformatoare, rețele recurente și modele generative. În plus, include o referință pentru AI generativ, concentrându-se în mod specific pe sinteza de imagini prin modele de difuzie și rețele adversariale. Materialul se extinde către optimizarea modelelor și pipeline-uri de deployment. Acoperă tehnici pentru reducerea dimensiunii modelelor și creșterea vitezei de inferență prin cuantizare și exportul modelelor în formate precum ONNX și TensorRT. Alte domenii de capabilitate includ ingineria datelor pentru încărcarea paralelă, evaluarea modelelor folosind metrici personalizate și deployment-ul modelelor de limbaj mari (LLM) open-source. Proiectul este livrat în principal sub formă de serie de Jupyter Notebooks.

oneDNN este o bibliotecă pentru accelerarea deep learning-ului care oferă blocuri de construcție optimizate pentru antrenarea și inferența rețelelor neuronale. Aceasta gestionează calculul tensorial pe hardware CPU și GPU, permițând execuția de primitive de înaltă performanță pentru antrenarea modelelor și optimizarea inferenței rețelelor neuronale. Proiectul se distinge prin optimizarea kernel-ului specifică hardware-ului și utilizarea compilării „just-in-time” pentru a viza seturi de instrucțiuni specifice ale procesorului. Suportă execuția rețelelor neuronale cuantizate folosind cuantizarea statică și dinamică pentru a reduce utilizarea memoriei și a crește throughput-ul. Biblioteca acoperă o gamă largă de capabilități, inclusiv primitive de deep learning precum convoluții, înmulțirea matricelor și execuția rețelelor neuronale recurente. Implementează optimizări avansate de performanță, inclusiv fuziunea operațiunilor, optimizarea grafului de calcul și gestionarea formatului memoriei. Integrarea este oferită printr-un ABI C stabil și un wrapper C++, cu suport pentru SYCL, OpenCL și biblioteci externe de algebră liniară. Sistemul include instrumente de observabilitate pentru profilarea performanței hardware, benchmarking-ul primitivelor și log-uri detaliate de execuție.