Awesome GitHub RepositoriesDataset Batch Loading

PyTorch Geometric is a library for building and training machine learning models on graph-structured data. It provides a framework for developing graph neural networks, including a specialized system for implementing node-to-node information exchange via customizable message passing, aggregation, and update functions. The library includes a sparse data processing toolkit that utilizes accelerated CPU and CUDA kernels to perform efficient reductions on large sparse datasets. It supports the creation of specialized architectures for structured data such as 3D meshes and point clouds. The proje

This is a TensorFlow learning course and machine learning education resource. It is a notebook-based interactive course that provides a deep learning tutorial series and a guide to the Keras API through executable Python code and formatted text. The material focuses on deep learning education, covering the implementation of TensorFlow models and the design of neural network architectures such as multilayer perceptrons and convolutional networks. It includes instructional content on constructing custom training loops and dataset generators for data pipeline engineering. The course covers mach

ParlAI is a conversational AI research framework designed for training, evaluating, and sharing dialogue models using a unified interface for datasets and agents. It functions as a PyTorch-based training platform and a dialogue data collection system, providing a centralized model zoo for the distribution of versioned pretrained agents. The project distinguishes itself through a knowledge-grounded retrieval system that combines dense and sparse indexing to ground responses in external information. It also provides a comprehensive infrastructure for gathering human-AI interaction data via inte

This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque

This project is a collection of PyTorch learning resources and educational guides designed to teach the construction and training of neural networks. It serves as a comprehensive deep learning tutorial covering various model architectures and practical implementation strategies. The resources provide specific guidance on implementing computer vision tasks, such as image classification and synthetic imagery generation, as well as reinforcement learning agents using value networks and experience replay. It also covers sequential data modeling through recurrent networks and generative modeling u

DeepPavlov is a conversational AI framework and deep learning NLP library designed for building end-to-end dialogue systems and chatbots. It functions as an NLP pipeline orchestrator that allows users to compose pre-trained models and text processing components into sequential data flows for complex linguistic tasks. The system is distinguished by its ability to act as a chatbot deployment server, exposing trained conversational models as web services via REST and Socket APIs. It utilizes JSON-based pipeline configurations and dynamic variable interpolation to decouple model logic from infras

Lance is a versioned columnar data format and storage engine designed as a multimodal AI lakehouse. It serves as a vector database storage engine and a cloud object store dataset manager, organizing images, video, audio, and embeddings into a unified format optimized for machine learning workflows. The project distinguishes itself by combining a columnar layout for structured data with a specialized blob store for large multimodal tensors. It implements a hybrid search engine that integrates vector similarity search, full-text search, and SQL analytics on a single dataset, supported by a stor

PyTorch Metric Learning is an open-source library for training neural networks to produce similarity-preserving embedding spaces. It provides a modular framework where interchangeable loss functions, mining strategies, and evaluation tools can be composed to learn representations that map similar items to nearby points and dissimilar items to distant points in the embedding space. The library distinguishes itself through a highly configurable architecture that separates concerns across several interchangeable components. Users can assemble custom loss functions from pluggable distance metrics

Flashlight este o bibliotecă C++ de machine learning și un framework de deep learning conceput pentru construirea și antrenarea rețelelor neuronale. Acesta funcționează ca o bibliotecă de manipulare a tensorilor și un motor de diferențiere automată care urmărește operațiunile pentru a calcula gradienții prin backpropagation pentru optimizarea modelului. Proiectul se distinge prin rolul său de framework de antrenare distribuită, utilizând sincronizarea gradienților all-reduce și medii distribuite pentru a scala workload-urile de machine learning pe mai multe noduri și dispozitive. Dispune de o interfață de memorie agnostică față de backend și gestionare bazată pe RAII pentru a decupla operațiunile cu tensori de hardware-ul fizic. Framework-ul acoperă o suprafață largă de capabilități, inclusiv construcția de arhitecturi de rețele neuronale cu straturi convoluționale, liniare și recurente. Oferă utilitare extinse pentru algebră tensorială, gestionarea și batching-ul seturilor de date, serializare binară versionată pentru stările modelelor și instrumente de monitorizare pentru urmărirea metricilor de antrenare și a utilizării memoriei.

Flashlight este o bibliotecă C++ standalone de machine learning și tensori, utilizată pentru construirea și antrenarea rețelelor neuronale. Aceasta funcționează ca un framework cuprinzător de rețele neuronale și motor de diferențiere automată, oferind instrumentele necesare pentru a construi grafuri de calcul și a calcula gradienții prin backpropagation. Proiectul servește drept framework de antrenare distribuită, utilizând operațiuni all-reduce pentru a sincroniza gradienții și parametrii pe mai multe noduri de calcul și dispozitive. Se distinge prin integrarea profundă a manipulării de înaltă performanță a tensorilor, interoperabilitatea nativă a memoriei dispozitivului și un sistem pentru sincronizarea ponderilor între workerii distribuiți pentru a accelera antrenarea modelelor la scară largă. Framework-ul acoperă o gamă largă de capabilități de deep learning, inclusiv compoziția modulară a straturilor pentru proiectarea arhitecturilor complexe precum blocuri reziduale și celule recurente. Oferă utilitare extinse de gestionare a datelor pentru ingestie și prefetching, alături de sisteme de serializare pentru persistența stărilor modelelor. În plus, include o suită de instrumente de monitorizare și observabilitate pentru urmărirea metricilor de antrenare și măsurarea erorilor de secvență. Biblioteca este implementată în C++.

Flash Linear Attention is a training framework and inference engine for sequence models that use linear attention and state space mechanisms, designed to process long contexts with reduced memory and compute overhead. It provides hardware-optimized token mixing layers and fused CUDA kernels that minimize memory bandwidth and launch overhead across different GPU architectures, and includes a causal inference engine that generates text token-by-token using cached hidden states for efficient autoregressive decoding. The project supports building hybrid sequence models that interleave standard at

GluonTS este un framework pentru prognoza probabilistică a seriilor temporale, conceput pentru a prezice valori viitoare ca distribuții de probabilitate cu intervale de încredere. Suportă atât antrenarea modelelor tradiționale, cât și prognoza zero-shot, unde modelele preantrenate generează predicții pentru serii noi fără antrenare suplimentară. Proiectul se distinge prin integrarea unei mari varietăți de abordări de prognoză într-un flux de lucru unificat. Aceasta include arhitecturi de deep learning precum rețelele neuronale recurente și convoluțiile cauzale, precum și integrarea modelelor statistice externe, a bibliotecii Prophet și a pachetelor R. Toolkit-ul oferă o suprafață cuprinzătoare pentru ingineria datelor de serii temporale, acoperind scalarea seturilor de date, divizarea și transformarea datelor temporale brute în tensori. Include, de asemenea, o suită de instrumente de evaluare pentru măsurarea acurateței prognozei și a intervalelor de incertitudine, precum și utilitare pentru persistența seturilor de date folosind formate precum Arrow și Parquet. Framework-ul suportă implementarea modelelor de prognoză în cadrul infrastructurii cloud.

Acest proiect este un boilerplate pentru PyTorch și un framework de antrenare conceput pentru a standardiza dezvoltarea experimentelor de deep learning. Oferă un layout de director structurat și un set de clase de bază pentru a iniția noi proiecte, asigurând un flux de lucru consistent de la construcția pipeline-ului de date până la execuția modelului. Framework-ul se distinge printr-un manager de configurare centralizat pentru hiperparametri care suportă suprascrieri din linia de comandă și un strat de accelerare hardware pentru distribuirea sarcinilor computaționale pe mai multe unități de procesare grafică (GPU). De asemenea, implementează un strat de orchestrare bazat pe clase pentru a automatiza amestecarea seturilor de date (shuffling), generarea de batch-uri și împărțirea pentru validare. Sistemul acoperă o gamă largă de capabilități de antrenare, inclusiv logarea automatizată a metricilor, serializarea stării bazată pe checkpoint-uri pentru reluarea antrenării și determinismul rezultatelor prin sincronizarea seed-urilor. Include, de asemenea, instrumente pentru monitorizarea progresului antrenării și implementarea opririi timpurii (early stopping) bazată pe benchmark-uri de performanță.

This project is a diffusion model training framework and image synthesis pipeline. It provides the tools necessary to train generative models to learn image data distributions through an iterative denoising process. The framework includes a generative model evaluation tool consisting of automated scripts used to measure the quality and accuracy of produced samples. The system covers model training pipelines and performance evaluation for generative diffusion models.

Acest proiect este un program educațional cuprinzător și un framework de deep learning conceput pentru a preda deep learning practic folosind PyTorch prin notebook-uri și exemple de cod. Servește drept bibliotecă de nivel înalt pentru construirea, antrenarea și implementarea rețelelor neuronale, acționând ca un orchestrator de antrenare a modelelor care coordonează modelele PyTorch, optimizatoarele și funcțiile de loss. Proiectul oferă toolkit-uri specializate pentru computer vision, procesarea limbajului natural și preprocesarea datelor tabelare. Se distinge prin controale avansate de antrenare, cum ar fi rate de învățare discriminative, un sistem de callback bidirecțional pentru personalizarea logicii de antrenare și o abstractizare de nivel înalt a learner-ului care automatizează plasarea pe dispozitiv și buclele de antrenare. Framework-ul acoperă o suprafață largă de capabilități, inclusiv construcția automată a pipeline-urilor de date, analiza arhitecturii modelelor și evaluarea performanței în sarcini de clasificare, regresie și segmentare. Include, de asemenea, utilitare pentru antrenarea distribuită pe mai multe GPU-uri, antrenarea cu precizie mixtă pentru optimizarea memoriei și suport specializat pentru date de imagistică medicală. Proiectul este livrat sub formă de serie de Jupyter Notebooks.

Acest proiect este un framework PyTorch de re-identificare a persoanelor, conceput pentru antrenarea și evaluarea modelelor care identifică indivizi prin diferite unghiuri ale camerelor video. Oferă un pipeline complet de antrenare a modelelor, un extractor de caracteristici deep learning pentru convertirea imaginilor în vectori numerici și o suită de instrumente de benchmarking pentru viziunea artificială pentru a măsura acuratețea regăsirii identității. Framework-ul include un toolkit specializat de transfer learning care suportă înghețarea straturilor, optimizarea etapizată a ratei de învățare și rate de învățare diferențiale pentru fine-tuning-ul modelelor preantrenate. Se distinge printr-un motor extensibil care permite dezvoltarea de logică de antrenare personalizată și implementarea unor obiective de optimizare specifice, cum ar fi hard-sample triplet loss mining și label smoothing. Sistemul acoperă gestionarea cuprinzătoare a seturilor de date, inclusiv suport pentru benchmark-uri standard, eșantionare echilibrată a batch-urilor și augmentarea imaginilor. Oferă utilitare de evaluare pentru calcularea rangurilor de regăsire și a distanțelor dintre caracteristici, precum și instrumente de vizualizare pentru generarea de hărți de activare (heatmaps) și galerii de regăsire clasificate. Proiectul este implementat în Python și utilizează PyTorch pentru operațiunile sale de deep learning.

RecBole este un framework de recomandare bazat pe PyTorch, conceput pentru construirea, antrenarea și evaluarea unei mari varietăți de algoritmi de recomandare. Servește ca mediu de benchmark standardizat care permite compararea diferitelor arhitecturi de modele folosind seturi de date publice și metrici de evaluare consistente. Proiectul oferă toolkit-uri specializate pentru recomandare secvențială și integrarea knowledge-graph-urilor, permițând predicția secvențelor de elemente pe baza istoricului utilizatorului sau încorporarea de cunoștințe externe structurate. Include un motor dedicat de optimizare a hiperparametrilor care utilizează grid search și optimizare Bayesiană pentru a ajusta configurațiile modelelor. Framework-ul acoperă o gamă largă de capabilități, inclusiv gestionarea datelor pentru standardizarea log-urilor de interacțiune, pipeline-uri de antrenare cu sincronizare distribuită a gradientului și execuție cu precizie mixtă, și instrumente cuprinzătoare de evaluare pentru ranking-ul candidaților și analiza diversității. Suportă mai multe tipuri de recomandare, cum ar fi filtrarea colaborativă generală și predicția ratei de click (CTR). Biblioteca este implementată în Python și utilizează PyTorch pentru framework-ul său de recomandare subiacent.

Acest proiect este o traducere în limba chineză a ghidurilor tehnice și a referințelor API pentru framework-ul de deep learning PyTorch. Servește ca o bază de cunoștințe localizată și material de referință pentru a face documentația de deep learning accesibilă vorbitorilor non-nativi de engleză. Documentația acoperă o gamă cuprinzătoare de capabilități PyTorch, inclusiv dezvoltarea modelelor de rețele neuronale, diferențierea automată și implementarea kernel-urilor de backend. Oferă îndrumări detaliate privind strategiile de antrenare distribuită, implementarea modelelor prin formate precum ONNX și C++, precum și diverse tehnici de optimizare și cuantizare a modelelor. Proiectul utilizează un pipeline de traducere condus de comunitate și un model de contribuție distribuit pentru a menține conținutul sincronizat cu versiunile. Materialele tehnice sunt organizate folosind markdown și randate într-un site web navigabil prin generare de site-uri statice.

Acest proiect este un tutorial de deep learning în PyTorch și o resursă educațională. Oferă un curriculum structurat și ghiduri pas cu pas pentru proiectarea, antrenarea și validarea rețelelor neuronale de la zero. Resursa include ghiduri specifice privind implementarea viziunii computerizate, concentrându-se pe detectarea obiectelor și clasificarea imaginilor folosind rețele neuronale convoluționale. De asemenea, oferă instrucțiuni pentru optimizarea performanței modelului prin accelerare hardware pentru a reduce timpul de antrenare. Materialele acoperă întregul ciclu de viață al dezvoltării modelului, inclusiv operațiunile cu tensori, pregătirea seturilor de date de imagini și utilizarea funcțiilor de pierdere (loss functions) și a optimizatoarelor. De asemenea, abordează gestionarea ciclului de viață al modelului prin salvarea și reîncărcarea ponderilor antrenate.

AdalFlow este un framework de agenți AI autonomi și o bibliotecă de aplicații LLM concepută pentru construirea de fluxuri de lucru modulare. Servește ca interfață agnostic-model și orchestrator de pipeline-uri RAG, permițând utilizatorilor să dezvolte agenți ReAct care utilizează raționamentul iterativ și execuția de instrumente externe pentru a rezolva sarcini complexe. Proiectul se distinge printr-un sistem de optimizare a prompt-urilor care utilizează gradient descent textual pentru a rafina automat template-urile de prompt și exemplele few-shot. Acesta tratează feedback-ul modelului ca pe un semnal diferențiabil, permițând o formă de backpropagation pentru LLM-uri pentru a îmbunătăți iterativ calitatea output-ului pe baza metricilor de evaluare. Framework-ul acoperă o suprafață largă de capabilități, inclusiv retrieval-augmented generation cu căutare semantică vectorială și reranking, urmărirea execuției bazată pe span pentru observabilitate și parsare structurată bazată pe schemă. Oferă un strat de comunicare unificat pentru numeroși furnizori de modele proprietare și open-source și suportă conversia funcțiilor Python în interfețe standardizate de instrumente. Sistemul este implementat în Python și se integrează cu MLflow pentru urmărirea și analiza fluxurilor de lucru.