Awesome GitHub RepositoriesDropout Regularization

This project is a comprehensive Chinese translation of a technical deep learning textbook, providing an educational resource on the theory and implementation of neural networks. It functions as a collaborative technical translation project designed to make complex academic AI literature accessible to non-English speakers. The project utilizes a community-driven translation model that integrates external suggestions and pull requests to refine linguistic accuracy and reduce bias. It employs standardized terminology mapping to ensure a uniform vocabulary throughout the translated content. To i

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

This project is a comprehensive deep learning framework and educational platform designed for constructing, training, and evaluating neural network architectures. It provides a modular environment for building models through tensor operations and automatic differentiation, supporting a wide range of tasks from image classification and object detection to sequential data processing. Beyond its core technical capabilities, the project distinguishes itself by integrating professional career development resources directly into its learning ecosystem. It offers structured guidance, resume reviews,

This project is a comprehensive educational resource and curriculum designed to teach the mathematical foundations and practical implementation of neural networks. It provides a structured path for understanding how computers learn from data, covering core concepts such as gradient descent, backpropagation, and the biological inspiration behind artificial neurons. The platform distinguishes itself by combining theoretical proofs with hands-on implementation exercises. It demonstrates the universal approximation theorem through visual explanations and guides users in building various architect

This project is a PyTorch-based generative framework and implementation template for building Generative Adversarial Networks. It provides a collection of foundational toolkits and architectural patterns designed to synthesize high-quality artificial data while focusing on the stability of adversarial neural networks. The framework distinguishes itself through a specialized toolkit for conditional image generation, which integrates discrete labels and auxiliary classification into the training process. It utilizes specific mechanisms to guide the generative process toward target classes by co

This project is a collection of PyTorch learning resources and educational guides designed to teach the construction and training of neural networks. It serves as a comprehensive deep learning tutorial covering various model architectures and practical implementation strategies. The resources provide specific guidance on implementing computer vision tasks, such as image classification and synthetic imagery generation, as well as reinforcement learning agents using value networks and experience replay. It also covers sequential data modeling through recurrent networks and generative modeling u

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This repository collects illustrated single-page cheat sheets that compress the core topics of Stanford's CS 230 deep learning course into visual reference summaries. The collection covers convolutional neural networks, recurrent neural networks, and practical training techniques, pairing schematic diagrams with mathematical notation to bridge intuition and formal understanding. The cheat sheets are organized by subject area and link related concepts across topics, such as connecting vanishing gradients to LSTM gates, to reinforce the full deep learning workflow. Practical training advice on

Acest proiect este o colecție de notebook-uri interactive pentru un curs de deep learning TensorFlow. Oferă resurse de învățare ghidată și tutoriale practice pentru implementarea arhitecturilor de rețele neuronale, învățarea supervizată și transfer learning. Materialele includ o cale de învățare pentru computer vision și ghiduri specifice pentru transfer learning, demonstrând cum să adaptezi modele pre-antrenate la sarcini noi. Include tutoriale pentru construirea de modele de regresie și clasificatori de imagini folosind API-ul de nivel înalt Keras. Domeniul de aplicare acoperă pipeline-uri de învățare supervizată pentru clasificare binară și multiclasă, modelare de regresie și construcția de rețele neuronale convoluționale pentru recunoașterea textului scris de mână. De asemenea, abordează procesarea datelor de imagine și procesul de exportare a modelelor antrenate pentru deployment. Proiectul este livrat sub forma unei serii de Jupyter Notebooks care combină codul executabil cu text bogat.

Composer este un framework de antrenare distribuită PyTorch conceput pentru scalarea modelelor de mari dimensiuni pe clustere GPU multi-nod. Acesta funcționează ca un antrenor de modele lingvistice mari (LLM), un optimizator de modele distribuite și un manager al ciclului de viață al antrenării. Proiectul se diferențiază ca o bibliotecă de regularizare pentru deep learning, oferind tehnici de optimizare specializate precum Sharpness Aware Minimization, MixUp și CutMix pentru a îmbunătăți generalizarea modelului. De asemenea, distinge fluxul de antrenare prin utilizarea warmup-ului pentru lungimea secvenței, înghețarea progresivă a straturilor și checkpointing-ul stării sharded pentru recuperarea modelelor la scară largă. Framework-ul acoperă o suprafață largă de capabilități, inclusiv orchestrarea antrenării distribuite, gestionarea hardware-ului cu precizie mixtă și streaming-ul de date cloud-native. Oferă, de asemenea, instrumente extinse de monitorizare și observabilitate pentru diagnosticarea memoriei GPU, detectarea divergenței antrenării și urmărirea throughput-ului. Proiectul include un launcher CLI pentru automatizarea execuției joburilor de antrenare multi-GPU pe mai multe noduri.

Flashlight este o bibliotecă C++ standalone de machine learning și tensori, utilizată pentru construirea și antrenarea rețelelor neuronale. Aceasta funcționează ca un framework cuprinzător de rețele neuronale și motor de diferențiere automată, oferind instrumentele necesare pentru a construi grafuri de calcul și a calcula gradienții prin backpropagation. Proiectul servește drept framework de antrenare distribuită, utilizând operațiuni all-reduce pentru a sincroniza gradienții și parametrii pe mai multe noduri de calcul și dispozitive. Se distinge prin integrarea profundă a manipulării de înaltă performanță a tensorilor, interoperabilitatea nativă a memoriei dispozitivului și un sistem pentru sincronizarea ponderilor între workerii distribuiți pentru a accelera antrenarea modelelor la scară largă. Framework-ul acoperă o gamă largă de capabilități de deep learning, inclusiv compoziția modulară a straturilor pentru proiectarea arhitecturilor complexe precum blocuri reziduale și celule recurente. Oferă utilitare extinse de gestionare a datelor pentru ingestie și prefetching, alături de sisteme de serializare pentru persistența stărilor modelelor. În plus, include o suită de instrumente de monitorizare și observabilitate pentru urmărirea metricilor de antrenare și măsurarea erorilor de secvență. Biblioteca este implementată în C++.

Flashlight este o bibliotecă C++ de machine learning și un framework de deep learning conceput pentru construirea și antrenarea rețelelor neuronale. Acesta funcționează ca o bibliotecă de manipulare a tensorilor și un motor de diferențiere automată care urmărește operațiunile pentru a calcula gradienții prin backpropagation pentru optimizarea modelului. Proiectul se distinge prin rolul său de framework de antrenare distribuită, utilizând sincronizarea gradienților all-reduce și medii distribuite pentru a scala workload-urile de machine learning pe mai multe noduri și dispozitive. Dispune de o interfață de memorie agnostică față de backend și gestionare bazată pe RAII pentru a decupla operațiunile cu tensori de hardware-ul fizic. Framework-ul acoperă o suprafață largă de capabilități, inclusiv construcția de arhitecturi de rețele neuronale cu straturi convoluționale, liniare și recurente. Oferă utilitare extinse pentru algebră tensorială, gestionarea și batching-ul seturilor de date, serializare binară versionată pentru stările modelelor și instrumente de monitorizare pentru urmărirea metricilor de antrenare și a utilizării memoriei.

Acest proiect este o resursă educațională cuprinzătoare și un curs pentru construirea de rețele neuronale folosind PyTorch. Acoperă elementele fundamentale ale deep learning-ului, inclusiv manipularea tensorilor, diferențierea automată și construcția componentelor modulare de rețele neuronale. Repository-ul servește drept ghid tehnic pentru mai multe domenii specializate. Oferă detalii de implementare pentru sarcini de computer vision, cum ar fi clasificarea imaginilor, detecția obiectelor și segmentarea semantică, precum și fluxuri de lucru de procesare a limbajului natural (NLP) care implică transformatoare, rețele recurente și modele generative. În plus, include o referință pentru AI generativ, concentrându-se în mod specific pe sinteza de imagini prin modele de difuzie și rețele adversariale. Materialul se extinde către optimizarea modelelor și pipeline-uri de deployment. Acoperă tehnici pentru reducerea dimensiunii modelelor și creșterea vitezei de inferență prin cuantizare și exportul modelelor în formate precum ONNX și TensorRT. Alte domenii de capabilitate includ ingineria datelor pentru încărcarea paralelă, evaluarea modelelor folosind metrici personalizate și deployment-ul modelelor de limbaj mari (LLM) open-source. Proiectul este livrat în principal sub formă de serie de Jupyter Notebooks.

DeepLearningZeroToAll este o resursă educațională cuprinzătoare și o colecție de implementări axată pe deep learning și machine learning. Oferă o cale de învățare structurată folosind TensorFlow pentru a trece de la modele liniare fundamentale la arhitecturi complexe de rețele neuronale. Proiectul se distinge prin implementările sale practice ale diverselor tipuri de rețele, inclusiv perceptroni multistrat pentru probleme de logică, rețele neuronale convoluționale pentru date spațiale și recunoașterea imaginilor, și rețele neuronale recurente folosind celule LSTM pentru prognoza seriilor temporale și predicția secvențelor de caractere. Include, de asemenea, demonstrații detaliate ale regularizării modelelor prin tehnici de batch normalization și dropout. Repository-ul acoperă o gamă largă de capabilități, inclusiv machine learning supervizat cu regresie liniară și logistică, ingineria datelor pentru manipularea și scalarea tensorilor și optimizarea modelelor prin gradient descent și calcule manuale de backpropagation. Include, de asemenea, instrumente pentru evaluarea modelelor, persistența ponderilor și observabilitatea antrenării prin vizualizarea funcției de cost și logarea metricilor. Conținutul este livrat printr-o serie de Jupyter Notebooks.

Acest proiect este o colecție de resurse educaționale și implementări de referință pentru dezvoltarea rețelelor neuronale folosind TensorFlow. Servește drept curs cuprinzător de învățare, curriculum de machine learning și ghid practic de implementare pentru construirea arhitecturilor de deep learning. Codul sursă oferă materiale instrucționale și exemple care acoperă o gamă largă de tipuri de modele, inclusiv rețele neuronale convoluționale pentru clasificarea imaginilor, rețele recurente și celule long short-term memory pentru date secvențiale, și autoencodere pentru modelare generativă. Include, de asemenea, implementări pentru agenți de deep reinforcement learning și tehnici de transfer learning pentru adaptarea modelelor pre-antrenate la sarcini noi. Proiectul acoperă întregul ciclu de viață al dezvoltării, inclusiv preprocesarea datelor, definirea grafului computațional și optimizarea ponderilor. Oferă utilitare pentru evaluarea modelelor și optimizarea antrenamentului, cum ar fi dropout și regularizare, alături de instrumente pentru vizualizarea arhitecturii rețelei și monitorizarea metricilor de antrenament.

This project is a TensorFlow-based supervised text categorizer designed for Chinese natural language processing. It utilizes a hybrid neural network architecture that combines convolutional and recurrent layers to map raw Chinese text to predefined categories. The system integrates convolutional neural networks for local feature extraction and recurrent neural networks for analyzing sequential dependencies. It employs character-level tokenization and word embeddings to represent text as numerical tensors. The implementation covers the end-to-end machine learning pipeline, including text prep

oneDNN este o bibliotecă pentru accelerarea deep learning-ului care oferă blocuri de construcție optimizate pentru antrenarea și inferența rețelelor neuronale. Aceasta gestionează calculul tensorial pe hardware CPU și GPU, permițând execuția de primitive de înaltă performanță pentru antrenarea modelelor și optimizarea inferenței rețelelor neuronale. Proiectul se distinge prin optimizarea kernel-ului specifică hardware-ului și utilizarea compilării „just-in-time” pentru a viza seturi de instrucțiuni specifice ale procesorului. Suportă execuția rețelelor neuronale cuantizate folosind cuantizarea statică și dinamică pentru a reduce utilizarea memoriei și a crește throughput-ul. Biblioteca acoperă o gamă largă de capabilități, inclusiv primitive de deep learning precum convoluții, înmulțirea matricelor și execuția rețelelor neuronale recurente. Implementează optimizări avansate de performanță, inclusiv fuziunea operațiunilor, optimizarea grafului de calcul și gestionarea formatului memoriei. Integrarea este oferită printr-un ABI C stabil și un wrapper C++, cu suport pentru SYCL, OpenCL și biblioteci externe de algebră liniară. Sistemul include instrumente de observabilitate pentru profilarea performanței hardware, benchmarking-ul primitivelor și log-uri detaliate de execuție.

DeepXDE is a scientific machine learning library and deep learning PDE solver used to compute solutions for forward and inverse ordinary, partial, and integro-differential equations. It functions as a physics-informed neural network library that embeds physical laws and boundary conditions directly into the neural network loss function. The project provides a deep operator network framework for learning operator mappings that approximate relationships between functions in multiphysics problems. It is implemented as a multi-backend tensor library, allowing the system to switch between differen

This project is a collection of deep learning research implementations and a reproduction kit designed to translate theoretical AI papers into working code. It provides a library of neural network architectures and reference implementations for reproducing seminal research concepts through interactive notebooks. The repository distinguishes itself through the implementation of AI theory and scaling laws, covering complexity dynamics, information theory, and the simulation of universal AI agents. It also includes a benchmarking suite for synthetic reasoning, allowing for the evaluation of mode