Awesome GitHub RepositoriesParameter Optimizers

Flashlight este o bibliotecă C++ de machine learning și un framework de deep learning conceput pentru construirea și antrenarea rețelelor neuronale. Acesta funcționează ca o bibliotecă de manipulare a tensorilor și un motor de diferențiere automată care urmărește operațiunile pentru a calcula gradienții prin backpropagation pentru optimizarea modelului. Proiectul se distinge prin rolul său de framework de antrenare distribuită, utilizând sincronizarea gradienților all-reduce și medii distribuite pentru a scala workload-urile de machine learning pe mai multe noduri și dispozitive. Dispune de o interfață de memorie agnostică față de backend și gestionare bazată pe RAII pentru a decupla operațiunile cu tensori de hardware-ul fizic. Framework-ul acoperă o suprafață largă de capabilități, inclusiv construcția de arhitecturi de rețele neuronale cu straturi convoluționale, liniare și recurente. Oferă utilitare extinse pentru algebră tensorială, gestionarea și batching-ul seturilor de date, serializare binară versionată pentru stările modelelor și instrumente de monitorizare pentru urmărirea metricilor de antrenare și a utilizării memoriei.

Acest proiect este o resursă educațională cuprinzătoare de machine learning și o serie de tutoriale livrate sub formă de colecție de Jupyter Notebooks interactive. Oferă implementări practice în Python pentru întregul ciclu de viață al machine learning-ului, acoperind învățarea supervizată și nesupervizată, deep learning și reinforcement learning. Resursa se remarcă prin ghiduri detaliate de implementare pentru arhitecturi complexe, inclusiv transformatoare, rețele generative adversariale (GAN) și rețele neuronale convoluționale. Include, de asemenea, cursuri specializate pentru dezvoltarea de agenți de reinforcement learning folosind Q-learning și Deep Q-Networks în medii simulate. Conținutul acoperă o gamă largă de capabilități în data science, inclusiv pipeline-uri de data engineering, codificarea trăsăturilor (feature encoding) și reducerea dimensionalității. Oferă materiale extinse despre evaluarea modelelor prin cross-validation și metrici de diagnostic, precum și subiecte avansate precum procesarea limbajului natural (NLP), analiza sentimentelor și AI generativ. Întregul curriculum este conceput pentru execuție interactivă în Jupyter Notebooks, combinând cod executabil, text bogat și vizualizări.

Acest proiect este o resursă educațională cuprinzătoare și un curs pentru construirea de rețele neuronale folosind PyTorch. Acoperă elementele fundamentale ale deep learning-ului, inclusiv manipularea tensorilor, diferențierea automată și construcția componentelor modulare de rețele neuronale. Repository-ul servește drept ghid tehnic pentru mai multe domenii specializate. Oferă detalii de implementare pentru sarcini de computer vision, cum ar fi clasificarea imaginilor, detecția obiectelor și segmentarea semantică, precum și fluxuri de lucru de procesare a limbajului natural (NLP) care implică transformatoare, rețele recurente și modele generative. În plus, include o referință pentru AI generativ, concentrându-se în mod specific pe sinteza de imagini prin modele de difuzie și rețele adversariale. Materialul se extinde către optimizarea modelelor și pipeline-uri de deployment. Acoperă tehnici pentru reducerea dimensiunii modelelor și creșterea vitezei de inferență prin cuantizare și exportul modelelor în formate precum ONNX și TensorRT. Alte domenii de capabilitate includ ingineria datelor pentru încărcarea paralelă, evaluarea modelelor folosind metrici personalizate și deployment-ul modelelor de limbaj mari (LLM) open-source. Proiectul este livrat în principal sub formă de serie de Jupyter Notebooks.

TensorFlow Probability is a library for probabilistic reasoning and statistical analysis integrated with the TensorFlow ecosystem. It serves as a Bayesian deep learning framework, a probabilistic programming interface, and a variational inference engine, providing a toolset for Markov chain Monte Carlo sampling and tensor-based probabilistic modeling. The project enables the construction of neural networks with probabilistic weights and the implementation of Bayesian neural networks to quantify prediction uncertainty. It provides specialized capabilities for hierarchical probabilistic modelin

Acest proiect este o colecție de resurse educaționale și implementări de referință pentru dezvoltarea rețelelor neuronale folosind TensorFlow. Servește drept curs cuprinzător de învățare, curriculum de machine learning și ghid practic de implementare pentru construirea arhitecturilor de deep learning. Codul sursă oferă materiale instrucționale și exemple care acoperă o gamă largă de tipuri de modele, inclusiv rețele neuronale convoluționale pentru clasificarea imaginilor, rețele recurente și celule long short-term memory pentru date secvențiale, și autoencodere pentru modelare generativă. Include, de asemenea, implementări pentru agenți de deep reinforcement learning și tehnici de transfer learning pentru adaptarea modelelor pre-antrenate la sarcini noi. Proiectul acoperă întregul ciclu de viață al dezvoltării, inclusiv preprocesarea datelor, definirea grafului computațional și optimizarea ponderilor. Oferă utilitare pentru evaluarea modelelor și optimizarea antrenamentului, cum ar fi dropout și regularizare, alături de instrumente pentru vizualizarea arhitecturii rețelei și monitorizarea metricilor de antrenament.

Acest proiect este o traducere în limba chineză a ghidurilor tehnice și a referințelor API pentru framework-ul de deep learning PyTorch. Servește ca o bază de cunoștințe localizată și material de referință pentru a face documentația de deep learning accesibilă vorbitorilor non-nativi de engleză. Documentația acoperă o gamă cuprinzătoare de capabilități PyTorch, inclusiv dezvoltarea modelelor de rețele neuronale, diferențierea automată și implementarea kernel-urilor de backend. Oferă îndrumări detaliate privind strategiile de antrenare distribuită, implementarea modelelor prin formate precum ONNX și C++, precum și diverse tehnici de optimizare și cuantizare a modelelor. Proiectul utilizează un pipeline de traducere condus de comunitate și un model de contribuție distribuit pentru a menține conținutul sincronizat cu versiunile. Materialele tehnice sunt organizate folosind markdown și randate într-un site web navigabil prin generare de site-uri statice.

Acest proiect este o îmbunătățire a programării pentru Anki care implementează algoritmul Free Spaced Repetition Scheduler. Acesta servește ca înlocuitor pentru modelele tradiționale de programare, calculând intervalele de revizuire pentru a optimiza retenția memoriei pe termen lung. Instrumentul oferă simularea retenției memoriei pentru a prezice numărul viitor de revizuiri și timpul de studiu pe baza datelor istorice. Permite optimizarea nivelurilor de retenție pentru a echilibra efortul de studiu cu persistența memoriei și suportă suprascrieri de programare personalizate pentru pachete specifice. Sistemul acoperă analiza modelelor de memorie, predicția volumului de muncă și calculul automat al datelor de revizuire pe baza modelelor individuale de învățare.

Acest proiect este o resursă educațională cuprinzătoare și un manual de tutoriale pentru construirea, antrenarea și implementarea modelelor de machine learning folosind TensorFlow 2. Acesta servește drept ghid de învățare structurat, acoperind concepte fundamentale de deep learning, inclusiv arhitecturi de rețele neuronale, diferențiere automată și operații cu tensori. Manualul oferă îndrumări tehnice pentru optimizarea eficienței execuției prin gestionarea memoriei GPU, antrenarea distribuită și cuantizarea modelelor. Include, de asemenea, manuale detaliate pentru construirea de pipeline-uri de date de înaltă performanță și exportul modelelor pentru servere de producție, dispozitive mobile și browsere web. Materialul acoperă o gamă largă de capabilități, inclusiv dezvoltarea de modele cu rețele convoluționale și recurente, implementarea de funcții de loss și straturi personalizate, precum și utilizarea modelelor pre-antrenate pentru transfer learning. De asemenea, abordează strategii de implementare pentru dispozitive edge și utilizarea runtime-urilor bazate pe cloud pentru accelerare hardware. Resursa este implementată sub forma unei colecții de Jupyter Notebooks.

This project serves as an educational and practical resource for mastering machine learning workflows using Python. It provides a comprehensive collection of code examples and exercises designed to guide users through the implementation of predictive systems, ranging from fundamental algorithms to deep learning architectures. The repository distinguishes itself by offering a structured approach to both classical machine learning and neural network training. It covers the full lifecycle of model development, including the orchestration of reusable data transformation pipelines, advanced ensemb