Awesome GitHub RepositoriesMulti-Task Learning Models

This project is a speech recognition and translation engine that utilizes a sequence-to-sequence transformer architecture to convert audio into text. It is built upon a weakly supervised learning framework, which leverages large-scale, unlabelled audio-transcript data to create generalized speech representations capable of performing simultaneous transcription, language identification, and translation. The system distinguishes itself through a unified multi-task modeling approach that shares token sequences across different objectives, allowing it to handle diverse languages and vocabularies

The algorithm is a distributed recommendation engine pipeline designed to construct and serve personalized content timelines. It functions as a multi-stage orchestration layer that aggregates candidate content from diverse social graphs and high-dimensional embedding spaces, processing user interaction data to deliver a unified, ranked experience. The system utilizes a high-performance machine learning serving infrastructure to execute deep learning models that predict engagement probabilities in real-time. It distinguishes itself through a hybrid retrieval strategy that combines graph-traver

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

Ludwig is a declarative machine learning framework designed for training neural networks and large language models using configuration files instead of manual coding. It functions as a multimodal model builder and a low-code tool for supervised fine-tuning, allowing users to build models that process mixed inputs of text, images, audio, and tabular data. The project distinguishes itself through an automated hyperparameter optimizer and a system for large language model fine-tuning using parameter-efficient adapters. It features a multimodal data pipeline and the ability to automatically gener

DeepCTR is a specialized software framework and deep learning model library designed for predicting click-through rates and implementing recommendation systems. It provides a suite of tabular data models and architectures tailored for binary classification and sparse feature processing. The framework includes dedicated toolkits for multi-task learning and sequential interest modeling. It allows for the simultaneous estimation of multiple related targets through shared-bottom and gated expert neural networks, while capturing evolving user behavior using attention mechanisms and transformers.

Qwen-Image is a text-to-image model and large language model image generation framework. It functions as an AI image editing suite and a personalized image trainer, capable of producing high-fidelity visuals and accurate typography from natural language descriptions. The system is distinguished by its precision text rendering engine, which integrates multi-script calligraphy and layout-coherent alphabetic text into images. It provides specialized capabilities for subject identity preservation and consistent subject generation across different poses and viewpoints, alongside a training pipelin

Acesta este un framework de machine learning pentru tratarea diverselor sarcini de procesare a limbajului natural ca o problemă unificată de tip text-to-text. Oferă un toolkit pentru pre-antrenarea și ajustarea fină a modelelor transformer la scară largă, utilizând un sistem în care atât input-urile, cât și output-urile sunt formatate ca secvențe de text brut. Framework-ul se distinge prin sistemul său de antrenare distribuită, care utilizează strategii bazate pe mesh pentru a scala ponderile modelelor și batch-urile de antrenament pe mai multe nuclee TPU. Susține învățarea multi-task prin combinarea diverselor seturi de date într-un singur flux de antrenament folosind rate de amestec configurabile, permițând unui singur model să gestioneze diverse sarcini lingvistice. Sistemul acoperă o gamă largă de capabilități, inclusiv arhitecturi encoder-decoder, decodare beam-search pentru generarea de text și fluxuri de lucru de transfer learning. Include utilitare pentru pregătirea seturilor de date NLP, evaluarea performanței modelului și exportul checkpoint-urilor antrenate pentru servire în producție. Biblioteca susține încărcarea checkpoint-urilor de modele pre-antrenate de diverse dimensiuni pentru a accelera dezvoltarea.

Sapiens este un model de viziune umană de înaltă rezoluție conceput pentru sarcini de computer vision centrate pe om, de înaltă precizie. Acesta funcționează ca o suită de instrumente pentru estimarea posturii umane, a adâncimii și a geometriei suprafeței. Proiectul utilizează un backbone de tip vision transformer pentru a îndeplini sarcini multiple printr-un encoder partajat. Această arhitectură permite predicția simultană a structurilor scheletice, a locațiilor articulațiilor și a distanței dintre o cameră și un subiect uman. Capabilitățile modelului acoperă segmentarea părților corpului uman pentru a izola regiunile anatomice de fundal și predicția normalelor suprafeței pentru a recupera detalii geometrice 3D din imagini 2D. Aceste sarcini sunt susținute de un framework de învățare multi-task care utilizează regresia la nivel de pixel și mascarea prin segmentare semantică.

EconML este o bibliotecă Python pentru inferență cauzală, concepută pentru a estima efectele eterogene ale tratamentului folosind o combinație de machine learning și econometrie. Servește ca toolkit pentru calcularea efectelor medii condiționate ale tratamentului, pentru a determina modul în care intervențiile specifice impactează indivizii sau subgrupurile. Proiectul oferă un framework pentru double machine learning și orthogonal machine learning pentru a izola semnalele cauzale de factorii de confuzie de înaltă dimensiune. Include implementări specializate pentru păduri cauzale și cursanți cu variabile instrumentale, permițând recuperarea relațiilor cauzale chiar și în prezența factorilor de confuzie neobservați. Biblioteca acoperă o gamă largă de capabilități, inclusiv validarea modelelor cauzale prin teste de refutare și curbe de calibrare, construirea de politici de tratament personalizate și analiza regimurilor de tratament dinamic. De asemenea, suportă inferența statistică pentru cuantificarea incertitudinii și interpretarea eterogenității efectelor folosind modele bazate pe arbori și valori Shapley. Proiectul este implementat și demonstrat în principal prin Jupyter Notebooks.

This project is a distributed machine learning platform and sparse deep learning framework designed for training and serving models with high-dimensional sparse data. It functions as an online model serving infrastructure and recommendation system engine, enabling real-time item retrieval and scoring using deep tree matching and neural networks. The system distinguishes itself through a multi-task learning framework that optimizes multiple objective functions within a shared representation space. It features a specialized online serving infrastructure that supports dynamic model hot-loading a

Open Flamingo este un framework de antrenare a modelelor de limbaj mari multimodale conceput pentru a integra encodere de viziune pre-antrenate cu modele de limbaj. Acesta implementează o arhitectură viziune-limbaj care utilizează straturi de cross-attention pentru a procesa secvențe intercalate de imagini și text. Sistemul este caracterizat prin capabilitățile sale de învățare multimodală few-shot, permițând modelului să se adapteze la noi sarcini vizuale folosind un set mic de exemple imagine-text furnizate în prompt. Suportă învățarea în context și generarea de text multimodal pentru sarcini precum răspunsul la întrebări vizuale și captioning. Framework-ul include un antrenor de model distribuit care utilizează paralelismul datelor și gradient checkpointing pentru optimizarea memoriei pe mai multe GPU-uri. Oferă, de asemenea, utilitare pentru încărcarea seturilor de date multimodale sharded, evaluarea paralelă a modelelor și infrastructură pentru găzduirea modelelor la scară largă pentru inferență.

Sqlcoder is a text-to-SQL large language model specialized in converting natural language questions into structured, executable database queries. It functions as a database interface and query generator that allows for data retrieval without requiring manual code. The system utilizes an instruction-tuned model combined with schema-aware prompting and dynamic context injection. By ingesting database metadata and using in-context learning with example query pairs, it generates syntactically valid queries that match the specific schema of a connected database. The project covers a broader range

This project is a collection of structured study notes and notebooks serving as an educational resource for deep learning and neural network fundamentals. It provides a technical reference for implementing machine learning theory, covering everything from basic network design to the construction of advanced architectures. The material specifically focuses on the implementation of convolutional neural networks for computer vision and sequence models for natural language processing. It includes detailed guidance on building object detection systems, face recognition, and speech transcription mo

DeepCTR-Torch is a deep learning library for building click-through rate prediction models. It provides a modular framework for assembling custom prediction architectures from pre-built core, interaction, and sequence layers, enabling the construction of deep neural networks that estimate click probability from user behavior data. The library specializes in feature interaction modeling, offering components for learning low-order, high-order, and adaptive-order feature crosses. It supports multi-task learning for predicting multiple objectives simultaneously, such as click and conversion rates

Otter is a framework and toolkit for the pretraining, fine-tuning, and evaluation of vision-language models. It provides a pipeline for training large language models to process high-resolution images and video frames, integrating visual encoders with textual token spaces. The system is designed for multi-visual input processing, allowing models to interpret multiple images or video sequences within a single prompt. It supports multi-round conversation management to maintain context across interactions for detailed scene comprehension and visual reasoning. The framework covers a full develop

Această bibliotecă oferă un framework de deep learning pentru identificarea fețelor umane și extragerea punctelor de reper faciale (landmarks) în imagini digitale. Utilizează o arhitectură de rețea neuronală convoluțională multi-task pentru a efectua simultan clasificarea feței, regresia bounding box-ului și localizarea punctelor de reper. Sistemul procesează imaginile prin trei etape secvențiale de rețele neuronale, încorporând redimensionarea piramidală a imaginii pentru a detecta fețe de diferite dimensiuni. Pentru a asigura acuratețea, utilizează regresia bounding box-ului pentru a rafina predicțiile coordonatelor și non-maximum suppression pentru a filtra detecțiile redundante care se suprapun. Aceste instrumente susțin preprocesarea datelor biometrice prin standardizarea orientării și poziționării trăsăturilor faciale. Prin alinierea punctelor de reper și decuparea imaginilor, biblioteca pregătește datele vizuale pentru sarcini ulterioare de recunoaștere sau analiză.

This project provides a compact neural network architecture designed for human face detection and facial landmark localization. It functions as a specialized computer vision tool that identifies faces and extracts five specific facial key points within a single inference pass, making it suitable for integration into resource-constrained environments. The system utilizes a lightweight convolutional backbone and an anchor-based detection mechanism to maintain a small memory footprint while performing real-time processing. By employing a multi-task learning head, the model simultaneously predict