Awesome GitHub RepositoriesSequence Generation

This project is a transformer-based language model and autoregressive text generator designed to predict the next token in a sequence to produce human-like prose and synthetic text. It functions as a large language model that utilizes a transformer architecture to learn linguistic patterns from large datasets for unsupervised multitask learning. The repository provides a distribution of pre-trained weights, enabling natural language processing tasks without requiring additional training. This allows the model to perform zero-shot task generalization by applying learned patterns to new tasks.

Qwen2.5-VL एक ऑटोरग्रेसिव मल्टीमॉडल ट्रांसफार्मर है जिसे टेक्स्ट और विजुअल टोकन के इंटरलीव्ड अनुक्रमों को संसाधित करने के लिए डिज़ाइन किया गया है। यह क्रॉस-मॉडल तर्क करने और सुसंगत प्रतिक्रियाएं या संरचित लेआउट कोड उत्पन्न करने के लिए विजुअल फीचर एम्बेडिंग को एक साझा भाषा मॉडल स्थान में एकीकृत करता है। प्रोजेक्ट विजन-लैंग्वेज-एक्शन मैपिंग के माध्यम से खुद को अलग करता है, जिससे यह विजुअल इंटरफेस को समझने और उस धारणा को डिजिटल स्क्रीन और रोबोटिक हार्डवेयर को संचालित करने के लिए कार्रवाई योग्य कमांड में अनुवाद करने की अनुमति देता है। यह विविध छवि आकारों और लंबी अवधि के वीडियो अनुक्रमों को संभालने के लिए डायनामिक-रिज़ॉल्यूशन छवि एन्कोडिंग और टेम्पोरल-फ्रेम वीडियो इंडेक्सिंग का उपयोग करता है। मॉडल दस्तावेज़ डिजिटलीकरण के लिए बहुभाषी ऑप्टिकल कैरेक्टर रिकग्निशन, बाउंडिंग बॉक्स के माध्यम से वस्तुओं का पता लगाने के लिए स्थानिक ग्राउंडिंग, और लंबे वीडियो सामग्री के विश्लेषण सहित क्षमताओं के एक व्यापक क्षेत्र को कवर करता है। यह चार्ट और आरेखों का उपयोग करके समस्याओं को हल करने के लिए मल्टीमॉडल गणितीय तर्क का भी समर्थन करता है, और अपनी समझ को दस लाख टोकन की कॉन्टेक्स्ट लंबाई तक विस्तारित करता है।

Transformers.js is a JavaScript library and web machine learning framework designed to run pretrained transformer models directly in the browser. It serves as a client-side inference engine and a wrapper for the ONNX Runtime, enabling the execution of multimodal AI tasks on user devices without the need for a backend server. The library distinguishes itself by providing a unified toolkit for processing text, image, and audio data locally. This architecture supports privacy-preserving model inference and reduces latency by performing all computations on the client's hardware. Its capabilities

This project is a large language model and general purpose natural language processing engine designed for text generation and linguistic analysis. It functions as a few-shot learning framework capable of solving diverse reasoning and language tasks using a small number of provided examples without requiring additional training. The system specializes in generating human-like synthetic text and long-form content, including news articles. It also provides capabilities for automated text reasoning to solve logic and arithmetic problems through direct interaction. The project includes tools for

Mistral Inference is a library for running Mistral large language models on a GPU, generating text from prompts with token streaming. It loads pretrained model weights from local disk or a remote registry into GPU memory, then produces output tokens one by one for real-time display in interactive applications. The library supports multimodal prompts that accept image URLs alongside text, enabling visual description and reasoning. It includes content safety guardrails that scan generated text against predefined policies to block or flag policy violations. For structured interactions, it provid

Implementation of Denoising Diffusion Probabilistic Model in Pytorch

tflearn is a deep learning framework and high-level API wrapper for TensorFlow. It provides a toolkit for designing neural network architectures and a system for executing training loops and optimizing model weights across CPUs and GPUs. The project simplifies the process of building and training models through a modular interface and a high-level API for prototyping. It includes specialized utilities for deep learning visualization, allowing for the generation of graphical diagrams to analyze network structures, weights, gradients, and activations. The framework covers a broad range of capa

TinyLlama is a compact 1.1B parameter language model pretrained on a dataset of 3 trillion tokens. It is an edge AI model designed for high-performance text generation on memory-constrained devices. The project provides a distributed pretraining framework for training small language models across multiple GPUs and nodes. It also includes a finetuning toolkit for full-parameter weight adjustments to adapt the base model for chat and specific tasks. The system supports distributed large language model training and on-device text generation. Its architectural components include rotary positiona

This project is a comprehensive machine learning interview guide and technical study resource designed for individuals preparing for machine learning and AI engineering roles. It provides a collection of materials and practice problems covering core algorithms, theoretical fundamentals, and the implementation of neural network architectures. The resource serves as a technical reference for generative AI development, focusing on the design and optimization of large language models and diffusion systems. It includes frameworks for system design, covering the architecture of production machine l

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

This project is a deep learning text classification framework and neural text analysis library. It provides tools for categorizing textual data, adapting large language models through fine-tuning, and treating classification tasks as sequence generation problems using transformer architectures. The framework distinguishes itself through the implementation of ensemble learning, using boosting to combine predictions from multiple architectures to increase accuracy. It also includes a toolkit for fine-tuning pre-trained models via layer updates and the ability to restore model sessions for real-

GLM-130B is a pre-trained foundation model and bilingual large language model designed for natural language processing tasks in both English and Chinese. It functions as an autoregressive language model and text generator capable of producing long-form content and predicting missing phrases. The model utilizes an autoregressive blank-filling architecture and a bidirectional dense transformer to process text. This approach allows the system to transition between understanding context through masked language modeling and generating sequential text using specific mask tokens. The project covers

CodeGeeX2 is a large language model and AI programming assistant designed to generate, translate, and document source code across multiple programming languages. It functions as a multilingual code model that converts natural language prompts into executable code and technical documentation. The project provides a self-hosted AI inference endpoint, allowing the model to be exposed as a web-accessible service. This enables external development tools to integrate automated programming tasks via network calls. Its core capabilities cover multilingual code generation, automated source code docum

gpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran

fun-rec is a learning guide and framework for building personalized recommendation systems, covering everything from deep learning ranking to generative recommendation paradigms. It provides instructional content on constructing industrial-grade architectures that span offline data processing and real-time online serving. The project distinguishes itself by focusing on generative recommendation, treating the suggestion process as a sequence-to-sequence task using large language models and transformer models to generate item identifiers rather than traditional ranking lists. It also emphasizes

DeepSeek-LLM एक लार्ज लैंग्वेज मॉडल और कॉज़ल लैंग्वेज मॉडल है जिसे नेचुरल लैंग्वेज जनरेशन के लिए डिज़ाइन किया गया है। यह टेक्स्ट कंप्लीशन और संवादात्मक जनरेशन करने के लिए एक अनुक्रम में अगले टोकन की भविष्यवाणी करने में सक्षम एक बहुभाषी सिस्टम के रूप में कार्य करता है। यह मॉडल तार्किक तर्क के लिए विशेष है, विशेष रूप से एक कोड और गणित LLM के रूप में। यह इसे जटिल समस्या समाधान करने में सक्षम बनाता है, जिसमें निष्पादन योग्य कोड उत्पन्न करना और चरण-दर-चरण विश्लेषण के माध्यम से गणितीय समीकरणों को हल करना शामिल है। सिस्टम की व्यापक क्षमताएं संवादात्मक AI को कवर करती हैं, जिसमें कई भाषाओं में चैट कंप्लीशन और टेक्स्ट अनुक्रमों का निर्माण शामिल है। इसकी कार्यात्मक सतह स्वचालित कोड जनरेशन और विभिन्न लेखन कार्यों के लिए सुसंगत टेक्स्ट के उत्पादन तक फैली हुई है।

This repository collects illustrated single-page cheat sheets that compress the core topics of Stanford's CS 230 deep learning course into visual reference summaries. The collection covers convolutional neural networks, recurrent neural networks, and practical training techniques, pairing schematic diagrams with mathematical notation to bridge intuition and formal understanding. The cheat sheets are organized by subject area and link related concepts across topics, such as connecting vanishing gradients to LSTM gates, to reinforce the full deep learning workflow. Practical training advice on

GLM-4 is a large language model and fine-tuning framework designed for human-like text production, complex reasoning, and multilingual conversation. It functions as a multimodal system capable of processing high-resolution visual content and as a long-context model designed to analyze documents with a context window of up to one million tokens. The project differentiates itself through a function calling interface that enables AI agent development by connecting the model to external APIs and real-time web browsing. It includes specialized capabilities for generating functional programming cod

Tensorpack एक उच्च-स्तरीय TensorFlow न्यूरल नेटवर्क फ्रेमवर्क और रिसर्च लाइब्रेरी है जिसे डीप लर्निंग मॉडल्स बनाने और प्रशिक्षित करने के लिए डिज़ाइन किया गया है। यह कंप्यूटर विज़न, जनरेटिव टास्क, रीइन्फोर्समेंट लर्निंग और नेचुरल लैंग्वेज प्रोसेसिंग के लिए पुनरुत्पादक (reproducible) न्यूरल नेटवर्क आर्किटेक्चर का संग्रह प्रदान करता है। प्रोजेक्ट एक विशेष डीप लर्निंग डेटा पाइपलाइन के माध्यम से खुद को अलग करता है जो समानांतर डेटा लोडिंग और स्ट्रीमिंग के लिए शुद्ध Python का उपयोग करती है। इसमें डेटा-समानांतर रणनीतियों के माध्यम से वर्कलोड वितरित करने के लिए एक मल्टी-GPU ट्रेनिंग ऑर्केस्ट्रेटर और मॉडल सेलियंसी और एक्टिवेशन मैप्स को विज़ुअलाइज़ करने के लिए एक समर्पित इंटरप्रिटेबिलिटी टूलकिट शामिल है। फ्रेमवर्क क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है, जिसमें ऑब्जेक्ट डिटेक्शन और सिमेंटिक सेगमेंटेशन के लिए कंप्यूटर विज़न पाइपलाइन्स, स्पीच और टेक्स्ट के लिए अनुक्रम मॉडलिंग, और रीइन्फोर्समेंट लर्निंग एजेंट विकास शामिल है। यह वेट क्वांटाइज़ेशन और लो बिटविड्थ ट्रेनिंग के लिए मॉडल ऑप्टिमाइज़ेशन उपकरण भी प्रदान करता है, साथ ही शैक्षणिक शोध पत्रों को पुनरुत्पादित करने और लीगेसी Caffe मॉडल वेट्स को परिवर्तित करने के लिए यूटिलिटीज भी प्रदान करता है।