Awesome GitHub RepositoriesAutoregressive Text Generation

This project is a transformer-based language model and autoregressive text generator designed to predict the next token in a sequence to produce human-like prose and synthetic text. It functions as a large language model that utilizes a transformer architecture to learn linguistic patterns from large datasets for unsupervised multitask learning. The repository provides a distribution of pre-trained weights, enabling natural language processing tasks without requiring additional training. This allows the model to perform zero-shot task generalization by applying learned patterns to new tasks.

Qwen2.5-VL este un transformer multimodal autoregresiv conceput pentru a procesa secvențe intercalate de token-uri de text și vizuale. Acesta integrează embedding-urile caracteristicilor vizuale într-un spațiu comun de model de limbaj pentru a efectua raționamente cross-modale și a genera răspunsuri coerente sau cod de layout structurat. Proiectul se distinge prin maparea viziune-limbaj-acțiune, permițându-i să perceapă interfețele vizuale și să traducă acea percepție în comenzi acționabile pentru operarea ecranelor digitale și a hardware-ului robotic. Utilizează codificarea imaginilor cu rezoluție dinamică și indexarea video pe cadre temporale pentru a gestiona dimensiuni diverse ale imaginilor și secvențe vizuale de lungă durată. Modelul acoperă o suprafață largă de capabilități, inclusiv recunoașterea optică a caracterelor multilingve pentru digitizarea documentelor, ancorarea spațială pentru localizarea obiectelor prin bounding boxes și analiza conținutului video de lungă durată. De asemenea, suportă raționamentul matematic multimodal pentru a rezolva probleme folosind grafice și diagrame și își extinde înțelegerea la o lungime de context de un milion de token-uri.

Transformers.js is a JavaScript library and web machine learning framework designed to run pretrained transformer models directly in the browser. It serves as a client-side inference engine and a wrapper for the ONNX Runtime, enabling the execution of multimodal AI tasks on user devices without the need for a backend server. The library distinguishes itself by providing a unified toolkit for processing text, image, and audio data locally. This architecture supports privacy-preserving model inference and reduces latency by performing all computations on the client's hardware. Its capabilities

This project is a large language model and general purpose natural language processing engine designed for text generation and linguistic analysis. It functions as a few-shot learning framework capable of solving diverse reasoning and language tasks using a small number of provided examples without requiring additional training. The system specializes in generating human-like synthetic text and long-form content, including news articles. It also provides capabilities for automated text reasoning to solve logic and arithmetic problems through direct interaction. The project includes tools for

Mistral Inference is a library for running Mistral large language models on a GPU, generating text from prompts with token streaming. It loads pretrained model weights from local disk or a remote registry into GPU memory, then produces output tokens one by one for real-time display in interactive applications. The library supports multimodal prompts that accept image URLs alongside text, enabling visual description and reasoning. It includes content safety guardrails that scan generated text against predefined policies to block or flag policy violations. For structured interactions, it provid

TinyLlama is a compact 1.1B parameter language model pretrained on a dataset of 3 trillion tokens. It is an edge AI model designed for high-performance text generation on memory-constrained devices. The project provides a distributed pretraining framework for training small language models across multiple GPUs and nodes. It also includes a finetuning toolkit for full-parameter weight adjustments to adapt the base model for chat and specific tasks. The system supports distributed large language model training and on-device text generation. Its architectural components include rotary positiona

This project is a comprehensive machine learning interview guide and technical study resource designed for individuals preparing for machine learning and AI engineering roles. It provides a collection of materials and practice problems covering core algorithms, theoretical fundamentals, and the implementation of neural network architectures. The resource serves as a technical reference for generative AI development, focusing on the design and optimization of large language models and diffusion systems. It includes frameworks for system design, covering the architecture of production machine l

This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

GLM-130B is a pre-trained foundation model and bilingual large language model designed for natural language processing tasks in both English and Chinese. It functions as an autoregressive language model and text generator capable of producing long-form content and predicting missing phrases. The model utilizes an autoregressive blank-filling architecture and a bidirectional dense transformer to process text. This approach allows the system to transition between understanding context through masked language modeling and generating sequential text using specific mask tokens. The project covers

CodeGeeX2 is a large language model and AI programming assistant designed to generate, translate, and document source code across multiple programming languages. It functions as a multilingual code model that converts natural language prompts into executable code and technical documentation. The project provides a self-hosted AI inference endpoint, allowing the model to be exposed as a web-accessible service. This enables external development tools to integrate automated programming tasks via network calls. Its core capabilities cover multilingual code generation, automated source code docum

gpt-neox is a distributed training system and framework for building large-scale autoregressive language models. It implements the transformer architecture and provides a toolkit for training models with billions of parameters by distributing weights across compute clusters. The framework distinguishes itself through extensive support for distributed model parallelism, including pipeline and sequence parallelism, to overcome single-device memory limits. It further supports sparse model architectures using a mixture of experts system with Sinkhorn-based routing. The project covers a broad ran

DeepSeek-LLM is a large language model and causal language model designed for natural language generation. It functions as a multi-lingual system capable of predicting the next token in a sequence to perform text completion and conversational generation. The model is specialized for logical reasoning, specifically as a code and math LLM. This enables it to perform complex problem solving, which includes generating executable code and solving mathematical equations through step-by-step analysis. The system's broader capabilities cover conversational AI, including the generation of chat comple

GLM-4 is a large language model and fine-tuning framework designed for human-like text production, complex reasoning, and multilingual conversation. It functions as a multimodal system capable of processing high-resolution visual content and as a long-context model designed to analyze documents with a context window of up to one million tokens. The project differentiates itself through a function calling interface that enables AI agent development by connecting the model to external APIs and real-time web browsing. It includes specialized capabilities for generating functional programming cod

Tensorpack este un framework de rețele neuronale TensorFlow de nivel înalt și o bibliotecă de cercetare concepută pentru construirea și antrenarea modelelor de deep learning. Oferă o colecție de arhitecturi de rețele neuronale reproductibile pentru viziune artificială, sarcini generative, învățare prin consolidare și procesarea limbajului natural. Proiectul se distinge printr-un pipeline de date de deep learning specializat care utilizează Python pur pentru încărcarea și streaming-ul datelor în paralel. Include un orchestrator de antrenare multi-GPU pentru distribuirea sarcinilor de lucru prin strategii de paralelizare a datelor și un toolkit de interpretabilitate dedicat pentru vizualizarea hărților de activare și saliency ale modelului. Framework-ul acoperă o gamă largă de capabilități, inclusiv pipeline-uri de viziune artificială pentru detectarea obiectelor și segmentarea semantică, modelarea secvențială pentru vorbire și text, și dezvoltarea de agenți de învățare prin consolidare. Oferă, de asemenea, instrumente de optimizare a modelelor pentru cuantizarea ponderilor și antrenarea pe biți puțini, alături de utilitare pentru reproducerea lucrărilor de cercetare academică și conversia ponderilor modelelor Caffe legacy.

Lit-llama este un framework de implementare bazat pe PyTorch pentru modelul de limbaj LLaMA, oferind un sistem pentru pre-antrenare, fine-tuning și inferență de înaltă performanță. Include un pipeline de pre-antrenare pentru crearea de modele de limbaj fundamentale de la zero și instrumente pentru rularea ponderilor preantrenate pentru a genera text natural și a prezice secvențe. Proiectul oferă toolkit-uri specializate pentru fine-tuning eficient din punct de vedere al parametrilor, folosind adaptarea low-rank (LoRA) și adaptoare ușoare. Include, de asemenea, o bibliotecă de cuantizare care reduce amprenta de memorie a modelelor prin precizie pe patru și opt biți pentru a permite execuția pe hardware cu resurse limitate. Framework-ul încorporează un design simplificat de transformer și utilizează flash attention pentru a optimiza memoria și viteza. Mai mult, gestionează seturi de date la scară largă prin formate de date streaming pentru a evita încărcarea întregilor corpora în memoria sistemului.

x-transformers este o bibliotecă PyTorch și un toolkit de cercetare pentru construirea arhitecturilor de tip transformer. Oferă un framework modular pentru implementarea cercetării experimentale în domeniul transformer, incluzând o suită de mecanisme avansate de atenție, instrumente de modelare a secvențelor lungi și un framework pentru vision transformers. Proiectul se distinge prin accentul pus pe componente eficiente din punct de vedere al memoriei și de înaltă performanță, cum ar fi Flash Attention cu nuclee (kernels) tiled și atenție multi-query. De asemenea, implementează metode specializate pentru extinderea ferestrelor de context, inclusiv recurența secvențelor și embedding-uri poziționale rotative. Biblioteca acoperă o gamă largă de capabilități arhitecturale, inclusiv diverse scheme de normalizare pentru stabilizarea antrenamentului, rețele feedforward cu porți (gated) și topologii de straturi personalizate precum rețelele Macaron. Suportă construcții atât de tip encoder, cât și decoder, oferind instrumente pentru generarea autoregresivă de secvențe și sarcini vision-language, cum ar fi generarea de subtitrări pentru imagini.

Acest proiect este o resursă educațională cuprinzătoare de machine learning și o serie de tutoriale livrate sub formă de colecție de Jupyter Notebooks interactive. Oferă implementări practice în Python pentru întregul ciclu de viață al machine learning-ului, acoperind învățarea supervizată și nesupervizată, deep learning și reinforcement learning. Resursa se remarcă prin ghiduri detaliate de implementare pentru arhitecturi complexe, inclusiv transformatoare, rețele generative adversariale (GAN) și rețele neuronale convoluționale. Include, de asemenea, cursuri specializate pentru dezvoltarea de agenți de reinforcement learning folosind Q-learning și Deep Q-Networks în medii simulate. Conținutul acoperă o gamă largă de capabilități în data science, inclusiv pipeline-uri de data engineering, codificarea trăsăturilor (feature encoding) și reducerea dimensionalității. Oferă materiale extinse despre evaluarea modelelor prin cross-validation și metrici de diagnostic, precum și subiecte avansate precum procesarea limbajului natural (NLP), analiza sentimentelor și AI generativ. Întregul curriculum este conceput pentru execuție interactivă în Jupyter Notebooks, combinând cod executabil, text bogat și vizualizări.

Acest proiect este o resursă educațională cuprinzătoare și un curs pentru construirea de rețele neuronale folosind PyTorch. Acoperă elementele fundamentale ale deep learning-ului, inclusiv manipularea tensorilor, diferențierea automată și construcția componentelor modulare de rețele neuronale. Repository-ul servește drept ghid tehnic pentru mai multe domenii specializate. Oferă detalii de implementare pentru sarcini de computer vision, cum ar fi clasificarea imaginilor, detecția obiectelor și segmentarea semantică, precum și fluxuri de lucru de procesare a limbajului natural (NLP) care implică transformatoare, rețele recurente și modele generative. În plus, include o referință pentru AI generativ, concentrându-se în mod specific pe sinteza de imagini prin modele de difuzie și rețele adversariale. Materialul se extinde către optimizarea modelelor și pipeline-uri de deployment. Acoperă tehnici pentru reducerea dimensiunii modelelor și creșterea vitezei de inferență prin cuantizare și exportul modelelor în formate precum ONNX și TensorRT. Alte domenii de capabilitate includ ingineria datelor pentru încărcarea paralelă, evaluarea modelelor folosind metrici personalizate și deployment-ul modelelor de limbaj mari (LLM) open-source. Proiectul este livrat în principal sub formă de serie de Jupyter Notebooks.

Practical PyTorch este o colecție de tutoriale și ghiduri de deep learning axate pe implementarea rețelelor neuronale recurente. Proiectul oferă cod practic pentru construirea de modele de secvență și arhitecturi secvență-la-secvență folosind framework-ul PyTorch. Repository-ul acoperă implementarea modelelor pentru traducerea automată neuronală, generarea de text la nivel de caracter și clasificarea textului. Include exemple pentru transformarea secvențelor de intrare în secvențe de ieșire pentru traducerea automată și sinteza de text nou. Proiectul se extinde, de asemenea, la predicția datelor de secvență și analiza seriilor temporale, oferind metode pentru a prezice evenimente viitoare bazate pe modele secvențiale istorice.