Awesome GitHub RepositoriesLong-Context Sequence Processors

Qwen3-Coder is a specialized large language model designed for software development, technical reasoning, and automated code synthesis. Built on transformer-based sequence modeling, it functions as a multilingual programming assistant capable of generating, completing, and debugging source code across more than one hundred programming languages. The model distinguishes itself through its capacity to process and maintain logical coherence across massive datasets, supporting context windows of up to one million tokens. This allows for repository-scale reasoning, enabling the model to analyze co

TensorRT-LLM is a platform and toolkit designed for compiling, optimizing, and serving transformer-based models on accelerated hardware. It functions as a framework that transforms machine learning models into efficient execution graphs, providing an engine to refine these models for specific hardware to maximize throughput and minimize latency during text generation. The project distinguishes itself through advanced execution strategies that manage the entire inference pipeline. It utilizes kernel-level fusion and static graph execution to optimize mathematical operations and computational f

Airllm is a framework designed to execute and fine-tune large language models on consumer-grade hardware. By employing layer-wise model decomposition and memory-efficient loading techniques, the engine enables the operation of massive models that would otherwise exceed available system or video memory. The project distinguishes itself through a suite of optimization strategies that balance memory footprint with performance. It utilizes block-wise weight quantization and asynchronous layer prefetching to reduce resource consumption and hide data transfer latency. Additionally, the framework su

Lingbot-map is a feed-forward neural network designed for real-time 3D scene reconstruction from streaming video. It processes video frames one at a time without iterative optimization, producing dense geometry and camera poses at interactive frame rates directly from a live feed. The project distinguishes itself through its ability to maintain stable geometry and pose alignment across very long video sequences, handling thousands of frames without drift. It achieves this through a combination of coordinate grounding memory, sliding-window inference with overlapping keyframes, and a paged KV

bert4keras هو تطبيق خفيف الوزن لبنية محول BERT لإطار عمل التعلم العميق Keras. يعمل كمجموعة أدوات لمعالجة اللغات الطبيعية ومكتبة نماذج محول تُستخدم لتصنيف النص، وتسمية التسلسل، واستخراج التضمين الدلالي. يتضمن إطار العمل نظام نموذج تسلسل إلى تسلسل للإجابة على الأسئلة وتوليد النص، بالإضافة إلى خادم استنتاج النموذج لنشر المحولات المدربة كواجهات برمجة تطبيقات ويب للتنبؤات في الوقت الفعلي. تغطي القدرات مجموعة واسعة من مهام فهم اللغة الطبيعية، بما في ذلك فهم القراءة، واستخراج العلاقات، ومعالجة النصوص الطويلة. توفر المكتبة أدوات للتدريب المسبق للغة والضبط الدقيق، إلى جانب تقنيات التحسين مثل تقليل المعلمات، والتدريب العدائي للمتانة، وتكوين معدل التعلم لكل طبقة. يتضمن المشروع محمل تحويل الأوزان لتحويل الأوزان المدربة مسبقاً من تنسيقات خارجية إلى هياكل Keras متوافقة.

Flash Linear Attention is a training framework and inference engine for sequence models that use linear attention and state space mechanisms, designed to process long contexts with reduced memory and compute overhead. It provides hardware-optimized token mixing layers and fused CUDA kernels that minimize memory bandwidth and launch overhead across different GPU architectures, and includes a causal inference engine that generates text token-by-token using cached hidden states for efficient autoregressive decoding. The project supports building hybrid sequence models that interleave standard at

DeepSeek-V2 هو نموذج لغوي ضخم مصمم لمعالجة اللغات الطبيعية وتحليل تسلسلات النصوص الطويلة. يستخدم بنية "خليط الخبراء" (Mixture-of-Experts) لتحقيق توازن بين الأداء العالي وكفاءة الاستنتاج. يعتمد النموذج على آلية توجيه متفرقة (Sparse Routing) وخلايا عصبية مشتركة بين الخبراء لالتقاط المعرفة العامة مع الحفاظ على التخصص. كما يقلل من استهلاك الذاكرة ويزيد من معدل الإنتاجية من خلال تقنيات الانتباه الكامن متعدد الرؤوس (Multi-head Latent Attention)، وانتباه الاستعلام الجماعي (Group-query Attention)، وضغط المصفوفات منخفض الرتبة. تتيح هذه القدرات معالجة واسترجاع المعلومات من عدد هائل من الرموز (Tokens) وتدعم النشر الاقتصادي عبر تقليل تكاليف الأجهزة واختناقات الذاكرة. النظام متوافق مع واجهات API القياسية للتكامل مع سلاسل أدوات النماذج اللغوية الحالية.

mini-sglang is a collection of tools for large language model inference, serving as an OpenAI-compatible inference server, a memory-efficient prefill engine, and a tensor parallelism runtime. It also functions as a local batch processing engine for offline benchmarking and ablation studies. The project focuses on acceleration and memory management through a KV cache manager that reuses precomputed caches for shared request prefixes. It handles large model workloads by distributing tasks across multiple GPUs and manages peak memory consumption by splitting long input sequences into smaller chu