Awesome GitHub RepositoriesVisual Tokenizers

WeUI is a mobile web UI library and design system consisting of CSS components and HTML templates. It is specifically designed to replicate the visual identity and interface of the WeChat messaging ecosystem, providing a standardized set of components to build responsive mobile web interfaces. The library functions as a stateless component system, utilizing a pure CSS architecture and HTML templates that rely on external JavaScript for interactivity. It employs a BEM-based class naming convention to manage component nesting and prevent style leakage across complex layouts. The framework incl

DeepSeek-OCR is a vision processing framework designed to convert image-based text into machine-readable tokens for large language models. It functions as a document inference pipeline that encodes visual data into compact representations, enabling automated optical character recognition and document analysis workflows. The system distinguishes itself through a high-throughput architecture that utilizes hardware-accelerated batch inference to process large volumes of visual data. It incorporates dynamic resolution scaling to manage the balance between visual detail and token consumption, ensu

This project is a comprehensive framework and toolkit for developing, optimizing, and deploying transformer-based models across multimodal, document intelligence, and natural language processing tasks. It provides a unified neural architecture that processes text, vision, audio, and document layout data through a shared set of weights, enabling researchers and developers to build foundational models that align cross-modal representations. The platform distinguishes itself through advanced training and inference strategies designed for large-scale deep learning. It incorporates specialized mec

Qwen2-VL is a multimodal large language model and vision language model designed to process and reason across text, images, and video content. It functions as a visual reasoning engine and a visual agent framework, capable of interpreting visual data to perform object detection, document parsing, and spatial reasoning. The model is distinguished by its ability to act as a video understanding model, processing hour-long videos with second-level indexing and event recall. It further differentiates itself through a visual agent capability that interacts with software interfaces and robotic hardw

DeepSeek-VL2 ist ein multimodales Large Language Model und Vision-Language-System, das darauf ausgelegt ist, visuelle Szenen zu analysieren und beschreibenden Text zu generieren. Es fungiert als Modell für visuelle Fragenbeantwortung (VQA) und visuelle Verankerung (Visual Grounding), das in der Lage ist, Informationen aus Dokumenten zu extrahieren und spezifische Objekte oder Regionen innerhalb von Bildern basierend auf textuellen Beschreibungen zu lokalisieren. Das Projekt nutzt eine Mixture-of-Experts-Architektur, um kombinierte Bild- und Texteingaben zu verarbeiten. Es ist für die Inferenz durch inkrementelles Prefilling optimiert, was den GPU-Speicherbedarf auf Hardware reduziert. Das Modell deckt multimodale Datenanalyse und visuelles Dokumentenverständnis ab, einschließlich der Interpretation von Diagrammen und Layouts. Es führt visuelle Inferenz und Verankerung durch, um textuelle Anfragen mit entsprechenden visuellen Inhalten abzugleichen.

LLaVA-NeXT ist ein multimodales Large-Language-Model-Framework und ein Trainings-Toolkit, das darauf ausgelegt ist, verschachtelte Bild- und Videosequenzen zu verarbeiten, um Text zu generieren. Es fungiert als visuelles Sprachmodell, das Vision-Encoder mit Sprachmodellen kombiniert, um komplexes Reasoning, Question-Answering und Videoverständnis durchzuführen. Das System ist in der Lage, hochauflösende Bilder und temporale Videoframes zu analysieren, um Ereignisse zu beschreiben, Aktionen zusammenzufassen und über mehrere visuelle Inputs hinweg zu schlussfolgern. Es unterstützt die Interpretation von Dokumenten und Diagrammen, räumliche Umgebungsanalyse sowie die Generierung beschreibender Bildunterschriften für Bilder und Videos. Das Framework enthält Tools zum Tuning multimodaler Modelle mittels Preference-Optimization, um Halluzinationen zu reduzieren und die Genauigkeit zu verbessern. Es bietet zudem einen Inference-Server, um diese Funktionen als API-Dienst via HTTP-Backend bereitzustellen.