Awesome GitHub RepositoriesVisual Tokenizers

WeUI is a mobile web UI library and design system consisting of CSS components and HTML templates. It is specifically designed to replicate the visual identity and interface of the WeChat messaging ecosystem, providing a standardized set of components to build responsive mobile web interfaces. The library functions as a stateless component system, utilizing a pure CSS architecture and HTML templates that rely on external JavaScript for interactivity. It employs a BEM-based class naming convention to manage component nesting and prevent style leakage across complex layouts. The framework incl

DeepSeek-OCR is a vision processing framework designed to convert image-based text into machine-readable tokens for large language models. It functions as a document inference pipeline that encodes visual data into compact representations, enabling automated optical character recognition and document analysis workflows. The system distinguishes itself through a high-throughput architecture that utilizes hardware-accelerated batch inference to process large volumes of visual data. It incorporates dynamic resolution scaling to manage the balance between visual detail and token consumption, ensu

This project is a comprehensive framework and toolkit for developing, optimizing, and deploying transformer-based models across multimodal, document intelligence, and natural language processing tasks. It provides a unified neural architecture that processes text, vision, audio, and document layout data through a shared set of weights, enabling researchers and developers to build foundational models that align cross-modal representations. The platform distinguishes itself through advanced training and inference strategies designed for large-scale deep learning. It incorporates specialized mec

Qwen2-VL is a multimodal large language model and vision language model designed to process and reason across text, images, and video content. It functions as a visual reasoning engine and a visual agent framework, capable of interpreting visual data to perform object detection, document parsing, and spatial reasoning. The model is distinguished by its ability to act as a video understanding model, processing hour-long videos with second-level indexing and event recall. It further differentiates itself through a visual agent capability that interacts with software interfaces and robotic hardw

DeepSeek-VL2 este un model de limbaj mare multimodal și un sistem vision-language conceput pentru a analiza scene vizuale și a genera text descriptiv. Funcționează ca un model de visual question answering și visual grounding, capabil să extragă informații din documente și să localizeze obiecte sau regiuni specifice în imagini pe baza descrierilor textuale. Proiectul utilizează o arhitectură mixture-of-experts pentru a procesa intrări combinate de imagine și text. Este optimizat pentru inferență prin prefilling incremental, ceea ce reduce cerințele de memorie GPU pe hardware. Modelul acoperă analiza datelor multimodale și înțelegerea documentelor vizuale, inclusiv interpretarea graficelor și a layout-urilor. Efectuează inferență vizuală și grounding pentru a potrivi interogările textuale cu conținutul vizual corespondent.

LLaVA-NeXT este un framework de model de limbaj mare multimodal și un toolkit de antrenare conceput pentru a procesa imagini și secvențe video intercalate pentru a genera text. Funcționează ca un model de limbaj vizual care combină encoderele de viziune cu modelele de limbaj pentru a efectua raționamente complexe, răspunsuri la întrebări și înțelegerea video-ului. Sistemul este capabil să analizeze imagini de înaltă rezoluție și cadre video temporale pentru a descrie evenimente, a rezuma acțiuni și a raționa pe baza mai multor input-uri vizuale. Suportă interpretarea documentelor și a diagramelor, analiza spațială a mediului și generarea de subtitrări descriptive atât pentru imagini, cât și pentru video. Framework-ul include instrumente pentru ajustarea modelelor multimodale prin optimizarea preferințelor pentru a reduce halucinațiile și a îmbunătăți acuratețea. De asemenea, oferă un server de inferență pentru a implementa aceste capabilități ca serviciu API prin intermediul unui backend HTTP.