Awesome GitHub RepositoriesVisual Tokenizers

WeUI is a mobile web UI library and design system consisting of CSS components and HTML templates. It is specifically designed to replicate the visual identity and interface of the WeChat messaging ecosystem, providing a standardized set of components to build responsive mobile web interfaces. The library functions as a stateless component system, utilizing a pure CSS architecture and HTML templates that rely on external JavaScript for interactivity. It employs a BEM-based class naming convention to manage component nesting and prevent style leakage across complex layouts. The framework incl

DeepSeek-OCR is a vision processing framework designed to convert image-based text into machine-readable tokens for large language models. It functions as a document inference pipeline that encodes visual data into compact representations, enabling automated optical character recognition and document analysis workflows. The system distinguishes itself through a high-throughput architecture that utilizes hardware-accelerated batch inference to process large volumes of visual data. It incorporates dynamic resolution scaling to manage the balance between visual detail and token consumption, ensu

This project is a comprehensive framework and toolkit for developing, optimizing, and deploying transformer-based models across multimodal, document intelligence, and natural language processing tasks. It provides a unified neural architecture that processes text, vision, audio, and document layout data through a shared set of weights, enabling researchers and developers to build foundational models that align cross-modal representations. The platform distinguishes itself through advanced training and inference strategies designed for large-scale deep learning. It incorporates specialized mec

Qwen2-VL is a multimodal large language model and vision language model designed to process and reason across text, images, and video content. It functions as a visual reasoning engine and a visual agent framework, capable of interpreting visual data to perform object detection, document parsing, and spatial reasoning. The model is distinguished by its ability to act as a video understanding model, processing hour-long videos with second-level indexing and event recall. It further differentiates itself through a visual agent capability that interacts with software interfaces and robotic hardw

DeepSeek-VL2 est un modèle de langage multimodal et un système vision-langage conçu pour analyser des scènes visuelles et générer du texte descriptif. Il fonctionne comme un modèle de réponse aux questions visuelles et de mise en correspondance visuelle, capable d'extraire des informations de documents et de localiser des objets ou régions spécifiques dans des images basées sur des descriptions textuelles. Le projet utilise une architecture de mélange d'experts (mixture-of-experts) pour traiter les entrées combinées d'images et de texte. Il est optimisé pour l'inférence via le pré-remplissage incrémentiel, ce qui réduit les besoins en mémoire GPU sur le matériel. Le modèle couvre l'analyse de données multimodales et la compréhension de documents visuels, incluant l'interprétation de graphiques et de mises en page. Il effectue une inférence visuelle et une mise en correspondance pour faire correspondre les requêtes textuelles avec le contenu visuel correspondant.

LLaVA-NeXT est un framework de modèle de langage multimodal et une boîte à outils d'entraînement conçus pour traiter des séquences entrelacées d'images et de vidéos afin de générer du texte. Il fonctionne comme un modèle de langage visuel qui combine des encodeurs de vision avec des modèles de langage pour effectuer des raisonnements complexes, répondre à des questions et comprendre la vidéo. Le système est capable d'analyser des images haute résolution et des trames vidéo temporelles pour décrire des événements, résumer des actions et raisonner à travers plusieurs entrées visuelles. Il prend en charge l'interprétation de documents et de graphiques, l'analyse de l'environnement spatial et la génération de légendes descriptives pour les images et les vidéos. Le framework inclut des outils pour ajuster les modèles multimodaux via l'optimisation des préférences afin de réduire les hallucinations et améliorer la précision. Il fournit également un serveur d'inférence pour déployer ces capacités en tant que service API via un backend HTTP.