Awesome GitHub RepositoriesVisual Question Answering Libraries

BLIP is a vision-language model framework that combines contrastive, matching, and language modeling objectives to align images with text. Built on a multimodal encoder-decoder architecture, it supports distributed data-parallel training with cosine learning rate scheduling and sliding-window metric tracking for training stability. The framework provides capabilities for image captioning, visual question answering, and cross-modal retrieval, scoring semantic alignment between images and text through learned embeddings. It includes toolkits for fine-tuning pre-trained models on custom datasets

ollama-js ist eine JavaScript-Client-Bibliothek und ein API-Wrapper, der eine programmatische Schnittstelle für die Interaktion mit und die Verwaltung von Large Language Models bietet. Sie ermöglicht die Ausführung von Modellen sowohl in lokalen als auch in Cloud-Umgebungen und erleichtert die Generierung von Konversationstexten sowie die Verwaltung von Modell-Lebenszyklen. Das Projekt zeichnet sich durch spezialisierte Tools für die Modelladministration aus, einschließlich der Möglichkeit, Modelle herunterzuladen, zu erstellen und zu entfernen, sowie der Kapazität, benutzerdefinierte Modell-Blueprints und Prompt-Templates zu definieren. Es bietet zudem einen Vektor-Embedding-Client zur Generierung numerischer Textrepräsentationen, um semantische Such- und Retrieval-Pipelines zu unterstützen. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich multimodaler Analyse zur Bildverarbeitung, Erfassung interner Reasoning-Traces und die Durchsetzung strukturierter JSON-Schemata für die Datenextraktion. Sie unterstützt zudem fortgeschrittene Modellinteraktion durch Tool-Invocation und das Streamen von Antworten via asynchroner Generatoren. Die Bibliothek ist in TypeScript geschrieben.