6 مستودعات
Sending images or screenshots as input to vision-capable language models.
Distinct from Image Classification Models: Distinct from Image Classification Models: focuses on providing images as input to multimodal LLMs rather than classifying them.
Explore 6 awesome GitHub repositories matching artificial intelligence & ml · Vision Model Inputs. Refine with filters or upvote what's useful.
Page Assist هو أداة تكامل للذكاء الاصطناعي تعتمد على المتصفح، توفر واجهة شريط جانبي للتفاعل مع نماذج الذكاء الاصطناعي أثناء تصفح الويب. يركز على الدردشة وتحليل محتوى الويب مع الحفاظ على الخصوصية، مما يسمح للمستخدمين باستخراج المعلومات والاستعلام عنها من صفحات الويب النشطة للحصول على ردود واعية بالسياق. يتميز المشروع بتكامل الذكاء الاصطناعي المحلي، مما يتيح الاتصال بنماذج مستضافة محلياً أو نقاط نهاية API خاصة لمعالجة البيانات دون الاعتماد على الخدمات السحابية. كما يدعم محادثات الذكاء الاصطناعي التعاونية عبر روابط مشاركة عامة أو بنية تحتية للمشاركة مستضافة ذاتياً لتحكم أكبر في البيانات. يتضمن النظام قدرات لأتمتة المتصفح، مثل التحكم في علامات التبويب والتفاعل مع عناصر الصفحة من خلال عرض جلسة المتصفح كمجموعة من الأدوات. كما يدعم معالجة الرؤية من خلال لقطات شاشة لصفحات الويب واستخراج المحتوى القائم على DOM لتحليل شامل للصفحة.
Captures webpage screenshots and provides them as visual input for multimodal vision models.
CodeCompanion is a Neovim plugin that brings large language model capabilities directly into the editor, enabling turn-based conversations with AI models in a dedicated chat buffer. It provides a comprehensive interface for interacting with LLMs, supporting multiple providers through a flexible adapter system that can route requests to various hosted or local language model services. The plugin distinguishes itself through its extensive context-sharing capabilities, allowing users to send buffer contents, visual selections, git diffs, LSP diagnostics, terminal output, quickfix lists, and view
Includes images or screenshots as input in a chat message for vision-capable models.
Captum is an open-source library for explaining model predictions by attributing them to input features, neurons, and layers using gradient-based and perturbation-based methods. It provides a modular framework for implementing, evaluating, and combining a range of explanation techniques, including gradient-based attribution, perturbation-based analysis, game-theoretic Shapley value approximation, and surrogate model explanations, with support for parallelization and noise stabilization. The library distinguishes itself through its breadth of attribution methods and its support for advanced in
Implements integrated gradients to attribute predictions to input features along a baseline path.
mmocr هو إطار عمل للتعرف الضوئي على الحروف (OCR) يعتمد على PyTorch مصمم لتدريب ونشر نماذج اكتشاف النصوص، والتعرف عليها، واستخراج المعلومات الرئيسية. يعمل كصندوق أدوات شامل لاكتشاف والتعرف على نصوص المشاهد، حيث يوفر مكتبات متخصصة لتحديد مناطق النص وتحويل النص المرئي إلى سلاسل مشفرة آلياً. يتميز المشروع بإطار عمل بحثي لاستخراج المعلومات الرئيسية وقدرات متقدمة لتحديد النصوص. تشمل هذه القدرات التحديد القائم على النقاط باستخدام المحولات (Transformers) واستخدام منحنيات Bezier ذات المعلمات لتحديد ونسخ النصوص ذات الأشكال التعسفية. يغطي إطار العمل سطحاً واسعاً من قدرات الرؤية الحاسوبية، بما في ذلك إدارة خط أنابيب البيانات لزيادة وتوحيد مجموعات بيانات OCR المتنوعة، وتدريب النماذج مع التوسع الموزع، وتقييم الأداء باستخدام مقاييس OCR القياسية. كما يوفر أدوات لمعالجة المضلعات الهندسية وتصور النتائج لتدقيق التنبؤات مقابل تعليقات الحقيقة الأرضية. يتم تنفيذ النظام بلغة Python ويدعم التثبيت عبر تغليف بيئة Docker.
Packages images and ground truth labels into the specific dictionary structures required by various OCR model types.
This project is an AI API gateway and proxy that translates and normalizes requests between different AI model formats to ensure compatibility across client applications. It functions as a middleware service that can transform local command-line binaries into web services, allowing them to be triggered via HTTP requests. The system is distinguished by its ability to route multimodal text and image inputs and extract internal reasoning chains from model outputs to separate the chain of thought from the final answer. It includes an authentication manager that automatically cycles through multip
Intercepts and routes text and image data to enable visual analysis via vision-capable language models.
Tinker Cookbook is an open-source framework for fine-tuning large language models, supporting supervised learning, reinforcement learning, and parameter-efficient techniques like LoRA adapters. It provides a complete pipeline for aligning models with human preferences through multi-stage RLHF workflows, from supervised fine-tuning through preference optimization to reinforcement learning. The framework distinguishes itself through recipe-based training orchestration, where fine-tuning workflows are defined as composable recipe files that chain data loading, model configuration, and training l
Supports passing image inputs alongside text for vision-language model fine-tuning and sampling.