Awesome GitHub RepositoriesVision Model Inputs

Page Assist est un outil d'intégration d'IA pour navigateur qui fournit une interface latérale pour interagir avec des modèles d'IA tout en naviguant sur le web. Il se concentre sur le chat axé sur la confidentialité et l'analyse de contenu web, permettant aux utilisateurs d'extraire et d'interroger des informations à partir de pages web actives pour recevoir des réponses contextuelles. Le projet se distingue par son intégration locale de l'IA, permettant des connexions à des modèles hébergés localement ou à des endpoints d'API privés pour traiter les données sans dépendre de services cloud. Il prend également en charge les conversations IA collaboratives via des liens de partage publics ou une infrastructure de partage auto-hébergée pour un meilleur contrôle des données. Le système inclut des capacités d'automatisation de navigateur, telles que le contrôle des onglets et l'interaction avec les éléments de page en exposant la session du navigateur comme un ensemble d'outils. Il prend en outre en charge le traitement visuel via des captures d'écran de pages web et l'extraction de contenu basée sur le DOM pour une analyse complète des pages.

CodeCompanion is a Neovim plugin that brings large language model capabilities directly into the editor, enabling turn-based conversations with AI models in a dedicated chat buffer. It provides a comprehensive interface for interacting with LLMs, supporting multiple providers through a flexible adapter system that can route requests to various hosted or local language model services. The plugin distinguishes itself through its extensive context-sharing capabilities, allowing users to send buffer contents, visual selections, git diffs, LSP diagnostics, terminal output, quickfix lists, and view

Captum is an open-source library for explaining model predictions by attributing them to input features, neurons, and layers using gradient-based and perturbation-based methods. It provides a modular framework for implementing, evaluating, and combining a range of explanation techniques, including gradient-based attribution, perturbation-based analysis, game-theoretic Shapley value approximation, and surrogate model explanations, with support for parallelization and noise stabilization. The library distinguishes itself through its breadth of attribution methods and its support for advanced in

mmocr est un framework de reconnaissance optique de caractères (OCR) basé sur PyTorch conçu pour entraîner et déployer des modèles de détection de texte, de reconnaissance et d'extraction d'informations clés. Il sert de boîte à outils complète pour la détection et la reconnaissance de texte dans les scènes, fournissant des bibliothèques spécialisées pour localiser les régions de texte et convertir le texte visuel en chaînes encodées par machine. Le projet se distingue par un framework de recherche pour l'extraction d'informations clés et des capacités avancées de repérage de texte. Celles-ci incluent le repérage basé sur des points utilisant des transformers et l'utilisation de courbes de Bezier paramétrées pour identifier et transcrire du texte de forme arbitraire. Le framework couvre une large surface de capacités de vision par ordinateur, notamment la gestion de pipeline de données pour augmenter et standardiser divers jeux de données OCR, l'entraînement de modèles avec mise à l'échelle distribuée et l'évaluation des performances utilisant des métriques OCR standard. Il fournit également des utilitaires pour la manipulation de polygones géométriques et la visualisation des résultats pour auditer les prédictions par rapport aux annotations de vérité terrain. Le système est implémenté en Python et prend en charge l'installation via l'empaquetage d'environnement Docker.

This project is an AI API gateway and proxy that translates and normalizes requests between different AI model formats to ensure compatibility across client applications. It functions as a middleware service that can transform local command-line binaries into web services, allowing them to be triggered via HTTP requests. The system is distinguished by its ability to route multimodal text and image inputs and extract internal reasoning chains from model outputs to separate the chain of thought from the final answer. It includes an authentication manager that automatically cycles through multip

Tinker Cookbook is an open-source framework for fine-tuning large language models, supporting supervised learning, reinforcement learning, and parameter-efficient techniques like LoRA adapters. It provides a complete pipeline for aligning models with human preferences through multi-stage RLHF workflows, from supervised fine-tuning through preference optimization to reinforcement learning. The framework distinguishes itself through recipe-based training orchestration, where fine-tuning workflows are defined as composable recipe files that chain data loading, model configuration, and training l