Awesome GitHub RepositoriesIn-Context Learning Engines

This project is an educational platform and research toolkit designed to teach deep learning through a combination of mathematical theory, visual diagrams, and executable code. It provides a comprehensive environment for building, training, and evaluating neural networks, grounding complex concepts in interactive computational notebooks that allow for hands-on experimentation. The framework distinguishes itself by interleaving theoretical foundations—including linear algebra, calculus, and probability—with practical implementations across multiple industry-standard libraries. It supports flex

Open Flamingo est un framework d'entraînement de modèles de langage étendus multimodaux conçu pour intégrer des encodeurs de vision pré-entraînés avec des modèles de langage. Il implémente une architecture vision-langage qui utilise des couches d'attention croisée pour traiter des séquences entrelacées d'images et de texte. Le système se caractérise par ses capacités d'apprentissage multimodal few-shot, permettant au modèle de s'adapter à de nouvelles tâches visuelles en utilisant un petit ensemble d'exemples image-texte fournis dans l'invite. Il prend en charge l'apprentissage en contexte et la génération de texte multimodal pour des tâches telles que la réponse aux questions visuelles et le sous-titrage. Le framework inclut un entraîneur de modèle distribué qui emploie le parallélisme des données et le gradient checkpointing pour l'optimisation de la mémoire sur plusieurs GPU. Il fournit également des utilitaires pour le chargement de jeux de données multimodaux fragmentés, l'évaluation de modèles parallélisés et une infrastructure pour héberger des modèles à grande échelle pour l'inférence.

Sqlcoder est un modèle de langage (LLM) text-to-SQL spécialisé dans la conversion de questions en langage naturel en requêtes de base de données structurées et exécutables. Il fonctionne comme une interface de base de données et un générateur de requêtes permettant la récupération de données sans nécessiter de code manuel. Le système utilise un modèle ajusté par instructions combiné à une incitation (prompting) consciente du schéma et à une injection de contexte dynamique. En ingérant les métadonnées de la base de données et en utilisant l'apprentissage en contexte avec des paires de requêtes exemples, il génère des requêtes syntaxiquement valides qui correspondent au schéma spécifique de la base de données connectée. Le projet couvre un éventail plus large de capacités, notamment l'automatisation de la business intelligence et l'analyse de données en libre-service. Il fournit une infrastructure pour la gestion des connexions aux bases de données et une interface visuelle pour l'exécution des requêtes et l'ingestion des métadonnées.

Otter is a framework and toolkit for the pretraining, fine-tuning, and evaluation of vision-language models. It provides a pipeline for training large language models to process high-resolution images and video frames, integrating visual encoders with textual token spaces. The system is designed for multi-visual input processing, allowing models to interpret multiple images or video sequences within a single prompt. It supports multi-round conversation management to maintain context across interactions for detailed scene comprehension and visual reasoning. The framework covers a full develop