Awesome GitHub RepositoriesMultimodal Model Integrations

TaskMatrix is a visual language model orchestration framework and modular visual pipeline designed to coordinate disparate foundation models. It functions as a multi-model workflow coordinator that sequences visual and textual models through logic paths to handle image processing tasks without requiring additional training. The system integrates large language models with visual foundation models to enable the exchange of image data during interactive chat sessions. It utilizes template-based orchestration to chain specialized models together for complex visual tasks. The framework supports

This project is a structured AI engineering curriculum and educational program designed to teach the construction of machine learning models, neural networks, and autonomous agents from the ground up. It serves as a comprehensive machine learning course covering mathematical foundations, deep learning architectures, and reinforcement learning through practical implementation. The project provides a technical framework for building autonomous loops and memory systems via an agent framework, as well as guides for implementing multimodal AI systems that integrate vision, audio, and text processi

LLaMA-Adapter هو إطار عمل للضبط الدقيق بكفاءة المعلمات، مصمم لتكييف النماذج اللغوية الكبيرة باستخدام مجموعة صغيرة من المعلمات القابلة للتدريب. يعمل كأداة لضبط التعليمات ومحول متعدد الوسائط، مما يسمح للنماذج المدربة مسبقاً باتباع تعليمات البشر ومعالجة البيانات غير النصية. يتخصص المشروع في دمج بيانات الصور والفيديو والصوت والمستشعرات في النماذج اللغوية للفهم عبر الوسائط. يتيح تخصيص نماذج LLaMA من خلال استخدام محولات خفيفة الوزن، مما يسمح باستخراج وتخزين الأوزان المتعلمة بشكل مستقل عن نقطة فحص النموذج الكاملة. يغطي إطار العمل دورة حياة التدريب والتقييم الكاملة، بما في ذلك التدريب المسبق للمحول والتحسين. يوفر قدرات لدمج البيانات متعددة الوسائط وتقييم أداء النموذج مقابل مجموعات بيانات القياس لقياس دقة الاستجابة.

هذا SDK خلفية كخدمة يربط تطبيقات الويب والهاتف المحمول بمجموعة من الخدمات السحابية. يوفر واجهة موحدة لإدارة هوية المستخدم، وتنفيذ منطق بدون خادم، والتعامل مع تخزين كائنات السحابة. تتميز مجموعة الأدوات بمزامنة البيانات في الوقت الفعلي، مما يسمح لبيانات مستندات NoSQL بالبقاء متسقة عبر عملاء متعددين مع استمرارية مدمجة في وضع عدم الاتصال. وتسهل وصول المستخدم الآمن من خلال مجموعة متنوعة من موفري الهوية وتدير استدعاء الوظائف بدون خادم لتنفيذ منطق الخلفية استجابة لطلبات HTTPS أو أحداث قاعدة البيانات. يغطي SDK مجموعة واسعة من الإمكانيات التشغيلية، بما في ذلك إدارة قواعد بيانات NoSQL والعلائقية، ومراقبة الأعطال، وتحليلات سلوك المستخدم. كما يوفر أدوات لتكوين التطبيق عن بُعد، والإشعارات المستهدفة، وتكامل النماذج اللغوية الكبيرة للميزات المدعومة بالذكاء الاصطناعي. تم تنفيذ المشروع بلغة TypeScript ويوفر مكتبات خاصة باللغة تجرد واجهات برمجة تطبيقات REST و WebSocket إلى طرق عالية المستوى.

Geekai هي منصة AI متعددة النماذج وإطار عمل SaaS مصمم لنشر وإدارة وكلاء AI والنماذج متعددة الوسائط من خلال واجهة موحدة. تعمل كبوابة AI متعددة الوسائط، حيث توفر وصولاً مركزيًا إلى نماذج اللغة الكبيرة والأدوات التوليدية لإنتاج النصوص والصور والصوت والفيديو. يعمل المشروع كمنسق لوكلاء AI، مما يسمح بتحديد الشخصيات المتخصصة واستيراد سير العمل الخارجي وقواعد المعرفة. يتميز بتوفير طبقة خدمة تجارية كاملة، بما في ذلك الفوترة القائمة على الائتمان، وإدارة الاشتراك، ونظام بيئي للمبدعين لتحقيق الدخل من تطبيقات AI المخصصة. تغطي المنصة مجالات قدرة واسعة بما في ذلك توليد محتوى AI لعروض الشرائح وفيديو نقل الحركة، وإدارة عمليات المؤسسة مع التحكم في الوصول القائم على الأدوار، وتجريد تخزين قائم على المحرك لإدارة الأصول عبر الموفرين المحليين والسحابيين. كما تتضمن تحليلات الأعمال، وتحديد معدل API، وعمليات ترحيل قاعدة البيانات التلقائية. يدعم النظام نشر المثيل الخاص على خوادم مدارة ذاتيًا مع إعدادات HTTPS و SSL قابلة للتكوين.

ms-agent is an LLM agent framework and multi-agent orchestration system designed to build autonomous entities that combine large language models with tool calling and structured workflows. It serves as a tool integration platform and workflow engine for executing complex tasks through the coordination of specialized agents. The project distinguishes itself through a multimodal agent workflow engine capable of automating the production of text, images, and video. It features a sandboxed code execution environment for running generated code and quantitative data analysis in isolated containers,

OpenGlass is an AI smart glasses framework and microcontroller hardware project designed to turn standard eyewear into computer vision wearables. It provides a system for integrating wearable camera sensors with multimodal AI to process visual data in real time. The project enables the development of AI-powered glasses that can identify people and objects, translate visual text, and record life events. It connects off-the-shelf electronic components to mobile software and large language models for visual analysis. The system covers a range of capabilities including real-time visual stream pr

LazyLLM is a multi-agent framework and orchestration engine designed for building complex AI applications. It provides a system for chaining large language models into sequential or parallel pipelines, utilizing a tool registry to convert standard functions into discoverable tools that models can invoke via reasoning. The project features an application deployment kit that enables hosting model workflows as web services with integrated chat interfaces and API gateways. It includes an infrastructure abstraction layer that allows users to switch between bare-metal servers, clusters, and public

chat2api is a web-to-API bridge and proxy that converts web-based chat sessions into a standardized API format. This allows web accounts to be used programmatically within third-party client applications. The system includes a multi-account rotator that distributes requests across a pool of authentication tokens using random or sequential polling to bypass rate limits. It also functions as a multimodal API proxy, translating base64 or URL-encoded images and files into formats compatible with web-based chat interfaces. The project manages the full lifecycle of session tokens, featuring statef

TransformerLens is a library for mechanistic interpretability research designed to reverse engineer the learned algorithms within large language models. It provides a standardized framework for wrapping diverse transformer architectures, allowing researchers to extract, manipulate, and analyze internal activations and weights through a consistent interface. The project distinguishes itself through a comprehensive system of activation hooks that can capture, patch, and ablate internal tensors during the forward pass. It includes specialized utilities for decomposing fused projections, material

OpenViking is a multi-tenant context server and knowledge base administration system designed to provide AI agents with persistent long-term memory. It enables the indexing of diverse documents and codebases to support retrieval-augmented generation, allowing agents to recall past interactions, user preferences, and learned experiences across sessions. The project is distinguished by its use of a URI-based virtual filesystem to organize memories, resources, and skills. It implements a tiered context loading system that balances retrieval precision with token budgets by structuring data into a