Awesome GitHub RepositoriesAgentic Task Workflow Definition

This project is a framework for developing multimodal AI agents that function as programmable participants in real-time communication rooms. It enables the construction of agents that can see, hear, and speak by integrating speech-to-text, large language models, and text-to-speech pipelines to facilitate low-latency, natural conversations. The system is distinguished by its advanced orchestration of real-time media and conversational flow, including support for full-duplex speech, preemptive response generation, and sophisticated interruption management. It further differentiates itself throu

Mindcraft هو إطار عمل لربط نماذج اللغات الكبيرة بعملاء الألعاب لإنشاء شخصيات مستقلة تتواصل وتؤدي إجراءات داخل بيئة محاكاة. يعمل كمنسق للروبوتات، باستخدام نظام يربط تعليمات الذكاء الاصطناعي عالية المستوى بحزم بروتوكول اللعبة منخفضة المستوى لتمكين تنفيذ المهام داخل اللعبة. يستخدم النظام توليد الاسترجاع المعزز (RAG) لتحديد سجل المحادثة ذي الصلة وأمثلة الكود عبر استرجاع السياق القائم على التضمين. يدعم تطوير شخصيات ذكاء اصطناعي محددة من خلال تكوينات الملف الشخصي ويسهل تنسيق الوكلاء المتعددين، مما يسمح لشخصيات مستقلة متعددة بالتعاون من خلال اللغة الطبيعية ومشاركة الموارد لتحقيق أهداف مشتركة. يتضمن إطار العمل نظام مهام موجه نحو الأهداف يفكك الأهداف المعقدة إلى خطوات إجرائية ويتحقق منها مقابل حالات العالم. يوفر قدرات لتنسيق العالم المتوازي لتشغيل تجارب متزامنة عبر بيئات معزولة، إلى جانب تكامل تحويل النص إلى كلام للسرد الصوتي في الوقت الفعلي لإجراءات الوكيل. يتضمن المشروع أدوات مساعدة لاستيراد ملفات العالم المخصصة ومزامنة ملفات السجل والتكوينات التي تم جمعها إلى التخزين السحابي البعيد.

OpenSquilla هو إطار عمل لتنسيق وكلاء LLM مصمم لتنسيق سير عمل الذكاء الاصطناعي متعدد الخطوات وتنفيذ الأدوات باستخدام الرسوم البيانية الموجهة غير الدورية (DAGs). يعمل كنظام مركزي لإدارة حزم المهارات المتخصصة وتنفيذ تسلسلات التفكير المعقدة. يتميز المشروع ببوابة توجيه توجه المهام إلى مزودي ذكاء اصطناعي مختلفين بناءً على التعقيد والتكلفة والأداء. يستخدم نظام ذاكرة ذكاء اصطناعي متعدد المستويات ينظم المعرفة العاملة والعرضية والدلالية باستخدام التضمينات المحلية و SQLite، إلى جانب بيئة تنفيذ آمنة تعزل الكود الذي تم إنشاؤه بواسطة الوكيل عبر ملفات تعريف أذونات قائمة على المخاطر. تغطي المنصة مجموعة واسعة من الإمكانيات، بما في ذلك النشر متعدد القنوات على الويب ومنصات المراسلة، وجدولة المهام الآلية عبر cron، وجسر بروتوكول سياق النموذج (Model Context Protocol) للاتصال بالأدوات الخارجية. كما يوفر أدوات مراقبة شاملة لتتبع تكاليف الرموز (Tokens)، وتدقيق قرارات وقت التشغيل، وإدارة كتالوج للمهارات القابلة لإعادة الاستخدام. يتضمن النظام أدوات سطر أوامر لتهيئة مساحة العمل وإدارة دورة حياة المهارات.