cbh123/narrator
Narrator
Narrator هو نظام ذكاء اصطناعي يحول تدفقات الفيديو في الوقت الفعلي إلى أوصاف صوتية باللغة الطبيعية. يعمل كراوٍ بصري متعدد الوسائط وواصف للمشاهد، مستخدماً الرؤية الحاسوبية لتحويل البيانات البيئية من الكاميرا إلى كلام اصطناعي.
تعمل الأداة كخط معالجة يلتقط صوراً دورية من تدفق الفيديو ويستخدم نموذجاً لغوياً كبيراً متعدد الوسائط لتحليل الأحداث البصرية. يتم بعد ذلك تحويل هذه التحليلات عبر تقنية تحويل النص إلى كلام إلى تعليق صوتي يصف الأنشطة والمحيط في العالم الحقيقي.
يدعم النظام مراقبة البيئة التلقائية والمساعدة البصرية عن طريق أخذ عينات من إطارات الكاميرا وتوليد أوصاف منطوقة لبيئة المستخدم الحالية.
Features
- Synthetic Narrations - Generates synthetic spoken audio descriptions of live visual events based on AI analysis of camera feeds.
- Visual Assistance Tools - Provides a comprehensive visual assistance system that transforms live camera feeds into real-time auditory narration using AI.
- Real-Time Environmental Narration - Transforms live visual data into a natural sounding voiceover that describes real-world activities.
- AI Scene Descriptors - Functions as an AI-powered system that converts real-time video into natural language descriptions.
- Multimodal AI Toolkits - Integrates computer vision and text-to-speech to create a multimodal live audio voiceover.
- Multimodal Analysis Tools - Employs multimodal large language models to interpret visual scenes and generate natural language descriptions.
- Multimodal Vision Interfaces - Utilizes a multimodal LLM interface to process camera frames and generate auditory descriptions.
- Real-Time Scene Description - Turns live camera footage into spoken audio descriptions of the user's current physical environment.
- Text-to-Speech Synthesis - Converts the AI-generated textual descriptions of the environment into spoken audio narration.
- Computer Vision and Audio - Combines computer vision for scene analysis with audio synthesis for real-time narration.
- Automated Visual Monitoring - Provides automated monitoring of a physical location by capturing images and generating activity descriptions.
- Proactive Visual Assistance - Acts as a visual aid by converting environmental visual events into spoken narration for users.
- PyTorch Computer Vision Pipelines - Implements a complete pipeline that captures images and uses AI to describe physical activities.
