Awesome GitHub RepositoriesMel-Spectrogram Processing

This project is a collection of deep learning tools for image classification and audio tagging, providing a repository of pre-trained model weights and architectures. It serves as a Keras model zoo that enables the immediate use of established neural networks for inference and transfer learning. The library includes a music tagging framework that classifies audio recordings using convolutional recurrent neural networks and mel-spectrograms. For visual data, it provides implementations of architectures such as ResNet, VGG, and Xception, alongside a repository of weights trained on large datase

Parler-TTS is a library for generating high-quality speech from text, supporting both inference and model training. It combines a transformer-based text-to-speech generator with a mel-spectrogram decoder to convert written text into natural-sounding audio. The project distinguishes itself through text-conditioned voice control, which allows speaker attributes like gender, pitch, speaking rate, and style to be adjusted via a natural-language description. It also includes speaker embedding selection for maintaining voice identity across multiple generations, and a fine-tuning recipe system that

هذا المشروع عبارة عن إطار عمل لتحويل النص إلى كلام عصبي ونموذج PyTorch مصمم لتوليف الكلام البشري. يقوم بتحويل النص المكتوب إلى صوت اصطناعي عن طريق التنبؤ بمخططات mel spectrograms، والتي تعمل كتمثيل وسيط لتوليد الصوت. يتضمن النظام نموذج تكييف لـ WaveNet لضمان إخراج صوتي طبيعي. يوفر إطار عمل تدريب موزع يستخدم معالجة متعددة وحدات معالجة الرسومات (multi-GPU) والدقة المختلطة التلقائية لتحسين سرعة التدريب وتقليل استخدام الذاكرة. يغطي المشروع خط الأنابيب الكامل لتوليف الكلام العصبي، من تدريب النموذج باستخدام مجموعات بيانات النص والصوت إلى توليد أصوات اصطناعية. يستخدم مشفر-فك تشفير تلافيفي وانتباه من تسلسل إلى تسلسل لتعيين الميزات اللغوية إلى الإطارات الصوتية.

DiffSinger هو مركب صوتي للذكاء الاصطناعي ومولد صوت عصبي مصمم لإنتاج غناء وكلام عالي الدقة. يعمل كنظام تحويل النص إلى كلام وأداة تركيب صوت غنائي قائمة على الانتشار (Diffusion) تحول النص وطبقة الصوت إلى صوت مسموع. يستخدم النظام آلية انتشار ضحلة وتحسين ضوضاء تكراري لإنتاج عروض صوتية واقعية. ويدمج إضافات أخذ عينات متخصصة ومحلات عددية لتسريع الاستدلال وتقليل الوقت المطلوب لتوليد أصوات اصطناعية. يغطي المشروع النمذجة الصوتية، وتركيب مخطط ميل الطيفي (Mel-spectrogram)، وإعادة بناء الموكل العصبي (Neural vocoder) لتحويل النص إلى أشكال موجية صوتية في النطاق الزمني. كما يتضمن قدرات لتحسين الصوت الاصطناعي لتحسين الجودة الصوتية للتسجيلات.

TensorFlowTTS هو إطار عمل للتركيب الصوتي العصبي يُستخدم لتحويل النص إلى موجات صوتية عالية الدقة. يوفر الإطار مجموعة أدوات لتدريب وضبط معماريات الشبكات العصبية التوليدية أو نماذج التسلسل إلى تسلسل لإنتاج كلام طبيعي. يتضمن النظام تطبيقات للمشفرات الصوتية العصبية (Neural Vocoders) التي تحول التمثيلات الصوتية الوسيطة إلى موجات صوتية نهائية، كما يتميز بالتحكم في سرعة التشغيل لضبط معدل مخرجات الكلام المُركّب. يغطي إطار العمل خط الإنتاج الكامل للتركيب الصوتي، بدءاً من معالجة البيانات الصوتية لإنشاء مخططات طيفية (Mel Spectrograms) مُطبعة، وصولاً إلى خط تدريب يدير عمليات تدريب النماذج المسرّعة بواسطة GPU. كما يستخدم إطارات تدريب مخصصة للتعامل مع دوال الخسارة ومنطق التحسين أثناء عملية التدريب.

Aubio is an audio analysis and digital signal processing library designed for music information retrieval. It provides a suite of tools for extracting musical features, estimating fundamental frequencies, and tracking rhythmic pulses in audio streams. The library specializes in the detection of pitch and beat, enabling the extraction of musical notes and the estimation of overall tempo. It also includes capabilities for automatic onset detection to identify the start of sonic events and the separation of audio signals into percussive transients and steady-state tonal components. The system c

Vocal Remover هو تطبيق تعلم عميق مصمم لفصل المصادر الصوتية. يعمل كأداة سطر أوامر تحلل الإشارات الصوتية المعقدة إلى مكونات فردية، وتحديداً عزل المسارات الصوتية والآلات الموسيقية من التسجيلات المختلطة. يستخدم البرنامج بنية شبكة عصبية متماثلة للمشفر-فك التشفير لمعالجة المخططات الطيفية الصوتية. من خلال تطبيق أقنعة الحجم المكتسبة على مرحلة الإشارة الأصلية، يعيد النظام بناء الصوت الناتج مع الحفاظ على التماسك الزمني. وهو يدعم كلاً من تنفيذ النماذج المدربة مسبقاً لاستخراج المسار وتدريب النماذج المخصصة على مجموعات بيانات محددة لتحسين دقة العزل. تغطي الأداة مجموعة من سير عمل ما بعد الإنتاج الصوتي وإنتاج الموسيقى، بما في ذلك إنشاء مسارات الدعم واستخراج السيقان لإعادة المزج. وهي تستفيد من تسريع الأجهزة للتعامل مع ضرب المصفوفة المطلوب لمعالجة الإشارات عالية الدقة. يتم توزيع المشروع كواجهة سطر أوامر للتنفيذ المحلي وتطوير النموذج.

هذا التطبيق عبارة عن منصة لتوليف الصوت بالذكاء الاصطناعي واستنساخ الصوت العصبي. يوفر مجموعة أدوات شاملة لتحويل النص إلى كلام بشري يبدو طبيعياً من خلال تطبيق نماذج شبكة عصبية مدربة خصيصاً على عينات صوتية محددة. تسهل المنصة دورة حياة تطوير النموذج الصوتي بالكامل، بما في ذلك إعداد الكتب الصوتية الخام ونسخ الفيديو في مجموعات بيانات تدريب منظمة. كما تدعم تدريب هذه النماذج على أجهزة محلية أو بعيدة، باستخدام المعالجة الموزعة متعددة وحدات معالجة الرسومات (multi-GPU) للتعامل مع البيانات واسعة النطاق وتسريع تقارب النموذج. بعيداً عن التدريب، تتضمن المنصة قدرات لإدارة ونقل مجموعات البيانات الصوتية عبر بيئات تخزين مختلفة. يمكن للمستخدمين إجراء الاستدلال عن طريق ضبط المتغيرات الكامنة ومعلمات التوليف لتعديل النبرة، والتصريف العاطفي، والصفات الأسلوبية للمخرجات الصوتية المولدة. يعتمد التطبيق على تقنيات التعلم العميق لتحويل التمثيلات الصوتية إلى أشكال موجية عالية الدقة.

This project is a comprehensive toolkit for on-device speech recognition, synthesis, and audio processing, specifically engineered for Apple Silicon. It provides a framework for building real-time, full-duplex voice agents that operate entirely offline, leveraging native hardware acceleration to maintain performance and privacy. By utilizing optimized machine learning models, the library enables local execution of complex audio tasks without reliance on external cloud services. The library distinguishes itself through its specialized focus on local, high-performance voice interaction. It incl