Awesome GitHub RepositoriesEvaluation Metrics

Fairseq is a PyTorch toolkit for sequence-to-sequence modeling, specializing in neural machine translation, automatic speech recognition, and large-scale language model training. It provides a framework for processing and aligning diverse data sources, including text, audio, and video, to support tasks such as speech-to-text conversion and multimodal sequence learning. The project is distinguished by its distributed training capabilities, which utilize parameter sharding, mixed-precision training, and CPU offloading to handle models that exceed single-device memory. It also includes specializ

This PyTorch-based deep learning library provides a framework for analyzing and forecasting temporal data. It implements specialized architectures for time series forecasting, anomaly detection, data imputation, and classification. The project distinguishes itself through the inclusion of zero-shot inference capabilities, allowing large-scale temporal models to be evaluated on unseen datasets without requiring task-specific fine-tuning. The framework covers a broad range of analytical capabilities, including the recovery of missing values in incomplete datasets, the identification of irregul

This project is a structured learning curriculum and technical reference for mastering deep learning with TensorFlow. It provides a comprehensive guide for building, training, and deploying neural networks, combining theoretical fundamentals with practical implementation examples. The repository distinguishes itself by covering the end-to-end machine learning workflow, from low-level tensor mathematics and linear algebra to the creation of complex model architectures. It includes specific guidance on developing data pipelines for diverse data types, such as images, text, and time-series seque

MMSegmentation is an open-source semantic segmentation toolbox built on PyTorch that provides a modular, configurable framework for building, training, evaluating, and deploying segmentation models. At its core, it offers a config-driven pipeline that assembles training, evaluation, and inference workflows by parsing hierarchical configuration files, with a modular component registry that enables plug-and-play composition of neural network modules, optimizers, datasets, and metrics. The framework supports the full model lifecycle through a unified runner interface that controls training, testi

This project provides a collection of reference implementations, architectural patterns, and SDK samples for building autonomous agents using large language models. It serves as a multi-language framework for implementing and deploying specialized AI agents across diverse programming environments. The system centers on an orchestration framework that combines deterministic code with adaptive reasoning through structured graph workflows. It utilizes schema-driven integration to connect agents with third-party applications and diverse AI models. The development lifecycle is supported by toolki

DeepPavlov is a deep learning conversational AI framework designed for building end-to-end dialog systems and chatbots. It functions as an NLP model training library and a pipeline system that connects multiple natural language processing models into a single operational chain. The framework provides a REST API model server to expose trained deep learning models as web endpoints. This allows conversational agents to be deployed as web services that handle incoming HTTP requests and return predictions. The system covers the full lifecycle of conversational AI development, including NLP pipeli

OpenCompass is an open-source framework for standardized benchmarking of large language models. It provides a configurable evaluation pipeline that supports both objective and subjective assessment, using a dual-engine architecture to handle closed-form answer comparison and open-ended response rating. The framework is designed as a modular platform where datasets, models, and metrics are composed through declarative YAML configuration files. The framework distinguishes itself through its extensible model integration layer, which supports custom models, HuggingFace models, and third-party API

MMF is a modular framework for building, training, and evaluating vision-and-language models. It provides a configuration-driven experiment system where model, dataset, and training parameters are defined through composable YAML files, alongside a curated model zoo of pretrained checkpoints for state-of-the-art multimodal architectures. The framework includes a multimodal dataset loader that downloads, processes, and batches vision-and-language data, and a vision-language model trainer supporting distributed training, mixed precision, and checkpoint-based resumption. The framework distinguish

GluonTS هي مكتبة سلاسل زمنية احتمالية وإطار عمل للتنبؤ بالتعلم العميق. توفر مجموعة أدوات لبناء وتدريب وتقييم بنى الشبكات العصبية التي تتنبأ بالقيم المستقبلية كتوزيعات احتمالية لتحديد عدم اليقين. يتميز المشروع بدعم التنبؤ بدون تدريب مسبق (zero-shot) ودمج نهج نمذجة متنوعة، بما في ذلك الشبكات العصبية الاحتمالية العميقة وأغلفة للمكتبات الإحصائية الخارجية مثل Prophet و R forecast. ينفذ بدائيات معمارية متخصصة مثل الالتفافات السببية والشبكات المتبقية القابلة للعكس لمنع تسرب المعلومات وتعيين التمثيلات الكامنة في توزيعات احتمالية صالحة. يغطي إطار العمل سطح هندسة بيانات شاملاً، بما في ذلك توسيع السلاسل الزمنية، والتحويلات التقابلية، والنمذجة الهرمية. يستخدم Apache Arrow و Parquet لبث مجموعة البيانات عالي الأداء وإدارة الوصول العشوائي. لتقييم النموذج، يتضمن جناح تقييم لقياس دقة التنبؤ والتغطية الاحتمالية باستخدام مقاييس مثل خسارة الكمية ودرجات رتبة الاحتمال المستمرة. تدعم المكتبة نشر النموذج من خلال التكامل مع Amazon SageMaker.

GluonTS هو إطار عمل للتنبؤ بالسلاسل الزمنية الاحتمالية، مصمم للتنبؤ بالقيم المستقبلية كتوزيعات احتمالية مع فترات ثقة. يدعم كلاً من تدريب النموذج التقليدي والتنبؤ بدون تدريب مسبق (zero-shot)، حيث تولد النماذج المدربة مسبقاً تنبؤات لسلاسل جديدة دون تدريب إضافي. يتميز المشروع بدمج مجموعة واسعة من نهج التنبؤ في سير عمل موحد. يتضمن ذلك بنى التعلم العميق مثل الشبكات العصبية المتكررة والالتفافات السببية، بالإضافة إلى دمج النماذج الإحصائية الخارجية، ومكتبة Prophet، وحزم R. توفر مجموعة الأدوات سطحاً شاملاً لهندسة بيانات السلاسل الزمنية، وتغطي توسيع مجموعة البيانات، والتقسيم، وتحويل البيانات الزمنية الخام إلى موترات (tensors). كما تتضمن مجموعة من أدوات التقييم لقياس دقة التنبؤ وفترات عدم اليقين، بالإضافة إلى أدوات لاستمرارية مجموعة البيانات باستخدام تنسيقات مثل Arrow و Parquet. يدعم إطار العمل نشر نماذج التنبؤ داخل البنية التحتية السحابية.

mmocr هو إطار عمل للتعرف الضوئي على الحروف (OCR) يعتمد على PyTorch مصمم لتدريب ونشر نماذج اكتشاف النصوص، والتعرف عليها، واستخراج المعلومات الرئيسية. يعمل كصندوق أدوات شامل لاكتشاف والتعرف على نصوص المشاهد، حيث يوفر مكتبات متخصصة لتحديد مناطق النص وتحويل النص المرئي إلى سلاسل مشفرة آلياً. يتميز المشروع بإطار عمل بحثي لاستخراج المعلومات الرئيسية وقدرات متقدمة لتحديد النصوص. تشمل هذه القدرات التحديد القائم على النقاط باستخدام المحولات (Transformers) واستخدام منحنيات Bezier ذات المعلمات لتحديد ونسخ النصوص ذات الأشكال التعسفية. يغطي إطار العمل سطحاً واسعاً من قدرات الرؤية الحاسوبية، بما في ذلك إدارة خط أنابيب البيانات لزيادة وتوحيد مجموعات بيانات OCR المتنوعة، وتدريب النماذج مع التوسع الموزع، وتقييم الأداء باستخدام مقاييس OCR القياسية. كما يوفر أدوات لمعالجة المضلعات الهندسية وتصور النتائج لتدقيق التنبؤات مقابل تعليقات الحقيقة الأرضية. يتم تنفيذ النظام بلغة Python ويدعم التثبيت عبر تغليف بيئة Docker.

هذا المشروع عبارة عن مورد تعليمي شامل ودليل تدريبي لبناء وتدريب ونشر نماذج تعلم الآلة باستخدام TensorFlow 2. يعمل كدليل تعليمي منظم يغطي مفاهيم التعلم العميق الأساسية، بما في ذلك معماريات الشبكات العصبية، والاشتقاق التلقائي، وعمليات الموترات (Tensors). يوفر الدليل توجيهات تقنية حول تحسين كفاءة التنفيذ من خلال إدارة ذاكرة GPU، والتدريب الموزع، وتكميم النماذج (Model Quantization). كما يتضمن أدلة مفصلة لبناء خطوط معالجة بيانات عالية الأداء وتصدير النماذج لخوادم الإنتاج، والأجهزة المحمولة، ومتصفحات الويب. تغطي المادة مجموعة واسعة من القدرات، بما في ذلك تطوير النماذج باستخدام الشبكات التلافيفية (CNN) والمتكررة (RNN)، وتنفيذ دوال خسارة وطبقات مخصصة، واستخدام النماذج المدربة مسبقاً للتعلم بنقل المعرفة (Transfer Learning). كما يتناول استراتيجيات النشر للأجهزة الطرفية (Edge Devices) واستخدام بيئات التشغيل السحابية لتسريع العتاد. تم تنفيذ المادة كمجموعة من دفاتر Jupyter Notebooks.

هذا المشروع عبارة عن مجموعة أدوات لتعلم الآلة مصممة لتطوير وتدريب ونشر محركات التعرف التلقائي على الكلام. يوفر إطار عمل شاملاً لتحويل الصوت المنطوق إلى نص مكتوب، مع دعم خاص للنماذج المدربة على مجموعات بيانات الماندرين والإنجليزية. تستخدم المكتبة معمارية عصبية من طرف إلى طرف (end-to-end) تعالج مدخلات الصوت الخام مباشرة إلى تسلسلات أحرف، متجاوزة الحاجة إلى محاذاة لغوية وسيطة. وتدمج تقنيات معالجة الإشارات لتحويل الموجات الصوتية إلى مخططات طيفية رقمية ومتجهات ميزات، والتي تُستخدم بعد ذلك لتدريب النماذج الصوتية من خلال دورات تعلم متكررة ومسرعة بالأجهزة. تتضمن مجموعة الأدوات حزمة كاملة من المرافق لإدارة دورة حياة النموذج، بما في ذلك المعالجة المسبقة للبيانات، واستمرارية الحالة القائمة على نقاط التحقق، وتقييم الأداء. يمكن للمستخدمين تقييم جودة النسخ عن طريق حساب مقاييس مثل مسافة تحرير الصوت (phoneme edit distance) مقابل تسميات الحقيقة الأساسية لتحديد دقة تحويل الكلام إلى نص.