Awesome GitHub RepositoriesSequence Model Training

Metaseq هي مجموعة أدوات لنمذجة تسلسل المحولات (transformer) مصممة لتدريب وضبط ونشر نماذج تسلسل إلى تسلسل باستخدام أوزان مفتوحة مدربة مسبقاً. توفر إطار عمل شاملاً لتدريب النماذج اللغوية الكبيرة، بما في ذلك أدوات مخصصة لمعالجة مجموعات بيانات التسلسل وخادم استدلال مستقل لتوليد النصوص عبر طلبات API. يتميز المشروع بأدوات متخصصة لتكميم النموذج (quantization) لتقليل دقة المعلمات إلى ثمانية بتات، مما يقلل من استخدام الذاكرة ويزيد من سرعة الاستدلال. يتضمن أيضاً خط أنابيب لتحويل نقاط التحقق (checkpoint) لتحويل أوزان النموذج إلى هياكل محسنة لمحركات الاستدلال عالية الأداء. يدعم إطار العمل التدريب واسع النطاق عبر مجموعات GPU من خلال استخدام توازي الموترات وتوازي البيانات المجزأ. تغطي القدرات الإضافية إعداد مجموعات بيانات NLP، وتحميل الأوزان المدربة مسبقاً للتعلم بالنقل، وتتبع مقاييس التدريب لتصور التقدم.

Smile is a comprehensive JVM machine learning library and statistical computing toolkit. It provides a suite of algorithms for classification, regression, and clustering, implemented natively for Java, Scala, and Kotlin. The project also functions as a deep learning framework, a natural language processing library, and an inference engine for large language models. The library distinguishes itself through GPU acceleration via LibTorch bindings and support for the ONNX model interchange format. It includes specialized capabilities for large language model inference, featuring Byte-Pair Encodin

tsai هي مكتبة تعلم عميق لتصنيف السلاسل الزمنية، والانحدار، والتنبؤ. بُنيت المكتبة على PyTorch و fastai، وتوفر إطار عمل لتعيين التصنيفات للبيانات المتسلسلة، والتنبؤ بالقيم المستقبلية في السلاسل أحادية أو متعددة المتغيرات، وتدريب التمثيلات على البيانات غير المصنفة من خلال التعلم الذاتي. تتميز المكتبة بقدرات متخصصة في الهندسة الزمنية والتحجيم. وتتضمن أدوات للترميز الزمني الدوري لالتقاط الأنماط الموسمية، وتقطيع النوافذ عبر الإنترنت لمعالجة مجموعات البيانات التي تتجاوز حجم الذاكرة المتاحة. كما تدعم خطوط أنابيب الإدخال متعددة الوسائط التي تجمع بين الميزات الفئوية الثابتة والسلاسل المستمرة الديناميكية. تغطي مجموعة الأدوات نطاقاً واسعاً من احتياجات المعالجة المسبقة والتقييم، بما في ذلك تجزئة النافذة المنزلقة، ومعالجة البيانات المفقودة، وتحويل إطارات البيانات الجدولية إلى موترات مهيكلة. يتم تقييم أداء النموذج من خلال التحقق عبر التمرير الأمامي وتحليل أهمية الميزات لضمان الاتساق الزمني.

This project is a deep learning poetry generator designed to create traditional Chinese couplets. It utilizes a sequence-to-sequence neural network architecture to map input text sequences to matching output sequences, functioning as a text generation model and an inference web service. The system features a neural text ranking mechanism that evaluates candidate outputs based on length consistency and character patterns to ensure structural alignment. It also includes a content filtering process that scans generated text against forbidden word lists to remove sensitive or inappropriate materi

bert4keras هو تطبيق خفيف الوزن لبنية محول BERT لإطار عمل التعلم العميق Keras. يعمل كمجموعة أدوات لمعالجة اللغات الطبيعية ومكتبة نماذج محول تُستخدم لتصنيف النص، وتسمية التسلسل، واستخراج التضمين الدلالي. يتضمن إطار العمل نظام نموذج تسلسل إلى تسلسل للإجابة على الأسئلة وتوليد النص، بالإضافة إلى خادم استنتاج النموذج لنشر المحولات المدربة كواجهات برمجة تطبيقات ويب للتنبؤات في الوقت الفعلي. تغطي القدرات مجموعة واسعة من مهام فهم اللغة الطبيعية، بما في ذلك فهم القراءة، واستخراج العلاقات، ومعالجة النصوص الطويلة. توفر المكتبة أدوات للتدريب المسبق للغة والضبط الدقيق، إلى جانب تقنيات التحسين مثل تقليل المعلمات، والتدريب العدائي للمتانة، وتكوين معدل التعلم لكل طبقة. يتضمن المشروع محمل تحويل الأوزان لتحويل الأوزان المدربة مسبقاً من تنسيقات خارجية إلى هياكل Keras متوافقة.

GluonTS هو إطار عمل للتنبؤ بالسلاسل الزمنية الاحتمالية، مصمم للتنبؤ بالقيم المستقبلية كتوزيعات احتمالية مع فترات ثقة. يدعم كلاً من تدريب النموذج التقليدي والتنبؤ بدون تدريب مسبق (zero-shot)، حيث تولد النماذج المدربة مسبقاً تنبؤات لسلاسل جديدة دون تدريب إضافي. يتميز المشروع بدمج مجموعة واسعة من نهج التنبؤ في سير عمل موحد. يتضمن ذلك بنى التعلم العميق مثل الشبكات العصبية المتكررة والالتفافات السببية، بالإضافة إلى دمج النماذج الإحصائية الخارجية، ومكتبة Prophet، وحزم R. توفر مجموعة الأدوات سطحاً شاملاً لهندسة بيانات السلاسل الزمنية، وتغطي توسيع مجموعة البيانات، والتقسيم، وتحويل البيانات الزمنية الخام إلى موترات (tensors). كما تتضمن مجموعة من أدوات التقييم لقياس دقة التنبؤ وفترات عدم اليقين، بالإضافة إلى أدوات لاستمرارية مجموعة البيانات باستخدام تنسيقات مثل Arrow و Parquet. يدعم إطار العمل نشر نماذج التنبؤ داخل البنية التحتية السحابية.

GluonTS هي مكتبة سلاسل زمنية احتمالية وإطار عمل للتنبؤ بالتعلم العميق. توفر مجموعة أدوات لبناء وتدريب وتقييم بنى الشبكات العصبية التي تتنبأ بالقيم المستقبلية كتوزيعات احتمالية لتحديد عدم اليقين. يتميز المشروع بدعم التنبؤ بدون تدريب مسبق (zero-shot) ودمج نهج نمذجة متنوعة، بما في ذلك الشبكات العصبية الاحتمالية العميقة وأغلفة للمكتبات الإحصائية الخارجية مثل Prophet و R forecast. ينفذ بدائيات معمارية متخصصة مثل الالتفافات السببية والشبكات المتبقية القابلة للعكس لمنع تسرب المعلومات وتعيين التمثيلات الكامنة في توزيعات احتمالية صالحة. يغطي إطار العمل سطح هندسة بيانات شاملاً، بما في ذلك توسيع السلاسل الزمنية، والتحويلات التقابلية، والنمذجة الهرمية. يستخدم Apache Arrow و Parquet لبث مجموعة البيانات عالي الأداء وإدارة الوصول العشوائي. لتقييم النموذج، يتضمن جناح تقييم لقياس دقة التنبؤ والتغطية الاحتمالية باستخدام مقاييس مثل خسارة الكمية ودرجات رتبة الاحتمال المستمرة. تدعم المكتبة نشر النموذج من خلال التكامل مع Amazon SageMaker.

هذا إطار عمل للتعلم العميق للتنبؤ بالقيم المستقبلية في البيانات المتسلسلة باستخدام معماريات PyTorch. يوفر مجموعة أدوات للتنبؤ بالسلاسل الزمنية طويلة المدى والاحتمالية، مع دمج خط أنابيب بيانات لتحويل إطارات البيانات الجدولية إلى تسلسلات لتدريب التعلم العميق الخاضع للإشراف. تستخدم المكتبة غلاف تدريب لتوسيع نطاق تنفيذ النموذج عبر وحدات المعالجة المركزية (CPUs) ووحدات معالجة الرسومات (GPUs). تدعم توليد توزيعات احتمالية للنتائج المستقبلية بدلاً من تقديرات النقطة الواحدة لتحديد عدم اليقين في التنبؤ. يتضمن إطار العمل قدرات لتنفيذ نماذج التنبؤ، وتحسين المعلمات الفائقة، وتقييم الدقة من خلال مقاييس متعددة الآفاق. كما يوفر طرقًا لقياس أداء المعماريات المعقدة مقابل نماذج أساسية بسيطة.

هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.

هذا المشروع عبارة عن إطار عمل للحوسبة العلمية لنظام .NET، يوفر مجموعة شاملة من المكتبات للتحليل العددي، والإحصاء، والتحسين الرياضي. يعمل كمجموعة أدوات أساسية لتطوير التطبيقات في تعلم الآلة، ومعالجة الإشارات الرقمية، ورؤية الحاسوب. يوفر إطار العمل مجموعات أدوات متخصصة لتدريب ونشر النماذج التنبؤية، بما في ذلك الشبكات العصبية، وآلات ناقل الدعم، وأشجار القرار. كما يتميز بتكامل عميق للتحليل المرئي في الوقت الفعلي، مثل تتبع الكائنات واكتشاف ملامح الوجه، إلى جانب مكتبة مخصصة لمعالجة الإشارات الرقمية لالتقاط وتصفية إشارات الصوت والمستشعرات. تمتد مساحة الإمكانيات إلى تحليل المصفوفات عالي المستوى والجبر الخطي، ونمذجة الحالة الاحتمالية، وخوارزميات البحث الاستكشافي. كما تغطي مجموعة واسعة من أدوات معالجة البيانات، من تقليل الأبعاد والتطبيع إلى تنظيم البيانات المكانية ومكونات التصور العلمي. يتضمن النظام وحدات تحكم تكامل الأجهزة لتكوين الكاميرا، وإدارة منافذ GPIO، وأجهزة استشعار العمق المتخصصة.

Merlion هو إطار عمل لتعلم الآلة للسلاسل الزمنية مصمم للكشف عن الشذوذ والتنبؤ. يوفر واجهة موحدة لتنفيذ وتطبيق نماذج إحصائية ونماذج تعلم آلي متنوعة على تدفقات البيانات الزمنية. يتضمن المشروع لوحة تحكم للمقارنة المعيارية تسمح بالاختبار المرئي وتقييم النماذج مقابل مجموعات بيانات الحقيقة الأرضية التاريخية. تتيح واجهة الويب هذه تجربة نماذج مختلفة على مجموعات بيانات مخصصة دون الحاجة إلى برمجة يدوية. يغطي إطار العمل قدرات تحديد القيم المتطرفة، والتنبؤ بقيم السلاسل الزمنية المستقبلية، وقياس دقة النموذج من خلال الاختبار الخلفي القائم على المحاكاة لدورات تدريب الإنتاج.

هذا المشروع هو تطبيق TensorFlow لنموذج محول (transformer)، يوفر إطار عمل تعلم عميق من نص إلى نص مصمم للتعرف على أنماط التسلسل وتوليدها. يعمل كنموذج تسلسل قائم على الانتباه وإطار عمل للترجمة الآلية العصبية لتحويل النص من لغة إلى أخرى. ينفذ النظام بنية شبكة المحول، باستخدام الانتباه متعدد الرؤوس والترميز الموضعي لمعالجة البيانات التسلسلية. ويوفر الأدوات اللازمة لتدريب نموذج المحول واستنتاج الترجمة الآلية، مما يسمح بتنفيذ النماذج المدربة لترجمة النص وتقييم جودة الإخراج. يغطي المشروع خط أنابيب معالجة اللغة الطبيعية الكامل، بما في ذلك معالجة النص المسبقة لتوليد المفردات ونمذجة التسلسل إلى التسلسل. ويدمج مكونات هيكلية مثل بنى المشفر-فك المشفر، والتطبيع القائم على الطبقة، وتوزيعات الاحتمالات القائمة على softmax لاختيار الرموز.

This project is a collection of educational resources and reference implementations for neural network development using TensorFlow. It serves as a comprehensive learning course, machine learning curriculum, and practical implementation guide for building deep learning architectures. The codebase provides instructional materials and examples covering a wide range of model types, including convolutional neural networks for image classification, recurrent networks and long short-term memory cells for sequential data, and autoencoders for generative modeling. It also includes implementations for

Neural Prophet هي مكتبة تنبؤ بالسلاسل الزمنية تعتمد على PyTorch مصممة للتعلم الآلي القابل للتفسير. تعمل كإطار عمل للتحلل يكسر الإشارات إلى أجزاء مكونة مثل التأثيرات ذاتية الانحدار، والاتجاهات الخطية المجزأة، والموسمية القائمة على Fourier للتنبؤ بالقيم المستقبلية. يتميز المشروع بدمج الشبكات العصبية مع الخوارزميات التقليدية لإنتاج تنبؤات تشرح محركات الاتجاه الأساسية. يتميز بنهج نمذجة السلاسل الزمنية العالمية، مما يسمح بتدريب نموذج واحد عبر سلاسل متزامنة متعددة لمشاركة الأنماط المتعلمة مع الحفاظ على الخصوصيات المحلية. بالإضافة إلى ذلك، تعمل كأداة لتحديد كمية عدم اليقين، باستخدام انحدار الكميات والتنبؤ المطابق لتوليد فترات تنبؤ موثوقة. توفر المكتبة مجموعة شاملة من القدرات لإدارة البيانات، بما في ذلك استرجاع العطلات، وملء الفجوات، والتطبيع. تغطي دورة حياة النمذجة الكاملة مع تحسين المعلمات الفائقة المؤتمت، واكتشاف نقاط تغيير الاتجاه، ودمج المتغيرات التفسيرية المستقبلية والمتأخرة. يتم دعم التحليل من خلال تحلل التنبؤ وإسناد المدخلات لتصور كيفية تأثير عوامل معينة على التنبؤات النهائية.

هذا المشروع عبارة عن ترجمة صينية للأدلة التقنية ومراجع واجهة برمجة التطبيقات لإطار عمل التعلم العميق PyTorch. يعمل كقاعدة معرفية مترجمة ومادة مرجعية لجعل وثائق التعلم العميق في متناول غير الناطقين بالإنجليزية. تغطي الوثائق مجموعة شاملة من قدرات PyTorch، بما في ذلك تطوير نماذج الشبكات العصبية، والتمايز التلقائي، وتنفيذ النواة (kernels) في الواجهة الخلفية. يوفر إرشادات مفصلة حول استراتيجيات التدريب الموزع، ونشر النماذج عبر تنسيقات مثل ONNX و C++، وتقنيات تحسين النماذج وتكميمها (quantization) المختلفة. يستخدم المشروع خط أنابيب ترجمة مدفوعاً بالمجتمع ونموذج مساهمة موزعاً للحفاظ على محتوى متزامن مع الإصدارات. يتم تنظيم المواد التقنية باستخدام markdown وعرضها في موقع ويب قابل للتصفح عبر توليد المواقع الثابتة.

warp-ctc is a high-performance library for calculating connectionist temporal classification loss to train sequence-to-sequence deep learning models. It provides a numerical stability layer using log-space computation to prevent underflow and precision errors during probability calculations for long sequences. The library utilizes hardware-accelerated kernels to compute loss in parallel across CPU and GPU architectures. It focuses on increasing training throughput by optimizing the dynamic programming steps of the CTC algorithm. These capabilities support the training of models for speech re

DeepVariant is a deep learning genotyping tool and DNA sequence analysis pipeline used to identify single nucleotide polymorphisms and indels from next-generation sequencing data. It functions as a convolutional neural network genetic variant caller that treats genomic read alignments as multi-channel image tensors to determine genotypes. The system supports specialized analysis workflows including long-read variant calling for circular consensus sequencing and trio-based variant calling to identify inherited or de novo mutations. It enables model optimization for new species or genome contex

This framework provides a toolkit for fine-tuning large language models by combining distributed data parallelism with parameter sharding and quantization techniques. It is designed to scale the training of massive neural networks across multiple graphics processors, enabling the execution of models that exceed the memory capacity of individual hardware units. The library distinguishes itself by integrating low-rank adaptation with memory-efficient weight loading and quantization-aware parameter sharding. By initializing model weights directly on the graphics processor and applying granular l