Awesome GitHub RepositoriesLayer Extractions

SynapseML هي مكتبة تعلم آلة لـ Apache Spark مصممة لبناء وتوسيع سير عمل تعلم الآلة وخطوط أنابيب البيانات عبر المجموعات الموزعة. تعمل كإطار عمل لخط أنابيب تعلم الآلة الموزع ومحرك استدلال موزع لتنفيذ التنبؤات المسرعة بالأجهزة ومهام التعلم العميق على مجموعات بيانات واسعة النطاق. يعمل المشروع كطبقة تكامل للذكاء الاصطناعي السحابي، مما يسمح للمستخدمين بتطبيق خدمات الذكاء الاصطناعي المدربة مسبقاً للنصوص والرؤية والكلام داخل خطوط الأنابيب الموزعة. كما يتضمن مجموعة مخصصة من الأدوات للكشف الموزع عن الشذوذ لتحديد القيم المتطرفة متعددة المتغيرات والسلاسل الزمنية عبر البيانات عالية الأبعاد. تغطي المكتبة مجموعة واسعة من القدرات، بما في ذلك الرؤية الحاسوبية الموزعة لتحليل الوجوه والصور، ومعالجة اللغات الطبيعية القابلة للتوسع لتحليلات النصوص والترجمة، وتدريب أشجار القرار المعززة بالتدرج. توفر أدوات للبحث عن التشابه عبر نمذجة الجار الأقرب (k-nearest neighbor)، وقابلية تفسير النموذج من خلال إسناد الميزات، وتنسيق سير عمل التعلم التعزيزي. يستخدم النظام بنية خط أنابيب قابلة للتركيب ويدعم استدلال النموذج القائم على ONNX للتوافق عبر المنصات.

هذا المشروع عبارة عن مورد تعليمي شامل ودورة تدريبية لبناء الشبكات العصبية باستخدام PyTorch. يغطي اللبنات الأساسية للتعلم العميق، بما في ذلك معالجة الموترات (tensors)، والتمايز التلقائي، وبناء مكونات الشبكة العصبية المعيارية. يعمل المستودع كدليل تقني للعديد من المجالات المتخصصة. يوفر تفاصيل تنفيذ لمهام رؤية الكمبيوتر مثل تصنيف الصور، واكتشاف الكائنات، والتجزئة الدلالية، بالإضافة إلى سير عمل معالجة اللغات الطبيعية التي تتضمن المحولات (transformers)، والشبكات المتكررة، والنماذج التوليدية. بالإضافة إلى ذلك، يتضمن مرجعاً للذكاء الاصطناعي التوليدي، مع التركيز بشكل خاص على تركيب الصور عبر نماذج الانتشار (diffusion models) والشبكات التنافسية. تمتد المادة إلى تحسين النماذج وخطوط أنابيب النشر. تغطي تقنيات لتقليل حجم النموذج وزيادة سرعة الاستنتاج من خلال التكميم (quantization) وتصدير النماذج إلى تنسيقات مثل ONNX وTensorRT. تشمل مجالات القدرة الأخرى هندسة البيانات للتحميل المتوازي، وتقييم النموذج باستخدام مقاييس مخصصة، ونشر نماذج اللغات الكبيرة مفتوحة المصدر. يتم تقديم المشروع بشكل أساسي كسلسلة من دفاتر Jupyter.

evo2 is a genomic large language model and foundation model designed to predict, generate, and analyze genetic information across different species. It functions as a nucleotide sequence modeler and a DNA sequence generator, using transformer-based sequence modeling to process genomic data. The system provides capabilities for synthetic DNA generation, creating new genetic sequences based on biological prompts or species-specific tags. It also performs nucleotide likelihood prediction to score genomic variants and analyze biological properties within DNA sequences. The model supports genomic