Awesome GitHub RepositoriesTraining Data Compression

Open-Sora-Plan is a text-to-video framework and distributed video training system. It utilizes a diffusion transformer architecture and large language model components to transform written descriptions or image prompts into high-quality video sequences. The system features a distributed infrastructure designed for large-scale video training and inference. It employs sequence parallelism to split high-resolution or long-duration video samples across multiple GPUs and uses a sparse attention mechanism to increase processing speed. The project includes capabilities for both text-to-video and im

Starspace هو إطار عمل لتضمين المتجهات (vector embedding) مصمم لتدريب تمثيلات عالية الأبعاد للنصوص والصور. يعمل كنظام تعلم آلي للترتيب العصبي، وتصنيف النصوص، وتضمين الرسوم البيانية للمعرفة، حيث يقوم بتعيين أنواع كائنات مختلفة في مساحة عددية مشتركة لتسهيل مهام الاسترجاع والتنبؤ. يتضمن النظام أدوات متخصصة لإكمال الرسوم البيانية للمعرفة والتنبؤ بالروابط من خلال تمثيل الكيانات وعلاقاتها داخل مساحة متجهية متعددة العلاقات. كما يوفر قدرات لتوصية المحتوى الدلالي وتصنيف النصوص واسع النطاق عن طريق تعيين المدخلات إلى تسميات مستهدفة أو عناصر مرشحة. يغطي إطار العمل مجالات قدرة واسعة بما في ذلك ترتيب الكيانات القائم على التشابه، واستخراج تضمين المتجهات من المستندات أو n-grams، واستخدام التدريب القائم على المشي العشوائي. لإدارة مجموعات البيانات الكبيرة، فإنه يدمج تحميل البيانات المضغوطة القائمة على القرص وتحسين أخذ العينات السلبية.