Awesome GitHub RepositoriesDataframe Format Conversion

Ibis is a portable Python dataframe library and multi-backend query engine that provides a unified interface for executing data transformations across diverse compute engines. It functions as a Python SQL expression compiler and dialect transpiler, allowing users to define data logic once and execute it across cloud warehouses, embedded databases, and distributed clusters without rewriting code. The project distinguishes itself through a database backend abstraction that decouples transformation logic from the underlying execution engine. It enables polyglot data workflows by mixing raw SQL s

cuml هي مكتبة وإطار عمل للتعلم الآلي مسرع بواسطة GPU يستخدم CUDA لتسريع معالجة البيانات الجدولية وتنفيذ النماذج. توفر مجموعة من الأدوات لتدريب ونشر نماذج التصنيف، والانحدار، والتجميع على وحدات معالجة الرسومات NVIDIA وعناقيد GPU. تم تصميم المكتبة لقابلية التوسع، حيث توفر بيئة تعلم آلي موزعة على GPU يمكنها توزيع الحساب والبيانات عبر مسرعات أجهزة وعقد متعددة للتعامل مع مجموعات البيانات التي تتجاوز ذاكرة الجهاز الواحد. تعكس واجهات المقدر القياسية للسماح باستبدال النماذج القائمة على CPU بإصدارات مسرعة بواسطة GPU داخل سير العمل الحالي. يغطي المشروع مجموعة واسعة من قدرات التعلم الآلي، بما في ذلك التعلم الخاضع للإشراف، والتجميع غير الخاضع للإشراف، والبحث عن أقرب جار، وتقليل الأبعاد عالي الأبعاد. كما يتضمن معالجة بيانات جدولية مسرعة بواسطة الأجهزة لتوسيع الميزات والترميز، واستخراج ميزات النص، وتحليل السلاسل الزمنية، وقابلية تفسير تنبؤ النموذج. تشمل الأدوات المساعدة أدوات لإنشاء مجموعات بيانات اصطناعية، وتسلسل حالة النموذج، وحساب مقاييس أداء النموذج.

GluonTS هي مكتبة سلاسل زمنية احتمالية وإطار عمل للتنبؤ بالتعلم العميق. توفر مجموعة أدوات لبناء وتدريب وتقييم بنى الشبكات العصبية التي تتنبأ بالقيم المستقبلية كتوزيعات احتمالية لتحديد عدم اليقين. يتميز المشروع بدعم التنبؤ بدون تدريب مسبق (zero-shot) ودمج نهج نمذجة متنوعة، بما في ذلك الشبكات العصبية الاحتمالية العميقة وأغلفة للمكتبات الإحصائية الخارجية مثل Prophet و R forecast. ينفذ بدائيات معمارية متخصصة مثل الالتفافات السببية والشبكات المتبقية القابلة للعكس لمنع تسرب المعلومات وتعيين التمثيلات الكامنة في توزيعات احتمالية صالحة. يغطي إطار العمل سطح هندسة بيانات شاملاً، بما في ذلك توسيع السلاسل الزمنية، والتحويلات التقابلية، والنمذجة الهرمية. يستخدم Apache Arrow و Parquet لبث مجموعة البيانات عالي الأداء وإدارة الوصول العشوائي. لتقييم النموذج، يتضمن جناح تقييم لقياس دقة التنبؤ والتغطية الاحتمالية باستخدام مقاييس مثل خسارة الكمية ودرجات رتبة الاحتمال المستمرة. تدعم المكتبة نشر النموذج من خلال التكامل مع Amazon SageMaker.