1 مستودع
Awesome GitHub RepositoriesMemory-Mapped Arrays
Persistence of numerical arrays using memory mapping for efficient random access without full loading.
Distinct from Numerical Array Persistence: Focuses on memory-mapping (memmap) for random access efficiency rather than general scientific file format persistence.
Explore 1 awesome GitHub repository matching data & databases · Memory-Mapped Arrays. Refine with filters or upvote what's useful.
Awesome Memory-Mapped Arrays GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- joblib/joblib
joblib/joblib
4,366عرض على GitHubJoblib هي مجموعة من الأدوات لموازاة أعباء العمل الحسابية وتحسين تخزين مجموعات البيانات الرقمية الكبيرة ونتائج الدوال. تعمل كمكتبة للحوسبة المتوازية ومغلف للمعالجة المتعددة (multiprocessing wrapper) يوزع تنفيذ الدوال عبر أنوية معالج متعددة لتسريع المهام المستقلة والحلقات الحسابية. يوفر المشروع إطار عمل للتخزين المؤقت على القرص يقوم بحفظ مخرجات الدوال المكلفة في نظام الملفات، وإعادة تقييمها فقط عند تغير وسائط الإدخال. كما يتخصص في تسلسل المصفوفات الرقمية الكبيرة، باستخدام ضغط فعال وتعيين الذاكرة لتحسين تخزين واسترجاع مجموعات البيانات الضخمة. تتضمن مجموعة الأدوات إمكانيات لتعيين الدوال المتوازية واستخدام خلفيات تنفيذ قابلة للتوصيل للتحكم في كيفية توزيع المهام عبر الأجهزة المتاحة. تغطي طبقة التخزين الخاصة بها استمرارية الكائنات المعقدة والضغط الشفاف للبيانات المتسلسلة.
Provides memory-mapping for large numerical arrays to allow efficient disk-based random access without consuming full RAM.
Python
