Awesome GitHub RepositoriesDuplicate Row Filtering

pysheeet هي مكتبة مرجعية تقنية توفر مجموعة مختارة من مقتطفات التعليمات البرمجية وأنماط التنفيذ لتطوير Python المتقدم، وتكامل النظام، والحوسبة عالية الأداء. تعمل كدليل شامل لتنفيذ برمجة الشبكات منخفضة المستوى، وإضافات C الأصلية، والبرمجة غير المتزامنة والمتزامنة. يوفر المشروع أطر عمل متخصصة لتطوير ونشر نماذج اللغات الكبيرة، بما في ذلك أدوات لاستنتاج GPU الموزع والخدمة عالية الأداء. يتضمن أيضاً أنماطاً مفصلة لتنظيم مجموعات الحوسبة عالية الأداء، وتغطية تخصيص موارد GPU وإدارة عبء العمل متعدد العقد. تغطي المكتبة سطحاً واسعاً من القدرات، بما في ذلك اتصالات الشبكة الآمنة والتشفير، والتعيين الكائني-العلائقي وإدارة قواعد البيانات، وتنفيذ هياكل البيانات والخوارزميات المعقدة. كما توفر أدوات لإدارة الذاكرة، وقابلية التشغيل البيني الأصلية عبر واجهات الوظائف الخارجية، وتكامل نظام التشغيل على مستوى النظام.

Hazelcast is a distributed data platform that combines an in-memory data grid with a stream processing engine to support real-time analytics and event-driven applications. It functions as a partitioned, distributed key-value store that replicates data across cluster nodes to provide low-latency access and high availability. The platform also serves as a distributed SQL query engine, allowing users to execute standard SQL statements against both in-memory datasets and external data sources. What distinguishes Hazelcast is its use of a distributed consensus subsystem to maintain strongly consis

Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer

هذا المشروع عبارة عن برنامج تعليمي شامل لتحليل بيانات pandas ودليل تعليمي مصمم لتعلم معالجة البيانات وتحليلها. يعمل كدليل لمعالجة البيانات الجدولية ودليل لتحليل السلاسل الزمنية، مما يوفر نهجاً منظماً لتنظيف ودمج وتحويل مجموعات البيانات. يعمل المستودع كدورة هندسة ميزات البيانات، حيث يوفر برامج تعليمية حول بناء واختيار ميزات مجموعة البيانات لتحسين أداء نموذج التعلم الآلي. كما يتضمن دليل عمليات البيانات المتجهة لإجراء حسابات رياضية على مستوى العناصر ومعالجات المصفوفة. تغطي المادة مجموعة واسعة من القدرات بما في ذلك سير عمل تنظيف البيانات، ومهام تكامل البيانات، وتحليل البيانات الجدولية. يوفر توجيهاً حول معالجة المعلومات النصية، والتعامل مع البيانات الفئوية، وتحسين سرعة التنفيذ لمجموعات البيانات الكبيرة. يتم تسليم المشروع كسلسلة من Jupyter Notebooks التي تحتوي على تمارين عملية ومشاكل ممارسة مستهدفة.

dtale هو شبكة تفاعلية قائمة على الويب ومصور لإطارات بيانات pandas، مصمم كأداة تحليل بيانات استكشافية. يوفر واجهة قائمة على المتصفح لتحليل هياكل البيانات الجدولية، مما يسمح للمستخدمين بحساب الإحصائيات، واكتشاف القيم المتطرفة، وحساب الارتباطات دون كتابة كود يدوي. يعمل المشروع كعارض بيانات مضمن يمكن دمجه في تطبيقات الويب عبر iframes أو مسارات مخصصة، مع دعم محدد لـ Django و Flask و Streamlit. يتيح استكشاف مجموعات البيانات من خلال مزيج من شبكة بيانات تفاعلية ومكتبة تصور بيانات قادرة على إنشاء رسوم بيانية، ومخططات صندوقية، ومخططات تشتت ثلاثية الأبعاد. تغطي المنصة مجموعة واسعة من قدرات إدارة وتحليل البيانات، بما في ذلك تنظيف البيانات الجدولية، وإعادة التشكيل، والتصفية التفاعلية. يتضمن أدوات مراقبة لتحليل البيانات المفقودة، وحساب الارتباط، وتسجيل القوة التنبؤية. لإدارة الجلسة، يدعم تتبع المثيلات المتعددة واستمرارية الحالة عبر عمليات العامل المتزامنة. الواجهة محمية بمصادقة اسم المستخدم وكلمة المرور وتدعم استيعاب البيانات من الملفات المحددة، وجداول البيانات، ومخازن بيانات ArcticDB.

dplyr هي مكتبة لمعالجة البيانات في لغة R توفر قواعد لتحويل إطارات البيانات الجدولية. تعمل كمعالج لإطارات البيانات الموجودة في الذاكرة وأداة لجبر البيانات العلائقية، باستخدام مجموعة متسقة من الأفعال لتصفية البيانات واختيارها وتلخيصها. يتضمن المشروع محرك ترجمة SQL يقوم بتحويل تعبيرات معالجة البيانات عالية المستوى إلى استعلامات محسنة. يتيح ذلك للمستخدمين إجراء التحويلات مباشرة على قواعد البيانات العلائقية البعيدة والتخزين السحابي دون الحاجة إلى جلب البيانات محلياً. تغطي المكتبة مجموعة واسعة من العمليات الجدولية، بما في ذلك تعديل الأعمدة، وتحديد مجموعات فرعية من الصفوف، وربط البيانات العلائقية. كما توفر إمكانيات لتحليل البيانات المجمعة، مما يسمح بتقسيم مجموعات البيانات لإجراء عمليات تجميع وملخصات مستقلة.

Kùzu is an embedded property graph database engine designed for high-performance analytical queries and local data management. It operates as a library within the host application process, utilizing a columnar-based storage architecture and just-in-time query compilation to execute complex graph traversals and pattern matching efficiently. By mapping database files directly into system memory, it ensures data durability and high-speed access while maintaining ACID-compliant transactional integrity. The engine distinguishes itself by integrating vector similarity search and full-text search di

هذا المشروع هو إطار عمل لمعالجة البيانات الجدولية عالي الأداء لـ R، مصمم للتعامل مع مجموعات البيانات الضخمة بكفاءة في الذاكرة وسرعة. يوفر هيكل بيانات محسناً يستخدم دلالات المرجع والتعديل في المكان لإجراء تحويلات معقدة دون عبء نسخ الكائنات غير الضروري. تتميز المكتبة بتحسيناتها المعمارية منخفضة المستوى، بما في ذلك المعالجة المتوازية متعددة الخيوط، والفرز القائم على الجذر، وتحليل الملفات المعينة في الذاكرة. من خلال تفريغ إجراءات معالجة البيانات والتجميع الحرجة إلى كود C مجمع، فإنه يتيح التنفيذ السريع للمهام التي قد تكون مكلفة حسابياً. يدعم محركها الأساسي عمليات علائقية متقدمة، مثل الانضمامات غير المتساوية، والمتدحرجة، والمتداخلة، إلى جانب الفهرسة الثانوية التلقائية لتسريع الوصول المتكرر للبيانات. إلى جانب إمكانات المعالجة الأساسية، يقدم المشروع مجموعة شاملة من الأدوات لإدارة دورة حياة البيانات. يتضمن ذلك أدوات استيعاب وتسلسل عالية السرعة مع الكشف التلقائي عن النوع، بالإضافة إلى دعم متخصص لتحليل السلاسل الزمنية والتجميع متعدد الأبعاد. تم بناء إطار العمل ليتوسع، مما يسمح للمستخدمين بإجراء عمليات تجميع وتصفية وإعادة تشكيل معقدة على مجموعات بيانات تحتوي على مليارات الصفوف مع الحفاظ على استقرار النظام وأدائه.