Awesome GitHub RepositoriesTabular Data Manipulations

dplyr هي مكتبة لمعالجة البيانات في لغة R توفر قواعد لتحويل إطارات البيانات الجدولية. تعمل كمعالج لإطارات البيانات الموجودة في الذاكرة وأداة لجبر البيانات العلائقية، باستخدام مجموعة متسقة من الأفعال لتصفية البيانات واختيارها وتلخيصها. يتضمن المشروع محرك ترجمة SQL يقوم بتحويل تعبيرات معالجة البيانات عالية المستوى إلى استعلامات محسنة. يتيح ذلك للمستخدمين إجراء التحويلات مباشرة على قواعد البيانات العلائقية البعيدة والتخزين السحابي دون الحاجة إلى جلب البيانات محلياً. تغطي المكتبة مجموعة واسعة من العمليات الجدولية، بما في ذلك تعديل الأعمدة، وتحديد مجموعات فرعية من الصفوف، وربط البيانات العلائقية. كما توفر إمكانيات لتحليل البيانات المجمعة، مما يسمح بتقسيم مجموعات البيانات لإجراء عمليات تجميع وملخصات مستقلة.

هذا المشروع عبارة عن مجموعة من تطبيقات Python لكشط الويب، واعتراض حركة مرور الشبكة، وتحليل البيانات، وتحليل المشاعر. يوفر طرقاً لاستخراج البيانات المهيكلة من مواقع الويب وواجهات تطبيقات الهاتف المحمول. تتضمن المجموعة أدوات لالتقاط وتحليل حزم الشبكة من تطبيقات الهاتف المحمول لتحديد نقاط نهاية API الداخلية المخفية. كما تتميز بنصوص برمجية لتقييم النبرة العاطفية والتصور العام لبيانات النصوص. يغطي المشروع معالجة وتحويل مجموعات البيانات الكبيرة، بالإضافة إلى إنشاء المخططات والرسوم البيانية لتحديد الاتجاهات والأنماط الديموغرافية.

Tablib is a Python library designed for importing, exporting, and manipulating tabular datasets. It functions as a multi-format data converter and manager, allowing users to move information between different file standards. The library supports data transformation across CSV, JSON, YAML, and Excel formats. It provides a programmatic interface to manage these datasets by adding rows, filtering columns, and segregating records. The system uses a common internal representation and adapter-based mapping to normalize diverse input sources. This allows for consistent reading and writing routines

Rivet هو مصمم سير عمل LLM مرئي ومحرك تنسيق وكلاء الذكاء الاصطناعي. يعمل كبيئة تطوير لبناء خطوط أنابيب التوليد المعزز بالاسترجاع (RAG) ومكتبة TypeScript لتضمين الرسوم البيانية المرئية للذكاء الاصطناعي ومنطق المطالبات في تطبيقات JavaScript. يتميز النظام بمحرر قائم على العقد يربط تدفق البيانات بين النماذج اللغوية، وقواعد بيانات المتجهات، وواجهات برمجة التطبيقات الخارجية. يوفر أدوات متخصصة لهندسة المطالبات، بما في ذلك واجهات لتحسين المطالبات التكراري واختبار A/B لتحسين جودة استجابة النموذج. تغطي المنصة مجموعة واسعة من القدرات، بما في ذلك تنفيذ الرسم البياني الموجه مع دعم المعالجة المتوازية والحلقات، والمراقبة الشاملة لتصحيح أخطاء الحالة في الوقت الفعلي وإعادة تشغيل التنفيذ، وأطر الاختبار المؤتمتة للتحقق من سلوك الوكيل من خلال مجموعات التحقق. كما يتضمن دعمًا لنسخ الصوت والاستدلال، بالإضافة إلى بنية إضافات لتعريف العقد المخصصة. يتم تخزين الرسوم البيانية للمنطق كملفات YAML لتمكين التحكم في الإصدار والتعاون.

هذا المشروع عبارة عن مكتبة تعلم آلي بلغة Python ومجموعة أدوات علوم بيانات مصممة لبناء نماذج تنبؤية وتحليل مجموعات البيانات المعقدة. يوفر مجموعة من التنفيذات للخوارزميات الشائعة الخاضعة للإشراف وغير الخاضعة للإشراف باستخدام إطار عمل Scikit-Learn. تتضمن مجموعة الأدوات جناح نمذجة تنبؤية لتوليد تنبؤات من البيانات التاريخية وإطار عمل تحليل إحصائي لتطبيق النمذجة البايزية واختبارات السببية. كما يتميز بجناح تصور بيانات قائم على Matplotlib لعرض المخططات والرسوم البيانية الثابتة لتفسير حدود المصنف واتجاهات البيانات. يغطي المشروع سير عمل تجميع البيانات لتحديد الأنماط والقطاعات، وتحليل البيانات الاستكشافي، والمعالجة المسبقة للبيانات باستخدام Pandas و NumPy.

Python-Guide-CN هو ترجمة صينية لدليل شامل لبرمجة Python الاصطلاحية وتطوير البرمجيات. يعمل كبرنامج تعليمي برمجي منسق ومرجع للنظام البيئي، ويوفر مساراً منظماً لتعلم صيغة Python، والمكتبات القياسية، وأنماط الترميز الاحترافية. يتميز المشروع بتقديم تعليمات مفصلة لإعداد بيئات التطوير عبر Windows وmacOS وLinux. يركز بشكل خاص على اختيار المترجمين وإدارة البيئات الافتراضية لضمان بيئة عمل متسقة. يغطي الدليل مجموعة واسعة من القدرات التقنية، بما في ذلك سير عمل اختبار البرمجيات، وتوزيع الحزم، وتنفيذ أفضل ممارسات الترميز. كما يوفر توجيهات حول تطوير الويب، وبناء REST API، والحوسبة العلمية، بما في ذلك تحليل البيانات وتصورها.

CrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network

هذا المشروع هو إطار عمل لمعالجة البيانات الجدولية عالي الأداء لـ R، مصمم للتعامل مع مجموعات البيانات الضخمة بكفاءة في الذاكرة وسرعة. يوفر هيكل بيانات محسناً يستخدم دلالات المرجع والتعديل في المكان لإجراء تحويلات معقدة دون عبء نسخ الكائنات غير الضروري. تتميز المكتبة بتحسيناتها المعمارية منخفضة المستوى، بما في ذلك المعالجة المتوازية متعددة الخيوط، والفرز القائم على الجذر، وتحليل الملفات المعينة في الذاكرة. من خلال تفريغ إجراءات معالجة البيانات والتجميع الحرجة إلى كود C مجمع، فإنه يتيح التنفيذ السريع للمهام التي قد تكون مكلفة حسابياً. يدعم محركها الأساسي عمليات علائقية متقدمة، مثل الانضمامات غير المتساوية، والمتدحرجة، والمتداخلة، إلى جانب الفهرسة الثانوية التلقائية لتسريع الوصول المتكرر للبيانات. إلى جانب إمكانات المعالجة الأساسية، يقدم المشروع مجموعة شاملة من الأدوات لإدارة دورة حياة البيانات. يتضمن ذلك أدوات استيعاب وتسلسل عالية السرعة مع الكشف التلقائي عن النوع، بالإضافة إلى دعم متخصص لتحليل السلاسل الزمنية والتجميع متعدد الأبعاد. تم بناء إطار العمل ليتوسع، مما يسمح للمستخدمين بإجراء عمليات تجميع وتصفية وإعادة تشكيل معقدة على مجموعات بيانات تحتوي على مليارات الصفوف مع الحفاظ على استقرار النظام وأدائه.

يُعد هذا المستودع مورداً تعليمياً ومنهجاً منظماً لإجراء التحليل الإحصائي باستخدام Python. وهو يوفر دليلاً شاملاً لسير عمل الحوسبة العلمية، مع التركيز على التطبيق العملي لتنظيف البيانات، والنمذجة الرقمية، وتصور التوزيعات. يغطي البرنامج التعليمي العملية الكاملة لتحويل البيانات الجدولية الخام إلى رؤى قابلة للتنفيذ. ويوضح كيفية معالجة مجموعات البيانات المهيكلة من خلال الدمج والتجميع، وإجراء الحسابات الإحصائية الوصفية والاستنتاجية، وملاءمة نماذج الانحدار لتقييم العلاقات بين المتغيرات. بالإضافة إلى ذلك، تتناول المادة تقدير عدم اليقين الإحصائي باستخدام تقنيات إعادة أخذ العينات (resampling) لإنشاء فترات الثقة وتوزيعات المعاينة. تم تنظيم المحتوى لدعم المتعلمين في تطبيق مكتبات الحوسبة العلمية القياسية لتحديد الأنماط والاتجاهات داخل المعلومات الرقمية. ويتضمن أمثلة عملية لإنشاء تمثيلات رسومية للبيانات وتنفيذ عمليات رياضية لتفسير مجموعات البيانات المعقدة.

هذه المكتبة عبارة عن إطار عمل لمعالجة البيانات لـ JVM يوفر بيئة آمنة من حيث النوع (type-safe) لمعالجة البيانات الجدولية المهيكلة. تعمل كمجموعة أدوات شاملة لإجراء تحويلات البيانات المعقدة، والتجميعات، والتحليل الإحصائي، مع الاستفادة من التحقق من المخطط (schema) في وقت التجميع لضمان السلامة الهيكلية عبر خطوط أنابيب البيانات. يتميز المشروع بتكامله العميق مع بيئات دفاتر الملاحظات التفاعلية واستخدامه لتوليد الكود في وقت التجميع. من خلال اشتقاق المخططات وفرضها تلقائياً من المدخلات الخام، فإنه يولد أدوات وصول آمنة من حيث النوع تتيح الإكمال التلقائي في IDE والتحقق الثابت من أسماء الأعمدة. تسمح هذه البنية للمطورين بتنفيذ معالجة خطوط الأنابيب الوظيفية مع الحفاظ على أمان صارم للأنواع، مما يمنع بشكل فعال أخطاء وقت التشغيل أثناء معالجة البيانات. تدعم المكتبة مجموعة واسعة من سير عمل البيانات، بما في ذلك استيراد وتعيين مخططات قواعد البيانات العلائقية، وإجراء التحليل الجغرافي المكاني، وتنفيذ محاور البيانات المعقدة. تتضمن أدوات واسعة النطاق لإنشاء البيانات، والتصفية، والفرز، وحساب الإحصاءات الوصفية. علاوة على ذلك، يوفر إطار العمل إمكانيات قوية للتصور وإعداد التقارير، مما يسمح للمستخدمين بعرض جداول HTML تفاعلية، وتأليف المستندات، وإنشاء المخططات مباشرة من مجموعات البيانات المهيكلة. تم تصميم المكتبة للاستخدام السلس داخل بيئات تطوير Kotlin وJava، مع دعم متخصص لإدارة التبعيات المؤتمتة وتكامل النواة في دفاتر الملاحظات التفاعلية.