Awesome GitHub RepositoriesData Refreshers

PROXY-List عبارة عن مجمع وكيل عام يوفر هياكل بيانات لتخزين وتجميع عناوين خادم وكيل HTTP وSOCKS المتاحة للجمهور. يعمل كمصدر لاسترداد قوائم توجيه حركة مرور الشبكة المستخدمة لإخفاء عناوين IP الأصلية أثناء طلبات الويب. يستخدم المشروع خط أنابيب بيانات لكشط واستطلاع وتسلسل قوائم الوكيل تلقائياً من مواقع ويب عامة متعددة. تضمن هذه البنية التحتية توفر الخوادم النشطة من خلال الاستطلاع الدوري المجدول وتحديثات المحتوى المؤتمتة، مما يسلم القوائم الناتجة كملفات نصية عادية. تدعم هذه الإمكانيات إخفاء هوية حركة مرور الشبكة وصيانة بنية كشط الويب التحتية من خلال توزيع الطلبات الصادرة عبر مجموعة من عناوين الوكيل العامة الدوارة لتجنب حدود المعدل وحظر IP.

dlt هي أداة لاستيعاب البيانات بلغة Python وإطار عمل لخط أنابيب ETL مصمم لجلب البيانات من مصادر متنوعة وحفظها في وجهات مهيكلة. تعمل كمحرك لاستنتاج المخطط (schema inference) يكتشف تلقائياً أنواع البيانات ويسطح هياكل JSON المتداخلة في جداول علائقية، ناقلاً البيانات من المصادر إلى بحيرات البيانات، أو المستودعات، أو قواعد بيانات المتجهات. يتميز المشروع بتوليد خط أنابيب مدعوم بالذكاء الاصطناعي، باستخدام نماذج لغات كبيرة لسقالات كود الاستخراج والموصلات لـ REST APIs. كما يدعم تخزين المتجهات متعدد الوسائط والتعبئة المتخصصة لقواعد بيانات المتجهات لدعم تطبيقات الذكاء الاصطناعي والتعلم الآلي. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك تطور المخطط المؤتمت، وتحميل البيانات التزايدي عبر تتبع الحالة، والتحقق من جودة البيانات من خلال فرض عقود البيانات. يوفر أدوات لتطبيع البيانات العلائقية، وتحويلات ما قبل وما بعد التحميل، ومجموعة متنوعة من محولات الوجهة لقواعد بيانات SQL ومخازن الكائنات السحابية. تتم إدارة المراقبة من خلال لوحات معلومات تنفيذ خط الأنابيب، وتتبع نسب الأعمدة، والتحقق من إصدار المخطط باستخدام التجزئات القائمة على المحتوى.

هذا المشروع عبارة عن أداة كشط (scraper) لـ Sina Weibo وخط أنابيب بيانات لوسائل التواصل الاجتماعي مصمم لاستخراج ملفات تعريف المستخدمين، والمنشورات، والتعليقات، وأصول الوسائط المتعددة. يعمل كزاحف بيانات حاوي (containerized) يقوم بأتمتة جمع وتخزين محتوى وسائل التواصل الاجتماعي ومقاييس التفاعل محلياً. يتضمن النظام طبقة معالجة تستخدم نماذج لغوية كبيرة لتحليل النصوص المكتوبة، وتوليد ملخصات وتحليل للمشاعر. يتميز بنموذج حاوية جاهز للنشر يتميز بواجهة HTTP لإدارة مهام الاستخراج ومراقبة تقدم العمل. يغطي الزاحف مجموعة واسعة من الإمكانيات، بما في ذلك مراقبة وسائل التواصل الاجتماعي عبر تحديثات مجدولة تزايدية، وأرشفة أصول الوسائط المتعددة على الأقراص المحلية، وتصدير البيانات بتنسيقات متعددة إلى ملفات مسطحة أو قواعد بيانات. كما يلتقط التفاعلات الاجتماعية التفصيلية، مثل التعليقات من المستوى الأول وإعادة النشر.

Warehouse is a Python Package Index implementation and distributed package registry. It serves as a central repository and web application for hosting, discovering, and distributing versioned Python software packages via a standardized API. The system functions as a multi-tenant package manager with a server implementation compatible with Python Package Index standards. It provides specialized infrastructure for software package hosting and an index for clients to discover and download specific library versions. The project incorporates comprehensive security and access control, including mu

bqplot is an interactive data visualization library for IPython and Jupyter notebooks that utilizes a grammar of graphics. It functions as a tool for creating 2D charts and maps with real-time updates and bidirectional communication between the kernel and frontend. The library is distinguished by its ability to act as a geographic data visualization tool, rendering choropleth maps and spatial data via GeoJSON and custom projections. It also serves as a financial charting tool for producing OHLC and candle bar charts, and as an interactive dashboard framework for combining plotting widgets wit