Awesome GitHub RepositoriesMulti-Format Data Persistence

This project is a comprehensive educational guide and framework for building web scrapers using Python. It provides a course-based approach to data extraction, combining a Python crawler framework with tutorials on web reverse engineering and network traffic analysis. The project distinguishes itself by covering advanced extraction challenges, including the decryption of obfuscated JavaScript and the bypass of anti-scraping measures. It specifically addresses mobile application scraping through the simulation of user interactions and the interception of network traffic. The capability surfac

weiboSpider is a Python web scraper and social media crawler designed to extract user profiles, posts, and engagement metrics from Sina Weibo. It functions as an automated data pipeline for academic research and trend analysis, collecting long-form text and multimedia content. The tool distinguishes itself through the use of browser session cookies to authenticate requests and access protected profiles. It implements randomized request pacing and global pauses to manage traffic and avoid platform rate limits, while supporting incremental crawling to capture only new content based on timestamp

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

TiddlyWiki5 is a modular wiki engine and non-linear knowledge base that organizes information into small, linked chunks. It can function as a single-file personal wiki where all content and application logic are stored within one HTML file for local-first use, or as a self-hosted wiki server that serves content over HTTP. The project is distinguished by a data-driven architecture where plugins and extensions are treated as stored data entries. It features a filter-based query engine for manipulating structured data and a transclusion system that allows the live content of one entry to be embe

big-AGI is a self-hosted AI frontend and multi-model client that provides a unified workspace for interacting with various large language models. It functions as an orchestration dashboard, allowing users to connect to cloud-based AI providers, aggregator services, and locally hosted model servers. The project is distinguished by its ability to execute prompts across multiple models simultaneously for side-by-side comparison and response synthesis. It enables the merging of outputs from different models to reduce hallucinations and improve accuracy, while using persona-based configuration map

libigl هي مكتبة لمعالجة الهندسة بلغة C++ تُستخدم لتحليل ومعالجة شبكات المثلثات والرباعيات الأسطح ثلاثية الأبعاد. تعمل كمجموعة للجبر الخطي العددي وإطار عمل لمعالجة الشبكات، حيث تدمج محرك تشوه هندسي لتنفيذ التحويلات الصلبة ومتعددة التوافقيات. يتميز المشروع بتصميمه كمكتبة تعتمد على ملفات الترويسة فقط (Header-only) وتنفيذه لتقنيات تشوه متخصصة، بما في ذلك التشوه الصلب قدر الإمكان والتشوه متعدد التوافقيات. كما يوفر أداة تصور لعرض الأسطح والحقول العددية مع عناصر تحكم تفاعلية في المشهد واختيار الشبكة. تغطي المكتبة مجموعة واسعة من الإمكانيات بما في ذلك التحليل الهندسي للانحناء والمسافات الجيوديسية، وتوليد الشبكات عبر استخراج الأسطح المتساوية والتثليث، وإعادة بناء الشبكة من خلال التشويه متباين الخواص. كما تدعم عمليات الشبكة المنطقية، ومعاملة الأسطح، والتحسين العددي لحل معادلات لابلاس والبرامج التربيعية. تتضمن مجموعة الأدوات مرافق لاستيراد وتصدير تنسيقات هندسية ثلاثية الأبعاد متنوعة وتدعم التوافق مع Matlab لتنفيذ النصوص البرمجية ومشاركة المصفوفات.

ArrayFire هو إطار عمل حوسبة مستقل عن الأجهزة ومحرك مصفوفات مجمع فورياً (JIT) مصمم للحوسبة الرقمية عالية الأداء. يعمل كمكتبة حوسبة رقمية لوحدات معالجة الرسومات ومجموعة أدوات معالجة إشارات متوازية تجرد خلفيات الأجهزة، مما يسمح لنفس الكود بالتنفيذ عبر معماريات GPU و CPU مختلفة. يتميز المشروع بمحرك JIT يستخدم تجميع التعبيرات لدمج العمليات وتقليل عبء الذاكرة. يستخدم رسماً بيانياً للتنفيذ المؤجل لتحسين سلاسل الحسابات ويوفر أساسيات التشغيل البيني لمشاركة البيانات وسياقات التنفيذ مع منصات حوسبة خارجية مثل CUDA و OpenCL. تغطي المكتبة مجموعة واسعة من القدرات، بما في ذلك الجبر الخطي المتوازي، ومعالجة الإشارات الرقمية، ورؤية الحاسوب المسرعة. توفر أدوات لتنفيذ التعلم الآلي، ومحاكاة النمذجة المالية، وحل المعادلات التفاضلية الجزئية لمحاكاة الأنظمة الفيزيائية. يتعامل نظام إدارة المصفوفات الخاص بها مع تخصيص المصفوفات متعددة الأبعاد، والتقطيع، ونقل البيانات بين المضيف والجهاز.

هذا المشروع عبارة عن أداة كشط (scraper) لـ Sina Weibo وخط أنابيب بيانات لوسائل التواصل الاجتماعي مصمم لاستخراج ملفات تعريف المستخدمين، والمنشورات، والتعليقات، وأصول الوسائط المتعددة. يعمل كزاحف بيانات حاوي (containerized) يقوم بأتمتة جمع وتخزين محتوى وسائل التواصل الاجتماعي ومقاييس التفاعل محلياً. يتضمن النظام طبقة معالجة تستخدم نماذج لغوية كبيرة لتحليل النصوص المكتوبة، وتوليد ملخصات وتحليل للمشاعر. يتميز بنموذج حاوية جاهز للنشر يتميز بواجهة HTTP لإدارة مهام الاستخراج ومراقبة تقدم العمل. يغطي الزاحف مجموعة واسعة من الإمكانيات، بما في ذلك مراقبة وسائل التواصل الاجتماعي عبر تحديثات مجدولة تزايدية، وأرشفة أصول الوسائط المتعددة على الأقراص المحلية، وتصدير البيانات بتنسيقات متعددة إلى ملفات مسطحة أو قواعد بيانات. كما يلتقط التفاعلات الاجتماعية التفصيلية، مثل التعليقات من المستوى الأول وإعادة النشر.

Joblib هي مجموعة من الأدوات لموازاة أعباء العمل الحسابية وتحسين تخزين مجموعات البيانات الرقمية الكبيرة ونتائج الدوال. تعمل كمكتبة للحوسبة المتوازية ومغلف للمعالجة المتعددة (multiprocessing wrapper) يوزع تنفيذ الدوال عبر أنوية معالج متعددة لتسريع المهام المستقلة والحلقات الحسابية. يوفر المشروع إطار عمل للتخزين المؤقت على القرص يقوم بحفظ مخرجات الدوال المكلفة في نظام الملفات، وإعادة تقييمها فقط عند تغير وسائط الإدخال. كما يتخصص في تسلسل المصفوفات الرقمية الكبيرة، باستخدام ضغط فعال وتعيين الذاكرة لتحسين تخزين واسترجاع مجموعات البيانات الضخمة. تتضمن مجموعة الأدوات إمكانيات لتعيين الدوال المتوازية واستخدام خلفيات تنفيذ قابلة للتوصيل للتحكم في كيفية توزيع المهام عبر الأجهزة المتاحة. تغطي طبقة التخزين الخاصة بها استمرارية الكائنات المعقدة والضغط الشفاف للبيانات المتسلسلة.

CrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network

xtensor is a C++ multidimensional array library for numerical computing that provides N-dimensional containers with an interface mirroring the NumPy API. It utilizes a lazy evaluation expression engine to defer numerical computations until assignment, which minimizes memory allocations and intermediate copies. The library features a foreign memory array adaptor that allows it to wrap external buffers, such as NumPy arrays, to perform numerical operations in-place without duplicating data. It further optimizes performance through lazy broadcasting and a system that manages the lifetime of temp

This project is a NestJS testing boilerplate and reference implementation. It provides a structured monorepo workspace designed to demonstrate various architectural and testing patterns for NestJS applications. The project features a dockerized test environment and an integration testing framework. It includes a dedicated GraphQL API test suite to validate graph-based endpoints and schemas for queries and mutations. The suite covers a layered testing hierarchy consisting of unit, integration, and end-to-end tests. These capabilities extend across the application and data layers, including da