Awesome GitHub RepositoriesWeb Data Scraping

Helium هي مكتبة Python وغلاف عالي المستوى لـ Selenium مصمم لأتمتة المتصفح، واختبار واجهة المستخدم الوظيفي، وكشط الويب. توفر واجهة مبسطة للتفاعل مع تطبيقات الويب عبر محركات متصفح مختلفة. تتميز المكتبة بالسماح للمستخدمين بتحديد والتفاعل مع عناصر الويب باستخدام تسميات نصية مرئية بدلاً من الاعتماد حصرياً على المعرفات التقنية مثل XPaths أو محددات CSS. يتيح هذا النهج إنشاء نصوص أتمتة قائمة على تسميات يمكن للبشر قراءتها. تغطي مجموعة الأدوات مجموعة واسعة من قدرات أتمتة المتصفح، بما في ذلك التفاعل مع العناصر، والمزامنة عبر انتظار حالة الصفحة، وإدارة النوافذ والنوافذ المنبثقة. تدعم إجراءات واجهة المستخدم المعقدة مثل إرفاق الملفات وعمليات السحب والإفلات، بالإضافة إلى استخراج العناصر بالجملة لجمع البيانات. تشمل الأدوات الإضافية التفاعل الآلي مع iFrames المتداخلة والتقاط لقطات شاشة للصفحة.

This project is an administrative GIS toolset that provides a comprehensive dataset of China's administrative divisions, including provinces, cities, districts, and townships. It functions as a coordinate system transformer and a boundary converter for transforming geographic data into standard formats. The toolset distinguishes itself through the ability to convert administrative boundary data between CSV, GeoJSON, Shapefiles, and SQL. It includes specialized utilities for coordinate system transformation between GCJ-02, BD-09, WGS-84, and CGCS2000 standards to ensure accuracy across differe

This project is a Model Context Protocol server that connects large language models to web scraping and crawling tools. It functions as a bridge, allowing LLM clients to utilize a web crawling engine and scraping utilities to extract and process web data. The server integrates a markdown web converter that transforms dynamic web pages and PDF documents into clean markdown to optimize consumption by AI models. It also provides a browser automation interface for controlling headless sessions and bypassing access restrictions. The system covers broad capabilities including large-scale website d

ECommerceCrawlers is an educational collection of Python-based crawler scripts designed to extract data from a variety of public websites, including e-commerce platforms, social media sites, news outlets, and multimedia sources. The project serves as a learning resource for web scraping techniques, offering ready-to-run examples that demonstrate practical data extraction methods. The toolkit covers a broad range of data types, including product listings and prices from online retail platforms, public posts and profiles from social networking sites, articles from news and blogging platforms, p

هذا المشروع عبارة عن مجموعة من سكربتات Python وأمثلة برمجية مصممة لتعلم أساسيات البرمجة من خلال التطبيق العملي. يعمل المشروع كأداة لجمع البيانات من الويب (Web Scraping) وأتمتة المتصفح، بالإضافة إلى مكتبة من الأدوات المساعدة لمعالجة البيانات. يحتوي المستودع على سكربتات لمحاكاة تفاعلات المستخدم لأتمتة المهام المتكررة على الويب وعمليات الحجز عبر الإنترنت. كما يوفر قاعدة بيانات منظمة للتقسيمات الإدارية، بما في ذلك المحافظات والمدن والمناطق، لإدارة البيانات الجغرافية والتحقق من العناوين. تغطي المجموعة إمكانيات استخراج البيانات المهيكلة والصور من المواقع باستخدام برامج تشغيل المتصفح وطلبات الشبكة. كما تتعامل أدوات إضافية مع معالجة ملفات جداول البيانات وإدارة أرشيفات الملفات المضغوطة.

هذا المشروع عبارة عن مجموعة شاملة من مواد تعليم برمجة Python، بما في ذلك البرامج التعليمية، والتمارين، وعينات الكود المنسقة. يعمل كمنهج تعليمي ومجموعة أدوات هندسة برمجيات، باستخدام Jupyter Notebooks لدمج الكود القابل للتنفيذ مع نص تعليمي وصفي. يوفر المستودع أدلة تنفيذ عملية لبناء تطبيقات نماذج لغوية كبيرة، مثل أنظمة التوليد المعزز بالاسترجاع، ووكلاء الذكاء الاصطناعي ذوي الحالة، وسير عمل التعلم الآلي. يتميز بتقديم نهج منظم لسير عمل الترميز الوكيل، وتغطية تقطير نافذة السياق، وتوجيه النموذج المستقل عن المزود، والمخرجات المهيكلة المفروضة بالمخطط. تغطي المواد مجموعة واسعة من قدرات هندسة البرمجيات، بما في ذلك البرمجة غير المتزامنة مع طوابير المهام الموزعة، وتطوير تطبيقات الويب مع REST APIs، وسير عمل تحليل البيانات. كما يتضمن موارد لإتقان التصميم الموجه للكائنات، وتنفيذ خطوط أنابيب CI/CD، وتطبيق معايير التنسيق والتدقيق المهنية.

هذا المشروع هو مورد لاكتشاف المصادر المفتوحة يوفر قوائم منسقة من الأكواد والمكتبات القابلة لإعادة الاستخدام لمساعدة المطورين في العثور على حلول تقنية لمهام محددة. يستخدم نظام فهرسة يعتمد على الفئات لتنظيم أدوات برمجية متنوعة حسب إمكانياتها الوظيفية. تم هيكلة المستودع كمجموعة من الوثائق القائمة على Markdown والمحتوى الثابت، ليكون بمثابة دليل للاكتشاف اليدوي والمرجعي. يغطي الدليل مجموعة واسعة من مجالات القدرات، بما في ذلك تطوير التطبيقات عبر المنصات، وإنشاء أدوات الأمن السيبراني، وتنفيذ بروتوكولات الشبكة، وسير عمل الحوسبة العلمية. كما يتضمن موارد لأتمتة استخراج بيانات الويب، وتخزين البيانات، وواجهات الوسائط المتعددة.

هذا المشروع عبارة عن مجموعة من تطبيقات Python لكشط الويب، واعتراض حركة مرور الشبكة، وتحليل البيانات، وتحليل المشاعر. يوفر طرقاً لاستخراج البيانات المهيكلة من مواقع الويب وواجهات تطبيقات الهاتف المحمول. تتضمن المجموعة أدوات لالتقاط وتحليل حزم الشبكة من تطبيقات الهاتف المحمول لتحديد نقاط نهاية API الداخلية المخفية. كما تتميز بنصوص برمجية لتقييم النبرة العاطفية والتصور العام لبيانات النصوص. يغطي المشروع معالجة وتحويل مجموعات البيانات الكبيرة، بالإضافة إلى إنشاء المخططات والرسوم البيانية لتحديد الاتجاهات والأنماط الديموغرافية.

Mechanize هي مكتبة Ruby لأتمتة متصفح الويب ومحاكاة المتصفح بدون واجهة رسومية (headless). تسمح بالتنقل برمجياً في المواقع الإلكترونية ومحاكاة سلوك الإنسان دون الحاجة إلى واجهة مستخدم رسومية. توفر المكتبة واجهة آلية لملء وإرسال نماذج الويب، بما في ذلك حقول النصوص، ومربعات الاختيار، ورفع الملفات. تدير الجلسات ذات الحالة عن طريق تخزين وإرسال ملفات تعريف الارتباط (cookies) تلقائياً عبر طلبات متعددة للحفاظ على مصادقة المستخدم وهويته. تشمل القدرات الإضافية كشط بيانات الويب (web scraping)، والقدرة على تنزيل محتوى الويب البعيد، والحفاظ على سجل تنقل زمني لتتبع الصفحات التي تمت زيارتها. تقوم المكتبة بتحليل استجابات HTML إلى نموذج كائن منظم لتمكين الاستعلام البرمجي والتفاعل مع عناصر الصفحة.

img2dataset هو خط معالجة عالي الأداء لمجموعات بيانات الصور وأداة معالجة مسبقة مصممة لتنزيل ومعالجة ملايين الصور من روابط URL لتدريب تعلم الآلة. يعمل كأداة تنزيل صور موزعة ومصدر بيانات للتخزين السحابي، حيث ينقل مجموعات البيانات البصرية الكبيرة من مصادر الويب مباشرة إلى تنسيقات مهيكلة. يعطي النظام الأولوية للحصول على البيانات ذات الإنتاجية العالية من خلال توزيع أحمال العمل عبر أنوية CPU متعددة وأجهزة متعددة. يتكامل مباشرة مع حاويات التخزين السحابي البعيدة ويستخدم نظام تتبع قائماً على البيان (manifest-based) لاستئناف التنزيلات المتقطعة دون إعادة معالجة البيانات الموجودة. توفر الأداة مجموعة معالجة مسبقة كاملة لإعداد مجموعات بيانات تعلم الآلة، بما في ذلك تغيير حجم الصور، والقص، وترشيح الخصائص بناءً على الحجم أو نسبة العرض إلى الارتفاع. كما تتحقق من سلامة الصور عبر مقارنة الهاش (hash) وتضمن الامتثال لتوجيهات الروبوتات أثناء سير عمل الكشط (scraping). تم تنفيذ المشروع بلغة Python.

DotnetSpider هو إطار عمل لزحف الويب في .NET وأداة لاستخراج البيانات بلغة C# مصممة لاكتشاف صفحات الويب تلقائياً واسترجاع البيانات المهيكلة من الإنترنت على نطاق واسع. يعمل كمكتبة عالية المستوى لكشط الويب لجمع المعلومات من مواقع ويب مختلفة. يوفر إطار العمل إمكانيات لزحف الويب الآلي وكشط البيانات على نطاق واسع. وهو يتيح استخراج محتوى الويب لتسهيل إنشاء قواعد بيانات محلية أو تحليل المعلومات عبر الإنترنت من خلال أتمتة الويب البرمجية داخل نظام .NET البيئي. يستخدم النظام نموذج معالجة بيانات قائماً على خطوط الأنابيب مع معالجة الطلبات غير المتزامنة وتنفيذ العمال المتزامن. ويتميز بجدول مهام قائم على الطوابير، ومزودي تخزين معياريين، وتنفيذ موجه نحو الواجهات لمنطق الكشط المخصص.

This project is a Python quantitative finance library designed for gathering, manipulating, and analyzing stock market data. It provides a suite of tools for quantitative stock analysis, including an equity screening framework for filtering stocks based on technical and fundamental criteria. The library features a machine learning price predictor for classifying stock movements and forecasting future price directions. It also includes a financial technical analysis tool to calculate indicators such as Bollinger Bands, RSI, and MACD, alongside an algorithmic trading simulator for testing portf

Scraperjs is a JavaScript web scraping library and headless browser automation tool designed to extract structured data from both static HTML and JavaScript-rendered websites. It functions as an asynchronous scraping workflow orchestrator and a selector-based engine for transforming unstructured web content into usable data. The library distinguishes itself by managing a shared browser instance across multiple tasks to optimize resource usage and reduce startup latency. It supports custom script injection into sandboxed browser environments to manipulate the DOM or execute browser-side logic

This project is a web scraping and automation tool designed to collect public data from Instagram and perform automated social media interactions. It functions by gathering profile details, captions, media files, and engagement metrics directly from web pages, bypassing the need for official developer interfaces or platform-specific credentials. The tool distinguishes itself by combining data extraction with automated engagement capabilities. It allows users to programmatically interact with content by liking posts that match specific search criteria or hashtags, aiming to increase account vi