Awesome GitHub RepositoriesData Extraction

Changedetection.io is a self-hosted monitoring service designed to track web pages for content updates and notify users of changes. It functions as a centralized platform where users can manage tracking tasks, observe specific website elements, and receive automated alerts through various communication channels whenever modifications are detected. The service distinguishes itself through an integrated headless browser engine that executes interaction sequences, such as logins or form submissions, to access dynamic or restricted content. It maintains a historical record of page snapshots, util

Katana is a web crawler and spider designed for security reconnaissance and web application mapping. It functions as a utility for identifying endpoints, forms, and API structures across web targets by combining standard HTTP request traversal with headless browser automation to render dynamic, JavaScript-heavy content. The tool distinguishes itself through its ability to maintain authenticated sessions and handle complex web interactions, such as automated form submission and captcha resolution. It provides granular control over the discovery process, allowing users to define specific crawl

Photon is a command-line web crawler designed for security reconnaissance and information gathering. It systematically traverses websites to discover URLs, map domain infrastructure, and identify associated subdomains by retrieving DNS records. The tool distinguishes itself through its ability to perform deep content analysis, including the extraction of sensitive data such as API keys and authentication tokens using user-defined regular expressions. It supports offline inspection by cloning crawled web content to the local filesystem, allowing for structural analysis without additional netwo

Firefox is a cross-platform web browser engine designed to render web content, execute JavaScript, and manage secure browsing sessions. It utilizes a multi-process isolation architecture that distributes browser tasks across independent operating system processes to ensure stability and prevent site-specific failures from impacting the entire application. The engine incorporates a sandboxed execution environment to restrict web content and untrusted scripts to isolated memory compartments, enforcing security policies that prevent unauthorized access to system resources. The project distinguis

weiboSpider is a Python web scraper and social media crawler designed to extract user profiles, posts, and engagement metrics from Sina Weibo. It functions as an automated data pipeline for academic research and trend analysis, collecting long-form text and multimedia content. The tool distinguishes itself through the use of browser session cookies to authenticate requests and access protected profiles. It implements randomized request pacing and global pauses to manage traffic and avoid platform rate limits, while supporting incremental crawling to capture only new content based on timestamp

Pholcus هو إطار عمل للزحف على الويب (Web Crawler) موزع مكتوب بلغة Go، مصمم لاستخراج البيانات بتزامن عالٍ. يعمل كمنسق زحف موزع ومحرك استخراج بيانات ديناميكي، مستخدماً معمارية خادم-عميل لتنسيق المهام عبر عقد متعددة. يدمج النظام محرك متصفح بدون واجهة رسومية (Headless browser) لعرض المحتوى الديناميكي وتنفيذ JavaScript، مما يسمح له باستخراج البيانات من تطبيقات الصفحة الواحدة. يتميز بواجهة إدارة قائمة على الويب لتكوين معلمات العنكبوت ومراقبة تقدم التنفيذ، إلى جانب القدرة على تحديث قواعد الاستخراج عبر ملفات التكوين ذات التحميل الساخن دون إعادة تشغيل النظام. تتم إدارة حركة المرور من خلال تدوير مجموعة الوكلاء (Proxy pool) وعشوائية الطلبات للتهرب من اكتشاف الروبوتات وتجنب حدود المعدل. يتضمن إطار العمل استعادة نقاط التحقق القائمة على الحالة لاستئناف المهام بعد الفشل، ويوفر محولات تخزين قابلة للتوصيل لتصدير البيانات المستخرجة إلى قواعد البيانات أو طوابير الرسائل أو الملفات.

pydoll is a Chrome DevTools Protocol automation library and headless browser controller used for web data extraction and parallel browser automation. It controls Chromium-based browsers via direct WebSocket connections, allowing it to manage isolated browser contexts and tabs while bypassing the overhead and detection associated with WebDriver. The project features an anti-bot evasion framework that mimics natural human behavior, including mouse movements generated via Bezier curves and variable typing patterns. It provides specialized stealth capabilities to bypass behavioral analysis and au

Steel is a cloud browser automation platform that provides a REST API for launching and controlling remote Chrome browser sessions. It enables programmatic browsing and web scraping using standard automation tools like Puppeteer, Playwright, and Selenium, connecting to cloud-hosted browser instances via WebSocket and the Chrome DevTools Protocol. The platform supports both headless and headful browser sessions, with language-specific SDKs for TypeScript and Python. The service distinguishes itself through comprehensive anti-detection capabilities, including residential proxy rotation, CAPTCHA

Open Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr

X-Ray هو إطار عمل لكشط الويب ومزاحف ويب غير متزامن مصمم لاستخراج البيانات المهيكلة من المواقع. يعمل كمستخرج بيانات HTML يحول محتوى الصفحة الخام إلى مخطط محدد باستخدام محددات بنمط CSS. يطبق المشروع مزاحف متصفح بدون واجهة رسومية قادراً على تنفيذ JavaScript لعرض المحتوى الديناميكي. يتعامل مع اكتشاف محتوى الموقع من خلال استراتيجية زحف بالعرض أولاً واكتشاف الترقيم التلقائي لاجتياز مجموعات النتائج متعددة الصفحات. يدير إطار العمل خطوط أنابيب بيانات الويب باستخدام قائمة انتظار طلبات محدودة التزامن والتحكم في معدل الطلبات لتنظيم مكالمات الشبكة الصادرة. تتم معالجة النتائج المستخرجة عبر استمرارية البيانات القائمة على التدفق لمعالجة مجموعات البيانات الكبيرة دون تحميل ذاكرة النظام بشكل زائد.

هذا المشروع عبارة عن إطار عمل موزع لكشط الويب باستخدام Chrome بدون واجهة رسومية (headless). يعمل كمحرك عرض JavaScript يستخدم متصفحاً بدون واجهة لمعالجة الصفحات الديناميكية، واستخراج بيانات منظمة من مواقع الويب التي تتطلب تنفيذ JavaScript. تم تصميم النظام لجمع البيانات القابل للتوسع عبر عقد متعددة، باستخدام مزامنة المهام الموزعة وذاكرة التخزين المؤقت المشتركة لمنع العمل المكرر. ويتميز بالقدرة على محاكاة بيئات عميل محددة من خلال تكوين وكلاء المستخدم وأبعاد إطار العرض، مع التقاط أدلة بصرية مثل لقطات الشاشة للصفحات. يغطي إطار العمل إدارة شاملة للكشط، بما في ذلك جدولة الطلبات ذات الأولوية، والاجتياز بالعمق أولاً وبالعرض أولاً، والالتزام بملفات robots.txt وsitemap.xml. ويوفر أدوات لتحديد التزامن، ومراقبة الأحداث، وبث البيانات المستخرجة إلى تنسيقات CSV أو JSON.

هذا المشروع عبارة عن أداة كشط (scraper) لـ Sina Weibo وخط أنابيب بيانات لوسائل التواصل الاجتماعي مصمم لاستخراج ملفات تعريف المستخدمين، والمنشورات، والتعليقات، وأصول الوسائط المتعددة. يعمل كزاحف بيانات حاوي (containerized) يقوم بأتمتة جمع وتخزين محتوى وسائل التواصل الاجتماعي ومقاييس التفاعل محلياً. يتضمن النظام طبقة معالجة تستخدم نماذج لغوية كبيرة لتحليل النصوص المكتوبة، وتوليد ملخصات وتحليل للمشاعر. يتميز بنموذج حاوية جاهز للنشر يتميز بواجهة HTTP لإدارة مهام الاستخراج ومراقبة تقدم العمل. يغطي الزاحف مجموعة واسعة من الإمكانيات، بما في ذلك مراقبة وسائل التواصل الاجتماعي عبر تحديثات مجدولة تزايدية، وأرشفة أصول الوسائط المتعددة على الأقراص المحلية، وتصدير البيانات بتنسيقات متعددة إلى ملفات مسطحة أو قواعد بيانات. كما يلتقط التفاعلات الاجتماعية التفصيلية، مثل التعليقات من المستوى الأول وإعادة النشر.

CrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network

Scylla هو نظام لإدارة تجمعات وكيل HTTP وأتمتة استخراج الويب. يوفر خط أنابيب متخصصاً لاكتساب البيانات مصمماً لجمع مجموعات بيانات إنترنت واسعة النطاق لتدريب وضبط النماذج اللغوية الضخمة. يتميز المشروع ببوابة تدوير الوكيل التي تعين عناوين وكيل جديدة للطلبات الواردة لإخفاء حركة مرور الأصل وتجنب حظر IP. ويتضمن مديراً لتجمع الوكيل يتعامل مع الجمع، والتحقق الوظيفي، وتنسيق خوادم الوكيل، مكملاً بلوحة تحكم ويب لمراقبة صحة وتوزيع الشبكة الجغرافي. يدعم النظام استخراج المحتوى الديناميكي باستخدام زاحف متصفح بدون رأس (Headless browser) لالتقاط البيانات من مواقع الويب التي تعتمد على عرض JavaScript. كما يوفر واجهة JSON لإدارة الوكيل والتكامل مع أطر عمل الكشط الخارجية.

This project is an unauthenticated web scraper designed to extract public data from the Twitter frontend API. It functions as a social media data extractor that simulates browser requests to gather information without the need for official API keys or user account authentication. The tool provides capabilities for gathering public posts, harvesting user profile metadata such as biographies and locations, and retrieving trending topics categorized by geographical region. It can perform targeted content scraping based on specific usernames, hashtags, or search queries. The system manages data