Awesome GitHub RepositoriesJavaScript-Rendered Content Extractors

Pholcus هو إطار عمل للزحف على الويب (Web Crawler) موزع مكتوب بلغة Go، مصمم لاستخراج البيانات بتزامن عالٍ. يعمل كمنسق زحف موزع ومحرك استخراج بيانات ديناميكي، مستخدماً معمارية خادم-عميل لتنسيق المهام عبر عقد متعددة. يدمج النظام محرك متصفح بدون واجهة رسومية (Headless browser) لعرض المحتوى الديناميكي وتنفيذ JavaScript، مما يسمح له باستخراج البيانات من تطبيقات الصفحة الواحدة. يتميز بواجهة إدارة قائمة على الويب لتكوين معلمات العنكبوت ومراقبة تقدم التنفيذ، إلى جانب القدرة على تحديث قواعد الاستخراج عبر ملفات التكوين ذات التحميل الساخن دون إعادة تشغيل النظام. تتم إدارة حركة المرور من خلال تدوير مجموعة الوكلاء (Proxy pool) وعشوائية الطلبات للتهرب من اكتشاف الروبوتات وتجنب حدود المعدل. يتضمن إطار العمل استعادة نقاط التحقق القائمة على الحالة لاستئناف المهام بعد الفشل، ويوفر محولات تخزين قابلة للتوصيل لتصدير البيانات المستخرجة إلى قواعد البيانات أو طوابير الرسائل أو الملفات.

Steel is a cloud browser automation platform that provides a REST API for launching and controlling remote Chrome browser sessions. It enables programmatic browsing and web scraping using standard automation tools like Puppeteer, Playwright, and Selenium, connecting to cloud-hosted browser instances via WebSocket and the Chrome DevTools Protocol. The platform supports both headless and headful browser sessions, with language-specific SDKs for TypeScript and Python. The service distinguishes itself through comprehensive anti-detection capabilities, including residential proxy rotation, CAPTCHA

Open Deep Research is an AI-powered web research agent that combines a reasoning model with live web search and data extraction to perform deep, multi-source investigations on any topic. It operates through a dual interface, offering both a command-line tool and a Model Context Protocol server, allowing developers to integrate web capabilities directly into AI agents and coding assistants. The project distinguishes itself by orchestrating an iterative research loop where a reasoning model plans steps, interprets search results, and guides subsequent web interactions. It uses Firecrawl for scr

X-Ray هو إطار عمل لكشط الويب ومزاحف ويب غير متزامن مصمم لاستخراج البيانات المهيكلة من المواقع. يعمل كمستخرج بيانات HTML يحول محتوى الصفحة الخام إلى مخطط محدد باستخدام محددات بنمط CSS. يطبق المشروع مزاحف متصفح بدون واجهة رسومية قادراً على تنفيذ JavaScript لعرض المحتوى الديناميكي. يتعامل مع اكتشاف محتوى الموقع من خلال استراتيجية زحف بالعرض أولاً واكتشاف الترقيم التلقائي لاجتياز مجموعات النتائج متعددة الصفحات. يدير إطار العمل خطوط أنابيب بيانات الويب باستخدام قائمة انتظار طلبات محدودة التزامن والتحكم في معدل الطلبات لتنظيم مكالمات الشبكة الصادرة. تتم معالجة النتائج المستخرجة عبر استمرارية البيانات القائمة على التدفق لمعالجة مجموعات البيانات الكبيرة دون تحميل ذاكرة النظام بشكل زائد.

هذا المشروع عبارة عن إطار عمل موزع لكشط الويب باستخدام Chrome بدون واجهة رسومية (headless). يعمل كمحرك عرض JavaScript يستخدم متصفحاً بدون واجهة لمعالجة الصفحات الديناميكية، واستخراج بيانات منظمة من مواقع الويب التي تتطلب تنفيذ JavaScript. تم تصميم النظام لجمع البيانات القابل للتوسع عبر عقد متعددة، باستخدام مزامنة المهام الموزعة وذاكرة التخزين المؤقت المشتركة لمنع العمل المكرر. ويتميز بالقدرة على محاكاة بيئات عميل محددة من خلال تكوين وكلاء المستخدم وأبعاد إطار العرض، مع التقاط أدلة بصرية مثل لقطات الشاشة للصفحات. يغطي إطار العمل إدارة شاملة للكشط، بما في ذلك جدولة الطلبات ذات الأولوية، والاجتياز بالعمق أولاً وبالعرض أولاً، والالتزام بملفات robots.txt وsitemap.xml. ويوفر أدوات لتحديد التزامن، ومراقبة الأحداث، وبث البيانات المستخرجة إلى تنسيقات CSV أو JSON.

CrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network

Scylla هو نظام لإدارة تجمعات وكيل HTTP وأتمتة استخراج الويب. يوفر خط أنابيب متخصصاً لاكتساب البيانات مصمماً لجمع مجموعات بيانات إنترنت واسعة النطاق لتدريب وضبط النماذج اللغوية الضخمة. يتميز المشروع ببوابة تدوير الوكيل التي تعين عناوين وكيل جديدة للطلبات الواردة لإخفاء حركة مرور الأصل وتجنب حظر IP. ويتضمن مديراً لتجمع الوكيل يتعامل مع الجمع، والتحقق الوظيفي، وتنسيق خوادم الوكيل، مكملاً بلوحة تحكم ويب لمراقبة صحة وتوزيع الشبكة الجغرافي. يدعم النظام استخراج المحتوى الديناميكي باستخدام زاحف متصفح بدون رأس (Headless browser) لالتقاط البيانات من مواقع الويب التي تعتمد على عرض JavaScript. كما يوفر واجهة JSON لإدارة الوكيل والتكامل مع أطر عمل الكشط الخارجية.