Awesome GitHub RepositoriesExtracted Data Storage

CrawlerTutorial is a comprehensive Python web scraping tutorial and framework designed for extracting data from static and dynamic websites. It functions as a web data extraction pipeline and an HTTP request orchestrator, covering the full lifecycle of scraping applications from initial fetching to final data storage. The project provides specialized guidance on anti-bot bypass techniques and web API reverse engineering. It includes methods for evading browser detection through identity masking and proxy rotation, as well as techniques for identifying hidden API endpoints by analyzing network

هذا المشروع هو إطار عمل لكشط الويب (web scraping) مبني على Node.js مصمم لأتمتة استخراج البيانات من خلال سير عمل برمجي للطلبات، والتحليل، وتفاعل المستندات. يعمل كزاحف ويب بدون رأس (headless)، ومدير طلبات HTTP، ومحلل ومستخرج DOM. يتميز إطار العمل بدمج محرك تنفيذ JavaScript للتفاعل مع المحتوى الديناميكي ونظام اختيار هجين يستخدم كلاً من محددات CSS وXPath. يتضمن برمجيات وسيطة (middleware) متخصصة لتدوير الوكيل (proxy rotation) وإدارة جلسة ملفات تعريف الارتباط للحفاظ على الحالات المصادق عليها وإدارة حركة المرور المؤتمتة. تغطي قدراته الأوسع زحف الروابط المتكرر، ومعالجة الترقيم، وأتمتة نماذج الويب. توفر الأداة أيضاً ميزات إدارة حركة المرور مثل تحديد معدل الطلبات من خلال تأخيرات زمنية وتكوين رؤوس HTTP مخصصة.