Awesome GitHub RepositoriesDynamic Content Extraction

Pholcus هو إطار عمل للزحف على الويب (Web Crawler) موزع مكتوب بلغة Go، مصمم لاستخراج البيانات بتزامن عالٍ. يعمل كمنسق زحف موزع ومحرك استخراج بيانات ديناميكي، مستخدماً معمارية خادم-عميل لتنسيق المهام عبر عقد متعددة. يدمج النظام محرك متصفح بدون واجهة رسومية (Headless browser) لعرض المحتوى الديناميكي وتنفيذ JavaScript، مما يسمح له باستخراج البيانات من تطبيقات الصفحة الواحدة. يتميز بواجهة إدارة قائمة على الويب لتكوين معلمات العنكبوت ومراقبة تقدم التنفيذ، إلى جانب القدرة على تحديث قواعد الاستخراج عبر ملفات التكوين ذات التحميل الساخن دون إعادة تشغيل النظام. تتم إدارة حركة المرور من خلال تدوير مجموعة الوكلاء (Proxy pool) وعشوائية الطلبات للتهرب من اكتشاف الروبوتات وتجنب حدود المعدل. يتضمن إطار العمل استعادة نقاط التحقق القائمة على الحالة لاستئناف المهام بعد الفشل، ويوفر محولات تخزين قابلة للتوصيل لتصدير البيانات المستخرجة إلى قواعد البيانات أو طوابير الرسائل أو الملفات.

PythonSpiderNotes is a comprehensive instructional resource and framework for building web crawlers and extracting data using the Python programming language. It provides a set of methods for parsing unstructured HTML and JSON data into structured formats for persistent storage. The project includes detailed guides and tutorials on browser automation for retrieving dynamic content, as well as a framework for data extraction. It specifically covers anti-bot bypass techniques, such as rotating proxies and spoofing headers, to avoid IP blocks and detection systems. The capability surface extend

هذا المشروع هو إطار عمل لكشط الويب (web scraping) مبني على Node.js مصمم لأتمتة استخراج البيانات من خلال سير عمل برمجي للطلبات، والتحليل، وتفاعل المستندات. يعمل كزاحف ويب بدون رأس (headless)، ومدير طلبات HTTP، ومحلل ومستخرج DOM. يتميز إطار العمل بدمج محرك تنفيذ JavaScript للتفاعل مع المحتوى الديناميكي ونظام اختيار هجين يستخدم كلاً من محددات CSS وXPath. يتضمن برمجيات وسيطة (middleware) متخصصة لتدوير الوكيل (proxy rotation) وإدارة جلسة ملفات تعريف الارتباط للحفاظ على الحالات المصادق عليها وإدارة حركة المرور المؤتمتة. تغطي قدراته الأوسع زحف الروابط المتكرر، ومعالجة الترقيم، وأتمتة نماذج الويب. توفر الأداة أيضاً ميزات إدارة حركة المرور مثل تحديد معدل الطلبات من خلال تأخيرات زمنية وتكوين رؤوس HTTP مخصصة.

Scraperjs is a JavaScript web scraping library and headless browser automation tool designed to extract structured data from both static HTML and JavaScript-rendered websites. It functions as an asynchronous scraping workflow orchestrator and a selector-based engine for transforming unstructured web content into usable data. The library distinguishes itself by managing a shared browser instance across multiple tasks to optimize resource usage and reduce startup latency. It supports custom script injection into sandboxed browser environments to manipulate the DOM or execute browser-side logic

This project is an Amazon web scraper and e-commerce data extractor designed to retrieve product names, prices, and ratings. It functions as a headless browser crawler that converts unstructured web content from product listings into structured JSON and CSV formats. The tool incorporates anti-bot bypass capabilities to circumvent CAPTCHAs and security challenges. It achieves this through the use of residential proxy integration, automatic proxy rotation, and the modification of browser fingerprints to simulate human interaction patterns. The system provides broad web scraping capabilities, i

This project is a web scraping and automation tool designed to collect public data from Instagram and perform automated social media interactions. It functions by gathering profile details, captions, media files, and engagement metrics directly from web pages, bypassing the need for official developer interfaces or platform-specific credentials. The tool distinguishes itself by combining data extraction with automated engagement capabilities. It allows users to programmatically interact with content by liking posts that match specific search criteria or hashtags, aiming to increase account vi