Awesome GitHub RepositoriesDistributed Crawl Coordination

Firecrawl is a web data extraction platform designed to convert unstructured web content into clean, LLM-ready formats like markdown or JSON. It functions as an autonomous web crawler and scraper, capable of mapping entire domains, performing recursive navigation, and executing complex data gathering tasks. By leveraging headless browser orchestration, the system handles dynamic, JavaScript-heavy pages to ensure comprehensive data capture. The platform distinguishes itself through its focus on agentic workflows, providing a programmatic interface that allows autonomous agents to perform live

This project is a comprehensive educational guide and framework for building web scrapers using Python. It provides a course-based approach to data extraction, combining a Python crawler framework with tutorials on web reverse engineering and network traffic analysis. The project distinguishes itself by covering advanced extraction challenges, including the decryption of obfuscated JavaScript and the bypass of anti-scraping measures. It specifically addresses mobile application scraping through the simulation of user interactions and the interception of network traffic. The capability surfac

PySpider is a Python web crawling framework designed for automated data extraction. It provides a pipeline for periodically fetching web content, processing HTML, and persisting scraped information into database backends. The system features a web-based management interface for editing scraping scripts, monitoring task progress, and reviewing collected data. It includes a headless browser JavaScript renderer to capture rendered HTML from dynamic web pages and a distributed architecture that uses message queues to scale crawling workloads across multiple nodes. The framework also covers task

Pholcus هو إطار عمل للزحف على الويب (Web Crawler) موزع مكتوب بلغة Go، مصمم لاستخراج البيانات بتزامن عالٍ. يعمل كمنسق زحف موزع ومحرك استخراج بيانات ديناميكي، مستخدماً معمارية خادم-عميل لتنسيق المهام عبر عقد متعددة. يدمج النظام محرك متصفح بدون واجهة رسومية (Headless browser) لعرض المحتوى الديناميكي وتنفيذ JavaScript، مما يسمح له باستخراج البيانات من تطبيقات الصفحة الواحدة. يتميز بواجهة إدارة قائمة على الويب لتكوين معلمات العنكبوت ومراقبة تقدم التنفيذ، إلى جانب القدرة على تحديث قواعد الاستخراج عبر ملفات التكوين ذات التحميل الساخن دون إعادة تشغيل النظام. تتم إدارة حركة المرور من خلال تدوير مجموعة الوكلاء (Proxy pool) وعشوائية الطلبات للتهرب من اكتشاف الروبوتات وتجنب حدود المعدل. يتضمن إطار العمل استعادة نقاط التحقق القائمة على الحالة لاستئناف المهام بعد الفشل، ويوفر محولات تخزين قابلة للتوصيل لتصدير البيانات المستخرجة إلى قواعد البيانات أو طوابير الرسائل أو الملفات.

Scrapy-Redis is a library that transforms Scrapy into a distributed web crawling framework by replacing its in-memory scheduler with a Redis-backed component. This allows multiple Scrapy spider workers to coordinate through a shared request queue, enabling them to consume URLs concurrently while a Redis set tracks seen URLs across all workers to prevent duplicate crawls. The system persists crawl state—including pending requests and already-crawled URLs—in Redis, so a paused or crashed spider can resume from where it left off without losing progress. The library provides a Redis-based duplica