Awesome GitHub RepositoriesJavaScript Crawling Frameworks

Crawlee is a web scraping framework designed for building scalable, reliable, and distributed data extraction pipelines. It provides a unified interface for managing headless browser automation and lightweight HTTP requests, allowing developers to handle complex web navigation, dynamic content rendering, and large-scale data collection within a single, modular architecture. The project distinguishes itself through its resource-aware concurrency controller, which dynamically scales task execution based on real-time CPU and memory usage to prevent host machine exhaustion. It also features a rob

node-crawler is a programmable web crawler for Node.js that manages request queues and automates data extraction. It functions as a rate-limited HTTP client and a headless HTML parser, providing the infrastructure to visit large sets of URLs asynchronously while preventing duplicate processing through task deduplication. The project distinguishes itself through a proxy rotation manager that cycles user agents and proxy servers to bypass access restrictions. It utilizes the HTTP/2 protocol to improve request performance and server compatibility during large-scale scraping operations. The syst

X-Ray एक वेब स्क्रैपिंग फ्रेमवर्क और एसिंक्रोनस वेब क्रॉलर है जिसे वेबसाइटों से स्ट्रक्चर्ड डेटा निकालने के लिए डिज़ाइन किया गया है। यह एक HTML डेटा एक्सट्रैक्टर के रूप में काम करता है जो CSS-स्टाइल सिलेक्टर्स का उपयोग करके रॉ पेज कंटेंट को एक परिभाषित स्कीमा में बदल देता है। यह प्रोजेक्ट एक हेडलेस ब्राउज़र क्रॉलर को लागू करता है जो डायनामिक कंटेंट को रेंडर करने के लिए JavaScript को एग्जीक्यूट करने में सक्षम है। यह ब्रेड्थ-फर्स्ट क्रॉलिंग रणनीति और मल्टी-पेज रिजल्ट सेट्स को पार करने के लिए स्वचालित पेजिनेशन डिस्कवरी के माध्यम से वेबसाइट कंटेंट डिस्कवरी को संभालता है। यह फ्रेमवर्क कॉनकरेंसी-लिमिटेड रिक्वेस्ट क्यू और आउटगोइंग नेटवर्क कॉल्स को विनियमित करने के लिए रिक्वेस्ट रेट कंट्रोल का उपयोग करके वेब डेटा पाइपलाइन्स को मैनेज करता है।

Naabu is a port scanner library and tool that probes hosts for open ports using SYN, CONNECT, and UDP methods to identify active services. It functions as a Go library for embedding port scanning into programs, and as a standalone tool that accepts targets as hostnames, IP addresses, CIDR ranges, or ASN numbers. The tool discovers live hosts before scanning, filters ports by range or top lists, and can integrate with Nmap for service version detection. The project distinguishes itself through its SYN-based port probing approach that sends TCP SYN packets and analyzes responses without complet

यह प्रोजेक्ट एक डिस्ट्रीब्यूटेड हेडलेस Chrome वेब क्रॉलर और डेटा एक्सट्रैक्शन फ्रेमवर्क है। यह एक JavaScript रेंडरिंग इंजन के रूप में कार्य करता है जो डायनामिक पेजों को संसाधित करने के लिए हेडलेस ब्राउज़र का उपयोग करता है, उन वेबसाइटों से संरचित डेटा निकालता है जिन्हें JavaScript निष्पादन की आवश्यकता होती है। सिस्टम को कई नोड्स में स्केलेबल डेटा संग्रह के लिए डिज़ाइन किया गया है, जो डुप्लिकेट कार्य को रोकने के लिए डिस्ट्रीब्यूटेड टास्क सिंक्रोनाइज़ेशन और साझा कैश का उपयोग करता है। यह यूजर एजेंट और व्यूपोर्ट आयामों को कॉन्फ़िगर करके विशिष्ट क्लाइंट वातावरण का अनुकरण करने की क्षमता के माध्यम से खुद को अलग करता है, जबकि पेज स्क्रीनशॉट जैसे विज़ुअल साक्ष्य कैप्चर करता है।

Hakrawler is a command-line web spider tool designed for security reconnaissance, built to crawl target websites and extract hyperlinks along with JavaScript file references. As a focused reconnaissance utility, it collects every discoverable URL and script source from a given domain, mapping the attack surface for penetration testing and vulnerability assessment. The tool differentiates itself through its concurrent architecture: a fixed-size goroutine pool fetches pages in parallel, while CSS selectors parse HTML to extract anchor and script references. A depth-aware recursion limiter preve

LinkFinder is a security reconnaissance and static analysis tool designed for JavaScript endpoint discovery. It extracts absolute and relative URLs and parameters from JavaScript files to map the attack surface of web applications and identify hidden API routes. The tool operates through static code analysis and regular expression pattern matching to find endpoints without executing the source code. It includes a data processor for importing exported files from Burp Suite, enabling the batch analysis of multiple JavaScript assets in a single execution. The system provides capabilities for do

यह प्रोजेक्ट एक Node.js वेब स्क्रैपिंग फ्रेमवर्क है जिसे रिक्वेस्ट, पार्सिंग और डॉक्यूमेंट इंटरैक्शन के प्रोग्रामेटिक वर्कफ़्लो के माध्यम से डेटा निष्कर्षण को स्वचालित करने के लिए डिज़ाइन किया गया है। यह एक हेडलेस वेब क्रॉलर, एक HTTP रिक्वेस्ट मैनेजर, और एक DOM पार्सर और एक्सट्रैक्टर के रूप में कार्य करता है। फ्रेमवर्क डायनामिक सामग्री के साथ बातचीत करने के लिए एक JavaScript निष्पादन इंजन और CSS और XPath सिलेक्टर्स दोनों का उपयोग करने वाले एक हाइब्रिड चयन प्रणाली को जोड़कर खुद को अलग करता है। इसमें प्रमाणित स्थितियों को बनाए रखने और स्वचालित ट्रैफिक को प्रबंधित करने के लिए प्रॉक्सी रोटेशन और कुकी-जार सत्र प्रबंधन के लिए विशेष मिडलवेयर शामिल है। इसकी व्यापक क्षमताओं में रिकर्सिव लिंक क्रॉलिंग, पेजिनेशन हैंडलिंग और वेब फॉर्म ऑटोमेशन शामिल हैं। टूल ट्रैफिक प्रबंधन सुविधाएं भी प्रदान करता है जैसे कि समयबद्ध देरी के माध्यम से रिक्वेस्ट रेट लिमिटिंग और कस्टम HTTP हेडर कॉन्फ़िगरेशन।

scrape-it एक Node.js वेब स्क्रैपर और HTML पार्सर है जिसे वेबसाइटों और HTML फाइलों से स्ट्रक्चर्ड डेटा निकालने के लिए डिज़ाइन किया गया है। यह एक वेब डेटा एक्सट्रैक्शन टूल के रूप में कार्य करता है जो DOM एलिमेंट्स से विशिष्ट जानकारी प्राप्त करता है और वेब कंटेंट को उपयोगी डेटा फील्ड्स में बदलता है। यह टूल विशिष्ट डेटा पॉइंट्स को टारगेट करने के लिए CSS सिलेक्टर्स का उपयोग करता है और अनस्ट्रक्चर्ड वेब टेक्स्ट को एक सुसंगत फॉर्मेट में व्यवस्थित करने के लिए स्कीमा-संचालित डेटा मैपिंग का उपयोग करता है। यह रॉ एक्सट्रैक्टेड स्ट्रिंग्स को विशिष्ट डेटा फॉर्मेट में बदलने के लिए कस्टम वैल्यू ट्रांसफॉर्मेशन का समर्थन करता है। यह सिस्टम वेब डेटा एक्सट्रैक्शन और ऑटोमेटेड कंटेंट मैपिंग की क्षमताएं प्रदान करता है। यह URL, रॉ HTML स्ट्रिंग्स या लोकल फाइल सिस्टम स्टोरेज से प्राप्त HTML कंटेंट को पार्स कर सकता है, और डायनामिक वेब पेजों से कंटेंट प्रोसेस करने के लिए हेडलेस ब्राउज़र्स के साथ इंटीग्रेट होता है।

Scraperjs is a JavaScript web scraping library and headless browser automation tool designed to extract structured data from both static HTML and JavaScript-rendered websites. It functions as an asynchronous scraping workflow orchestrator and a selector-based engine for transforming unstructured web content into usable data. The library distinguishes itself by managing a shared browser instance across multiple tasks to optimize resource usage and reduce startup latency. It supports custom script injection into sandboxed browser environments to manipulate the DOM or execute browser-side logic

simplecrawler is designed to provide a basic, flexible and robust API for crawling websites. It was written to archive, analyse, and search some very large websites and has happily chewed through hundreds of thousands of pages and written tens of gigabytes to disk without issue.

Web Scraper is a chrome browser extension built for data extraction from web pages. Using this extension you can create a plan (sitemap) how a web site should be traversed and what should be extracted. Using these sitemaps the Web Scraper will navigate the site accordingly and extract all data.…

Webster is a reliable web crawling and scraping framework written with Node.js, used to crawl websites and extract structured data from their pages.

Supercrawler is a Node.js web crawler. It is designed to be highly configurable and easy to use.

js-crawler

Squidwarc is a high fidelity, user scriptable, archival crawler that uses Chrome or Chromium with or without a head.