2 مستودعات
Awesome GitHub RepositoriesConditional Crawl Termination
Immediate halting of a crawling process upon meeting a specific data target or condition.
Distinct from Conditional Task Execution: Focuses on the absolute termination of the crawl process rather than just skipping a task.
Explore 2 awesome GitHub repositories matching development tools & productivity · Conditional Crawl Termination. Refine with filters or upvote what's useful.
Awesome Conditional Crawl Termination GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- apify/crawlee-python
apify/crawlee-python
8,097عرض على GitHubCrawlee-python is a web crawling framework for building scalable scrapers using Python. It serves as a comprehensive tool for web scraping automation, providing a system to extract structured data from websites using both lightweight HTTP requests and headless browser automation. The framework is distinguished by its anti-bot evasion capabilities, which include browser fingerprint impersonation and tiered proxy rotation to bypass detection systems and solve challenges such as Cloudflare. It also incorporates artificial intelligence for autonomous website navigation and schema-based data extra
Stops the crawling process immediately when a specific condition or target data point is found.
Pythonapifyautomationbeautifulsoup - ericniebler/range-v3
ericniebler/range-v3
4,367عرض على GitHubهذه مكتبة C++ ranges وامتداد لمكتبة القوالب القياسية (STL) توفر مجموعة من الخوارزميات القابلة للتركيب وطرق العرض الكسولة (lazy views) لمعالجة تسلسلات البيانات. تعمل كإطار عمل لمعالجة التسلسل الكسول ومكتبة للبرمجة الوصفية للقوالب لمعالجة قوائم الأنواع وإجراء حسابات الأنواع في وقت التجميع. يمكّن المشروع أنماط البرمجة الوظيفية في C++ من خلال استخدام بناء جملة الأنابيب (pipe syntax) والتطبيق الجزئي لإنشاء سلاسل تحويل بيانات مقروءة من اليسار إلى اليمين. ويسمح ببناء خطوط أنابيب بيانات كسولة تقوم بتصفية وتحويل العناصر عند الطلب لتقليل حمل الذاكرة وتجنب النسخ غير الضروري. تغطي المكتبة مجالات قدرات واسعة بما في ذلك معالجة التسلسل، ومعالجة الأنواع في وقت التجميع، وتنفيذ أنواع النطاقات والمكررات المخصصة. وتوفر أدوات لطفرة الحاويات في المكان (eager in-place)، وإرسال الخوارزمية القائم على الإسقاط، وإدارة قوائم الأنواع من خلال سلسلة من الكائنات القابلة للاستدعاء على مستوى النوع.
Enables algorithms to terminate immediately based on specific predicates or sentinel values without requiring the sequence length.
C++
