7 مستودعات
Awesome GitHub RepositoriesRuby Crawling Frameworks
Web scraping and crawling gems for the Ruby ecosystem.
Explore 7 awesome GitHub repositories matching part of an awesome list · Ruby Crawling Frameworks. Refine with filters or upvote what's useful.
Awesome Ruby Crawling Frameworks GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- sparklemotion/nokogiri
sparklemotion/nokogiri
6,236عرض على GitHubNokogiri is an XML and HTML parsing library that builds navigable document trees from strings, files, or URLs using native C parsers for speed and standards compliance. It provides a CSS selector engine that translates CSS3 selectors into XPath expressions for querying nodes, an XPath query interface with namespace support, a document manipulation toolkit for modifying parsed documents, XSD schema validation, and XSLT transformation capabilities. The library wraps libxml2 and libxslt C libraries with Ruby bindings for high-performance parsing, and integrates Google's Gumbo parser for standard
HTML/XML parser with XPath and CSS support.
Clibxml2libxsltnokogiri - sparklemotion/mechanize
sparklemotion/mechanize
4,443عرض على GitHubMechanize هي مكتبة Ruby لأتمتة متصفح الويب ومحاكاة المتصفح بدون واجهة رسومية (headless). تسمح بالتنقل برمجياً في المواقع الإلكترونية ومحاكاة سلوك الإنسان دون الحاجة إلى واجهة مستخدم رسومية. توفر المكتبة واجهة آلية لملء وإرسال نماذج الويب، بما في ذلك حقول النصوص، ومربعات الاختيار، ورفع الملفات. تدير الجلسات ذات الحالة عن طريق تخزين وإرسال ملفات تعريف الارتباط (cookies) تلقائياً عبر طلبات متعددة للحفاظ على مصادقة المستخدم وهويته. تشمل القدرات الإضافية كشط بيانات الويب (web scraping)، والقدرة على تنزيل محتوى الويب البعيد، والحفاظ على سجل تنقل زمني لتتبع الصفحات التي تمت زيارتها. تقوم المكتبة بتحليل استجابات HTML إلى نموذج كائن منظم لتمكين الاستعلام البرمجي والتفاعل مع عناصر الصفحة.
Automated web interaction and crawling.
Ruby - propublica/upton
propublica/upton
1,599عرض على GitHubA batteries-included framework for easy web-scraping. Just add CSS! (Or do more.)
Batteries-included framework for easy scraping.
HTML - felipecsl/wombat
felipecsl/wombat
1,362عرض على GitHubLightweight Ruby web crawler/scraper with an elegant DSL which extracts structured data from pages.
Lightweight crawler with an elegant DSL.
Rubycrawlerdslruby - postmodern/spidr
postmodern/spidr
A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.
Flexible site spidering and link discovery.
Ruby - stewartmckee/cobweb
stewartmckee/cobweb
Web crawler with very flexible crawling options. Can either use standalone or can be used with resque to perform clustered crawls.
Web crawler with flexible options and Sidekiq support.
JavaScript - joenorton/rubyretriever
joenorton/rubyretriever
RubyRetriever (http://softwarebyjoe.com/rubyretriever/)
Web crawler, scraper, and file harvester.
Ruby
