7 Repos
Awesome GitHub RepositoriesRuby Crawling Frameworks
Web scraping and crawling gems for the Ruby ecosystem.
Explore 7 awesome GitHub repositories matching part of an awesome list · Ruby Crawling Frameworks. Refine with filters or upvote what's useful.
Awesome Ruby Crawling Frameworks GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- sparklemotion/nokogiri
sparklemotion/nokogiri
6,236Auf GitHub ansehenNokogiri is an XML and HTML parsing library that builds navigable document trees from strings, files, or URLs using native C parsers for speed and standards compliance. It provides a CSS selector engine that translates CSS3 selectors into XPath expressions for querying nodes, an XPath query interface with namespace support, a document manipulation toolkit for modifying parsed documents, XSD schema validation, and XSLT transformation capabilities. The library wraps libxml2 and libxslt C libraries with Ruby bindings for high-performance parsing, and integrates Google's Gumbo parser for standard
HTML/XML parser with XPath and CSS support.
Clibxml2libxsltnokogiri - sparklemotion/mechanize
sparklemotion/mechanize
4,443Auf GitHub ansehenMechanize ist eine Ruby-Bibliothek für Webbrowser-Automatisierung und Headless-Browser-Emulation. Sie ermöglicht das programmatische Navigieren auf Webseiten und das Simulieren menschlichen Verhaltens ohne grafische Benutzeroberfläche. Die Bibliothek bietet eine automatisierte Schnittstelle zum Ausfüllen und Absenden von Webformularen, einschließlich Textfeldern, Checkboxen und Datei-Uploads. Sie verwaltet zustandsbehaftete Sitzungen durch automatisches Speichern und Senden von Cookies über mehrere Anfragen hinweg, um Benutzerauthentifizierung und Identität aufrechtzuerhalten. Zusätzliche Funktionen umfassen Web-Data-Scraping, die Möglichkeit zum Herunterladen von Remote-Webinhalten und die Pflege eines chronologischen Navigationsverlaufs zur Nachverfolgung besuchter Seiten. Das System parst HTML-Antworten in ein strukturiertes Objektmodell, um programmatische Abfragen und Interaktionen mit Seitenelementen zu ermöglichen.
Automated web interaction and crawling.
Ruby - propublica/upton
propublica/upton
1,599Auf GitHub ansehenA batteries-included framework for easy web-scraping. Just add CSS! (Or do more.)
Batteries-included framework for easy scraping.
HTML - felipecsl/wombat
felipecsl/wombat
1,362Auf GitHub ansehenLightweight Ruby web crawler/scraper with an elegant DSL which extracts structured data from pages.
Lightweight crawler with an elegant DSL.
Rubycrawlerdslruby - postmodern/spidr
postmodern/spidr
A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.
Flexible site spidering and link discovery.
Ruby - stewartmckee/cobweb
stewartmckee/cobweb
Web crawler with very flexible crawling options. Can either use standalone or can be used with resque to perform clustered crawls.
Web crawler with flexible options and Sidekiq support.
JavaScript - joenorton/rubyretriever
joenorton/rubyretriever
RubyRetriever (http://softwarebyjoe.com/rubyretriever/)
Web crawler, scraper, and file harvester.
Ruby
