7 dépôts
Awesome GitHub RepositoriesRuby Crawling Frameworks
Web scraping and crawling gems for the Ruby ecosystem.
Explore 7 awesome GitHub repositories matching part of an awesome list · Ruby Crawling Frameworks. Refine with filters or upvote what's useful.
Awesome Ruby Crawling Frameworks GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- sparklemotion/nokogiri
sparklemotion/nokogiri
6,236Voir sur GitHubNokogiri is an XML and HTML parsing library that builds navigable document trees from strings, files, or URLs using native C parsers for speed and standards compliance. It provides a CSS selector engine that translates CSS3 selectors into XPath expressions for querying nodes, an XPath query interface with namespace support, a document manipulation toolkit for modifying parsed documents, XSD schema validation, and XSLT transformation capabilities. The library wraps libxml2 and libxslt C libraries with Ruby bindings for high-performance parsing, and integrates Google's Gumbo parser for standard
HTML/XML parser with XPath and CSS support.
Clibxml2libxsltnokogiri - sparklemotion/mechanize
sparklemotion/mechanize
4,443Voir sur GitHubMechanize est une bibliothèque Ruby pour l'automatisation de navigateur web et l'émulation de navigateur headless. Elle permet de naviguer par programmation sur des sites web et de simuler un comportement humain sans interface graphique. La bibliothèque fournit une interface automatisée pour remplir et soumettre des formulaires web, y compris les champs de texte, les cases à cocher et les téléchargements de fichiers. Elle gère les sessions avec état en stockant et en envoyant automatiquement des cookies à travers plusieurs requêtes pour maintenir l'authentification et l'identité de l'utilisateur. Les capacités supplémentaires incluent le scraping de données web, la capacité de télécharger du contenu web distant et la maintenance d'un historique de navigation chronologique pour suivre les pages visitées. Le système analyse les réponses HTML dans un modèle d'objet structuré pour permettre l'interrogation et l'interaction programmatiques avec les éléments de la page.
Automated web interaction and crawling.
Ruby - propublica/upton
propublica/upton
1,599Voir sur GitHubA batteries-included framework for easy web-scraping. Just add CSS! (Or do more.)
Batteries-included framework for easy scraping.
HTML - felipecsl/wombat
felipecsl/wombat
1,362Voir sur GitHubLightweight Ruby web crawler/scraper with an elegant DSL which extracts structured data from pages.
Lightweight crawler with an elegant DSL.
Rubycrawlerdslruby - postmodern/spidr
postmodern/spidr
A versatile Ruby web spidering library that can spider a site, multiple domains, certain links or infinitely. Spidr is designed to be fast and easy to use.
Flexible site spidering and link discovery.
Ruby - stewartmckee/cobweb
stewartmckee/cobweb
Web crawler with very flexible crawling options. Can either use standalone or can be used with resque to perform clustered crawls.
Web crawler with flexible options and Sidekiq support.
JavaScript - joenorton/rubyretriever
joenorton/rubyretriever
RubyRetriever (http://softwarebyjoe.com/rubyretriever/)
Web crawler, scraper, and file harvester.
Ruby
