3 Repos
Awesome GitHub RepositoriesWeb Content Parser CLI
A terminal-based tool for retrieving and parsing web page content.
Distinct from Command Line Parsers: Shortlist candidates are focused on argument parsing or web servers; this is a functional tool for parsing HTML via CLI.
Explore 3 awesome GitHub repositories matching development tools & productivity · Web Content Parser CLI. Refine with filters or upvote what's useful.
Awesome Web Content Parser CLI GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- postlight/parser
postlight/parser
5,786Auf GitHub ansehenPostlight Parser is a command-line tool that extracts the main article content from any web page URL, returning clean structured data including the title, author, date, excerpt, and lead image while stripping away ads and clutter. It uses a readability-based heuristic that scores HTML elements on text density and structural cues to identify the article body, and can accept pre-fetched HTML strings directly for parsing instead of fetching the URL. The tool distinguishes itself through a modular architecture that supports domain-specific extractor overrides, allowing custom JavaScript modules t
Ships a terminal-based tool for retrieving and parsing web page content with format and header flags.
JavaScriptjestlabsmercury - danburzo/percollate
danburzo/percollate
4,647Auf GitHub ansehenPercollate ist ein Command-Line-Tool zur Konvertierung von Webseiten und RSS-Feeds in strukturierte Dateien. Es fungiert als Web-Content-Konverter, Generator für statische Dokumente und Page-Bundler, der Online-Inhalte in PDF-, EPUB-, HTML- oder Markdown-Formate umwandelt. Das Tool erstellt in sich geschlossene Dokumente, indem es externe Bilder als kodierte Daten-URLs einbettet und benutzerdefinierte HTML-Templates und CSS-Stylesheets anwendet. Es kann mehrere Web-URLs oder Feed-Einträge zu einem einzigen digitalen Buch zusammenfassen, das über ein generiertes Inhaltsverzeichnis und einen verlinkten Index verfügt. Zusätzliche Funktionen umfassen die Zerlegung von Atom- und RSS-Feeds in einzelne Artikel und die sequentielle Planung von Anfragen, um das Traffic-Pacing beim Abrufen von Inhalten von Servern zu verwalten.
Provides a command-line interface for transforming web pages and RSS feeds into various document formats.
JavaScript - kepano/defuddle
kepano/defuddle
3,189Auf GitHub ansehenDefuddle is a command line web parser and content extractor designed to isolate the primary article body from web pages and convert the result into standardized markdown. It functions as a content cleaner that removes layout clutter, such as sidebars and headers, to retrieve the main text and associated metadata. The tool provides a terminal interface that processes content from remote URLs, local files, or piped HTML streams. It supports custom content targeting, allowing users to specify CSS selectors to manually define the main content area when automatic detection is insufficient. The sy
Provides a terminal interface for retrieving and parsing web content using URLs, local files, or piped HTML.
TypeScript
