1 dépôt
Awesome GitHub RepositoriesLarge Scale Extraction
The process of extracting specific data points from web pages to build massive structured datasets.
Distinct from Large Scale Data Integration Frameworks: Focuses on the extraction of data points from the web rather than moving data between databases.
Explore 1 awesome GitHub repository matching data & databases · Large Scale Extraction. Refine with filters or upvote what's useful.
Awesome Large Scale Extraction GitHub Repositories
Trouvez les meilleurs dépôts grâce à l'IA.Nous recherchons les dépôts les plus pertinents grâce à l'IA.
- dotnetcore/dotnetspider
dotnetcore/DotnetSpider
4,137Voir sur GitHubDotnetSpider est un framework de crawling web .NET et un outil d'extraction de données C# conçu pour la découverte automatisée de pages web et la récupération de données structurées sur Internet à grande échelle. Il fonctionne comme une bibliothèque de web scraping de haut niveau pour collecter des informations sur divers sites web. Le framework offre des capacités pour le crawling web automatisé et le scraping de données à grande échelle. Il permet l'extraction de contenu web pour faciliter la création de bases de données locales ou l'analyse d'informations en ligne via l'automatisation web programmatique au sein de l'écosystème .NET. Le système utilise un modèle de traitement de données basé sur un pipeline avec une gestion asynchrone des requêtes et une exécution concurrente des workers. Il dispose d'un planificateur basé sur une file d'attente de tâches, de fournisseurs de stockage modulaires et d'une implémentation pilotée par interface pour une logique de scraping personnalisée.
Simplifies the collection of large datasets by extracting specific data points from web pages through a structured process.
C#crawlercross-platformcsharp
