Awesome GitHub RepositoriesStructured Data File Extractors

DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data

Kreuzberg is a document extraction engine that converts PDFs, Office files, images, and over 90 other formats into clean, structured text and metadata. It is built around a compiled Rust core that can be used as a native library, a command-line tool, a REST API server, or a WebAssembly module for browser-based processing. The system is designed to run entirely on self-hosted infrastructure, with no data leaving the user's environment. What distinguishes Kreuzberg is its breadth of integration surfaces and its pipeline architecture. It exposes extraction capabilities through native bindings fo

Pholcus est un framework de web crawler distribué écrit en Go, conçu pour l'extraction de données à haute concurrence. Il fonctionne comme un orchestrateur de crawling distribué et un moteur d'extraction de données dynamique, utilisant une architecture serveur-client pour coordonner les tâches sur plusieurs nœuds. Le système intègre un moteur de navigateur headless pour rendre le contenu dynamique et exécuter du JavaScript, lui permettant d'extraire des données d'applications monopages (SPA). Il dispose d'une interface de gestion web pour configurer les paramètres des spiders et surveiller la progression de l'exécution, ainsi que la capacité de mettre à jour les règles d'extraction via des fichiers de configuration à chaud (hot-reloading) sans redémarrer le système. La gestion du trafic est assurée par la rotation de pools de proxys et la randomisation des requêtes pour échapper à la détection des bots et éviter les limites de débit. Le framework inclut une récupération de points de contrôle basée sur l'état pour reprendre les tâches après des échecs et fournit des adaptateurs de stockage enfichables pour exporter les données extraites vers des bases de données, des files d'attente de messages ou des fichiers.

snscrape est un scraper et crawler web de réseaux sociaux basé sur Python conçu pour extraire des publications publiques, des profils et des hashtags de réseaux sociaux sans utiliser d'API officielles. Il fonctionne comme un outil d'archivage et un utilitaire pour la collecte de données en source ouverte (OSINT), permettant le rassemblement d'informations accessibles publiquement pour enquêter sur les tendances et les personnes. L'outil facilite l'extraction de données de réseaux sociaux à des fins de recherche et d'archivage, permettant la création d'enregistrements historiques de conversations et d'activité utilisateur. Il prend en charge des workflows pour l'analyse sociale académique et l'exportation de grands ensembles de métadonnées et de messages dans des fichiers locaux. Les capacités incluent la possibilité de scraper diverses plateformes de réseaux sociaux et de limiter le volume de résultats extraits. Le système peut exporter les éléments découverts sous forme de listes d'URL ou de fichiers détaillés contenant le contenu et les horodatages.

Scraperr est une plateforme de web scraping et de crawling auto-hébergée conçue pour extraire des données structurées de sites web en utilisant des sélecteurs XPath. Elle fonctionne comme un système conteneurisé pour gérer les tâches de scraping via une file d'attente et analyser le contenu résultant à l'aide de l'intelligence artificielle. Le projet se différencie par son architecture native Kubernetes, permettant un déploiement et une gestion évolutifs via des gestionnaires de paquets. Il inclut un moteur de crawling capable de parcourir des domaines entiers pour découvrir des pages liées et un analyseur de données qui utilise l'IA pour interroger le contenu web extrait. La plateforme couvre un large éventail de capacités, notamment l'extraction automatisée de données, le crawling web en masse et le téléchargement de fichiers multimédias. Elle fournit des outils pour visualiser les données scrapées dans des tableaux, configurer des en-têtes de requête personnalisés pour imiter des identités de navigateur et exporter les résultats aux formats CSV ou Markdown. L'application prend en charge des paramètres d'installation personnalisables et des mises à jour de version via des configurations de déploiement Kubernetes.

Spider_XHS is a data extraction and automation tool built specifically for the Xiaohongshu social platform. It orchestrates multi-step workflows that combine comment tree traversal, cookie-based session reuse, high-resolution media retrieval, keyword search, proxy-backed retries, QR-code login, structured file export, and aggregated user profile collection into a single pipeline. The tool distinguishes itself through its integrated authentication and publishing capabilities, supporting login via QR code scanning or phone verification codes to establish and maintain authenticated sessions. It

Ce projet est un dépôt de ressources de cours universitaires et une archive de matériel d'étude académique. Il sert de bibliothèque numérique structurée et de dépôt de documents éducatifs, fournissant une collection centralisée de notes de cours, de guides d'étude et de matériel de préparation aux examens pour les étudiants. Le système fonctionne comme une archive académique numérique pour la distribution de matériel d'étude, organisant les guides d'apprentissage et les références académiques par matières universitaires et programmes de diplôme spécifiques. Il permet la gestion des supports de révision pour faciliter la préparation aux examens. La plateforme utilise la génération de sites statiques et du contenu basé sur Markdown pour diffuser les ressources. Elle inclut une indexation de recherche côté client pour localiser les documents académiques et emploie un schéma de données basé sur les fichiers pour mapper les identifiants de cours aux chemins de ressources statiques.

Ce projet est un framework de traitement de données tabulaires haute performance pour R, conçu pour gérer des jeux de données massifs avec efficacité mémoire et vitesse. Il fournit une structure de données améliorée qui utilise la sémantique de référence et la modification sur place pour effectuer des transformations complexes sans la surcharge de copies d'objets inutiles. La bibliothèque se distingue par ses optimisations architecturales de bas niveau, incluant le traitement parallèle multi-threadé, le tri basé sur radix et l'analyse de fichiers mappés en mémoire. En déchargeant les routines critiques de manipulation et d'agrégation de données vers du code C compilé, elle permet une exécution rapide des tâches qui seraient autrement coûteuses en calcul. Son moteur principal prend en charge des opérations relationnelles avancées, telles que les jointures non-équi, glissantes et à intervalles chevauchants, parallèlement à l'indexation secondaire automatique pour accélérer l'accès répété aux données. Au-delà de ses capacités de traitement principales, le projet offre une suite complète d'outils pour la gestion du cycle de vie des données. Cela inclut des utilitaires d'ingestion et de sérialisation à haute vitesse avec détection automatique de type, ainsi qu'un support spécialisé pour l'analyse de séries temporelles et l'agrégation multidimensionnelle. Le framework est conçu pour évoluer, permettant aux utilisateurs d'effectuer des opérations complexes de regroupement, de filtrage et de remodelage sur des jeux de données contenant des milliards de lignes tout en maintenant la stabilité et les performances du système.