Awesome GitHub RepositoriesDocument Header Extraction

Grobid est un système de machine learning conçu pour transformer les publications académiques et scientifiques PDF en XML structuré. Il fonctionne comme un analyseur PDF vers XML et un extracteur de métadonnées savantes, identifiant et normalisant les titres, auteurs, affiliations et références bibliographiques des articles de recherche. Le système utilise un segmenteur de documents par deep learning pour diviser les PDF bruts en régions fonctionnelles et emploie un résolveur de références bibliographiques pour faire correspondre les citations avec des registres externes pour l'enrichissement des métadonnées et la résolution de DOI. Il prend en charge un pipeline complet d'entraînement de modèles de machine learning, permettant la génération de corpus d'entraînement annotés, le réentraînement de modèles et l'exportation de binaires de modèles. Le projet couvre un large éventail de capacités d'extraction, y compris l'analyse des en-têtes de documents, la structuration du corps du texte intégral et l'identification d'entités spécifiques au domaine comme les informations de financement et les citations de brevets. Il fournit également des outils d'analyse spatiale pour l'extraction de boîtes englobantes et le mappage de coordonnées afin de synchroniser les étiquettes sémantiques avec la mise en page PDF originale. L'application peut être déployée via des images conteneurisées et inclut des utilitaires en ligne de commande pour le traitement par lots multi-threadé de grandes collections de documents.