Awesome GitHub RepositoriesPatent Data Extraction

Grobid este un sistem de machine learning conceput pentru a transforma publicațiile PDF academice și științifice în XML structurat. Funcționează ca un parser de PDF în XML și extractor de metadate științifice, identificând și normalizând titlurile, autorii, afilierile și referințele bibliografice din lucrările de cercetare. Sistemul utilizează un segmentator de documente deep learning pentru a împărți PDF-urile brute în regiuni funcționale și folosește un rezolvator de referințe bibliografice pentru a potrivi citările cu registre externe pentru îmbogățirea metadatelor și rezoluția DOI. Suportă un pipeline complet de antrenare a modelelor de machine learning, permițând generarea de corpusuri de antrenare adnotate, reantrenarea modelelor și exportul binarilor de model. Proiectul acoperă o gamă largă de capabilități de extracție, inclusiv parsarea antetelor documentelor, structurarea corpului textului complet și identificarea entităților specifice domeniului, cum ar fi informațiile de finanțare și citările de brevete. De asemenea, oferă instrumente de analiză spațială pentru extracția bounding box-urilor și maparea coordonatelor pentru a sincroniza etichetele semantice cu layout-ul PDF original. Aplicația poate fi implementată prin imagini containerizate și include utilitare CLI pentru procesarea batch multi-threaded a unor colecții mari de documente.