Awesome GitHub RepositoriesSchema-Driven Mappings

scrape-it este un scraper web și parser HTML pentru Node.js, conceput pentru a extrage date structurate de pe site-uri web și fișiere HTML. Funcționează ca un instrument de extracție a datelor web care preia informații specifice din elementele DOM și convertește conținutul web în câmpuri de date utilizabile. Instrumentul folosește selectori CSS pentru a viza puncte de date specifice și utilizează maparea datelor bazată pe schemă pentru a organiza textul web nestructurat într-un format consistent. Suportă transformarea personalizată a valorilor pentru a converti șirurile brute extrase în formate de date specifice. Sistemul oferă capabilități pentru extracția datelor web și maparea automată a conținutului. Poate analiza conținut HTML provenit din URL-uri, șiruri HTML brute sau stocare locală și se integrează cu browsere headless pentru a procesa conținutul din pagini web dinamice.

s2client-proto provides a set of structured data definitions and language-neutral communication protocols used to exchange information between an external client and the StarCraft II engine. It utilizes protocol buffer definitions to establish a binary serialization schema for these data exchanges. The project defines the underlying communication layer necessary for game engine automation, game state analysis, and the development of software agents for competitive gaming. The framework covers interface definition languages to ensure compatibility across programming languages and employs sche

Entity-Relation-Extraction este un framework de machine learning conceput pentru a identifica entități și conexiunile lor logice în text nestructurat. Funcționează ca un pipeline care transformă documentele brute în grafuri de cunoștințe structurate, utilizând modele de deep learning și arhitecturi de tip transformer. Proiectul se distinge printr-o abordare bazată pe schemă, care mapează informațiile extrase către șabloane relaționale predefinite pentru a asigura consistența rezultatelor. Utilizează un proces în mai multe etape care combină clasificarea token-urilor prin etichetarea secvențială cu codificarea contextuală pentru a delimita limitele entităților și a clasifica relațiile dintre acestea. Toolkit-ul oferă componente pentru fine-tuning-ul modelelor de limbaj pre-antrenate și orchestrarea datelor prin grafuri computaționale. Include utilitare pentru evaluarea performanței modelului față de seturi de date de referință (ground truth) pentru a verifica acuratețea procesului de extracție.