8 repository-uri
Internal data models that normalize diverse input formats into a consistent structure for uniform processing.
Explore 8 awesome GitHub repositories matching data & databases · Intermediate Representations. Refine with filters or upvote what's useful.
Docling is a modular framework designed for document parsing, layout analysis, and structured data extraction. It transforms unstructured files and web content into a unified, hierarchical data model that preserves the spatial and semantic relationships between text, tables, images, and layout elements. By normalizing diverse input formats into a consistent internal representation, the library enables uniform processing across various document types. The project distinguishes itself through a schema-driven approach that maps document regions to strongly-typed objects, ensuring data accuracy t
Normalizes diverse input formats into a consistent internal data model to enable uniform processing across different sources.
This project is a diagram-as-code tool that transforms declarative text scripts into professional visual representations. It functions as a technical documentation generator, allowing users to define nodes, connections, and hierarchical relationships through a domain-specific modeling language that integrates directly into version-controlled developer workflows. The tool distinguishes itself through a highly modular architecture that decouples diagram definitions from spatial positioning. It features a pluggable layout engine that supports multiple arrangement algorithms, alongside a styling
Normalizes input scripts into a unified intermediate graph representation to facilitate consistent cross-format rendering.
DataX is a distributed data integration framework and plugin-based ETL tool designed for synchronizing large datasets between heterogeneous sources and destinations. It functions as a JDBC data migration engine and offline synchronization tool, enabling the movement of data between relational databases, NoSQL stores, and object storage. The system utilizes a plugin-based connector architecture that decouples reader and writer logic, allowing it to map and transform data types across different storage engines using a standardized internal representation. This design supports heterogeneous data
Employs internal data models that normalize diverse input formats into a consistent structure for uniform processing across different storage engines.
dbt-core is a command-line framework for transforming data within a warehouse using modular SQL and version control. It functions as a data transformation engine that enables users to define data structures and business logic through declarative configuration files, which the system then compiles into executable code. By managing complex data dependencies through a directed acyclic graph, it ensures that transformation tasks execute in the correct order while maintaining a manifest-driven state to track lineage and execution history. The project distinguishes itself through an adapter-based d
Separates complex, multi-step data processing into dedicated models to simplify final reporting tables.
Clair is a container image vulnerability scanner and security analyzer. It performs static analysis of container images by matching package contents against vulnerability databases to identify security risks across different package formats and architectures. The project functions as both an image indexer and a vulnerability database manager. It processes container layers into intermediate representations to enable fast security lookups and synchronizes security metadata from multiple external sources to maintain a local registry. Capability areas include continuous security monitoring, whic
Transforms raw package data into a standardized intermediate representation to correlate source-level packages with binary versions.
Acest proiect este un utilitar de profilare scris în Rust care capturează, transformă și vizualizează call stack-urile funcțiilor pentru a identifica blocajele de performanță ale sistemului. Acesta funcționează ca un wrapper de profilare prin eșantionare care convertește datele brute de profilare în flamegraph-uri interactive, care sunt hărți ierarhice ale consumului de resurse. Instrumentul oferă integrare specializată cu sistemul de build Rust pentru a profila binarele și benchmark-urile de performanță. De asemenea, permite configurații de profilare personalizate, permițând utilizatorilor să suprascrie instrumentele implicite de profilare a sistemului sau flag-urile de înregistrare pentru a controla modul în care sunt colectate datele. Utilitarul suportă monitorizarea performanței aplicațiilor și analiza execuției binare. Poate captura date de performanță prin atașarea la un ID de proces activ pentru a analiza o aplicație care rulează fără a necesita o repornire.
Normalizes raw text output from various profiling tools into a consistent internal call stack representation.
Poml is a prompt management framework and templating engine designed for authoring, versioning, and rendering structured prompts for large language models. It uses a semantic markup language to organize prompts into reusable templates, combining them with dynamic context and data to generate formatted inputs. The system distinguishes itself by decoupling core prompt logic from final presentation through a stylesheet-based approach. It provides a dedicated JSON schema output generator to enforce strict, machine-parsable model responses and a configuration interface for managing function tool s
Transforms semantic XML-like syntax into a structured internal tree for consistent processing across different models.
Dokka este un motor de documentație extensibil conceput pentru a genera materiale de referință API structurate pentru proiectele Kotlin. Prin parsarea codului sursă și a comentariilor, funcționează ca un generator de site-uri statice care transformă codebase-urile în documentație lizibilă. Se integrează direct în fluxurile de lucru de dezvoltare ca un plugin de sistem de build, permițând crearea automată a materialelor de referință în timpul procesului standard de compilare. Proiectul se distinge printr-un pipeline de procesare modular, bazat pe plugin-uri, care permite dezvoltatorilor să modifice fluxul de lucru de generare, să personalizeze formatele de output și să ajusteze stilizarea vizuală. Suportă structuri complexe de proiect prin agregarea documentației din mai multe subproiecte într-un singur output unificat. Mai mult, include un motor de referințe încrucișate care rezolvă simbolurile de cod interne și link-urile către documentația bibliotecilor externe, asigurându-se că materialele generate rămân conectate și navigabile. Motorul oferă un control extins asupra output-ului final, inclusiv capacitatea de a filtra elemente de cod specifice, de a încorpora exemple de utilizare live și de a face link direct către repository-urile de cod sursă la distanță. Suportă mai multe formate de output, cum ar fi HTML, Markdown și Javadoc, și permite personalizarea profundă a template-urilor și a activelor pentru a îndeplini cerințe specifice de branding sau documentație. Instrumentul este conceput pentru a fi invocat prin interfețe de linie de comandă sau prin integrări native ale instrumentelor de build, facilitând utilizarea sa în pipeline-uri de deployment automatizate.
Normalizes diverse source code structures into a unified model to facilitate consistent documentation output.