7 Repos
Processes that merge disparate data sources while detecting contradictions between different representations of the same information.
Distinguishing note: None of the candidates cover the specific act of merging multi-format sources with conflict detection.
Explore 7 awesome GitHub repositories matching data & databases · Data Source Unification. Refine with filters or upvote what's useful.
Falcor is a JavaScript library that models remote data as a single virtual JSON graph, providing a path-based query engine for efficient client-side data retrieval and updates. It represents multiple remote data sources as a unified document where entities are accessed via globally unique identity paths. The system distinguishes itself by treating the remote data model as a virtual JSON resource, allowing the client to query specific paths without managing individual endpoints. It uses a reference-aware graph model to handle many-to-many relationships and prevents data duplication. Network ef
Represents multiple remote data sources as a single virtual JSON model for consistent access.
Skill Seekers is a toolset for generating large language model knowledge bases, featuring a multi-source content scraper and a dedicated RAG data pipeline. It extracts technical data from documentation, code, and video to create structured assets and configuration files for AI-powered IDE extensions. The project distinguishes itself through the ability to transform raw data into polished tutorials and specialized skills for AI plugin marketplaces. It utilizes abstract syntax tree parsing and optical character recognition to analyze GitHub repositories, PDFs, and video frames, converting these
Merges content from docs, code, and documents while detecting conflicts between documentation and implementation.
CUE is a constraint-based configuration language designed for data validation, schema definition, and code generation. At its core, it unifies types and values into a single concept, enabling compile-time validation that catches structural and value errors before runtime. The language treats data and constraints as the same thing, allowing a single definition to serve as both a schema and concrete configuration data. CUE distinguishes itself through its constraint-based unification engine, which combines multiple configuration sources into a single coherent result by merging their constraints
Combines data from different sources by merging constraints into a single consistent result.
Blitzar ist eine verifizierbare SQL-Proof-Engine und kryptografische Bibliothek, die für verifizierbare SQL-Berechnungen entwickelt wurde. Sie ermöglicht die Ausführung von Datenbankabfragen off-chain, während Zero-Knowledge-Proofs generiert werden, die die Korrektheit der Ergebnisse für die on-chain-Verifizierung zertifizieren. Das Projekt zeichnet sich durch einen GPU-beschleunigten Proof-Accelerator aus, der rechenintensive kryptografische Workloads auf Grafikprozessoren auslagert und so die für die Generierung prägnanter Proofs erforderliche Zeit reduziert. Es bietet hochperformante kryptografische Primitive für C++- und Rust-Anwendungen, mit Fokus auf elliptische Kurvenoperationen und Multi-Skalar-Multiplikation. Das System deckt eine breite Fläche an Datenmanagement und Sicherheit ab, einschließlich trustless Datenintegration, die Blockchain-Indizierung mit off-chain-Datensätzen zu manipulationssicheren relationalen Tabellen kombiniert. Es nutzt BFT-Konsens und Threshold-Signaturen zur Aufrechterhaltung der Statusintegrität, neben Mechanismen für Quorum-basierte Datensynchronisation und verifizierte Ergebniszustellung via Smart-Contract-Callbacks. Die Codebasis bietet native Bindings für C++ und Rust, um ihre kryptografischen Toolsets und Proof-Berechnungsbibliotheken offenzulegen.
Unifies real-time indexed blockchain data and off-chain datasets into a single verifiable source.
Plunk is an SMTP email marketing platform and contact relationship manager used for sending bulk broadcasts and transactional emails. It provides a transactional email API for delivering personalized messages using templates and variable substitution, supported by built-in analytics and custom domain authentication. The platform features an email automation workflow engine with a visual builder for creating multi-step sequences triggered by user events and conditional logic. It includes a dynamic audience segmentation tool that groups contacts based on real-time data attributes and behavioral
Merges transactional, campaign, and workflow interactions into a single comprehensive user record.
Apollo Android ist eine typsichere GraphQL-Client-Bibliothek für die Ausführung von Queries und Mutations über JVM, Android und Kotlin Multiplatform hinweg. Sie enthält ein Codegenerierungstool, das unveränderliche Klassen und Parser aus GraphQL-Schemas und Operationsdateien erstellt, um Typsicherheit zur Kompilierzeit zu gewährleisten. Das Projekt verfügt über einen normalisierten Cache, der Antworten in eine Lookup-Tabelle flacht, um eine einzige Quelle der Wahrheit beizubehalten. Es bietet zudem einen Subscription-Client für Echtzeit-Updates serverseitiger Daten via WebSocket- oder SSE-Verbindungen sowie ein Mocking-Framework zur Simulation von Serverantworten und zur Generierung gefälschter typsicherer Daten für Tests. Die Bibliothek deckt ein breites Spektrum an Funktionen ab, einschließlich Netzwerkoptimierung durch Request-Batching und persistente Queries sowie die Verwaltung des lokalen Datenzustands mit optimistischen Updates und Paginierung. Sie unterstützt die Integration benutzerdefinierter HTTP-Engines und das Mapping benutzerdefinierter Skalartypen auf native Sprachklassen. Das Tool integriert sich in Entwicklungs-IDEs, um automatische Codegenerierung und Navigation vom Editor zu Definitionen bereitzustellen.
Enables merging data from multiple endpoints into single entities using a shared schema.
Gravitino is a federated metadata lake and unified data catalog designed to manage tables, files, and AI models across diverse data sources and cloud storage. It serves as a centralized interface for governing schemas, access controls, and tagging across relational databases, messaging queues, and object stores. The project distinguishes itself by unifying the management of AI assets, such as machine learning models and their version lineages, alongside traditional tabular data. It also implements the Iceberg REST specification to provide a standardized metadata server and proxy for lakehouse
Organizes metadata from diverse sources into a hierarchical structure of metalakes, catalogs, and schemas.