Awesome GitHub RepositoriesSample-Based Schema Derivation

gbrain is an agent framework and retrieval-augmented generation system that combines a durable task queue, a git-synced vector store, and a knowledge graph engine. It provides a foundation for building AI agents that interact with structured knowledge bases using the Model Context Protocol. The system synchronizes markdown files from a git repository into a database for high-performance semantic retrieval and creates typed edges between data pages by extracting entity references and wikilinks. It uses a database-backed queue to execute persistent background jobs and tool loops, ensuring relia

Quicktype is a multi-language serialization tool and type generator. It converts JSON samples, JSON Schema definitions, and GraphQL schemas into strongly typed data structures and serialization logic across multiple programming languages. The system automates the data serialization workflow by generating boilerplate code to parse and serialize data. It transforms structured input definitions into executable code, providing the necessary encoders and decoders to move data between raw formats and typed objects.

Quicktype is a multi-language model generation engine that converts JSON and GraphQL schemas into type-safe models and serialization code. It functions as a JSON to type generator and a GraphQL type generator, producing strongly typed classes and interfaces across a wide array of target programming languages. The system derives formal schemas from sample data and transforms these definitions into native language objects. This enables the synchronization of shared data models across diverse tech stacks and the development of type-safe interfaces for consuming external APIs. The engine utilize

Autoscraper ist eine automatische Web-Scraping-Bibliothek und ein musterbasierter Datenextraktor, der Extraktionsregeln aus Beispieldaten lernt. Er identifiziert und ruft Text, URLs und HTML-Elemente von Webseiten ab, indem er Beispielwerte analysiert, um Datenmuster über verschiedene URLs hinweg zu replizieren. Das System fungiert als Manager für Web-Scraping-Modelle, der es Benutzern ermöglicht, gelernte Regeln zu speichern und neu zu laden, um eine konsistente Datenextraktion aufrechtzuerhalten. Es unterstützt den Export und Import von Scraping-Regeln in ein lokales Dateisystem, um den Trainingsprozess für dieselbe Website nicht wiederholen zu müssen. Die Bibliothek deckt automatisiertes Web-Data-Scraping und Web-Content-Harvesting durch beispielbasiertes Musterlernen und positionsbasierte Elementabfrage ab. Sie kann sowohl spezifische Datenpunkte als auch alle Elemente auf einer Seite abrufen, die den aus den anfänglichen Beispieldaten identifizierten Mustern entsprechen.

Pandera is a data pipeline validation framework and statistical type validation tool. It functions as a library for defining and enforcing schemas on datasets to ensure data quality and consistency, specifically providing validation capabilities for Pandas dataframes. The project includes a schema inference tool that automates setup by analyzing existing dataset samples to generate validation schemas. It also serves as a synthetic data generator, creating artificial datasets based on predefined schemas to verify data-producing functions. The framework covers data engineering quality assuranc