7 Repos
Generation of quantile sketches to approximate value distributions in large datasets.
Distinct from Distributed Data Processing: Distinct from Distributed Data Processing: focuses on statistical sketching for distribution analysis rather than general data scaling.
Explore 7 awesome GitHub repositories matching data & databases · Distribution Sketching. Refine with filters or upvote what's useful.
Presto is a distributed SQL query engine designed for high-performance analytical processing across heterogeneous data sources. It functions as a data federation platform and massively parallel processing engine, allowing users to execute interactive queries against diverse storage systems without requiring data migration. By mapping remote metadata and structures to a unified relational namespace, it enables seamless cross-platform analysis through a standard SQL interface. The engine distinguishes itself through a pluggable connector architecture and a shared-nothing distributed processing
Generates quantile sketches to approximate the distribution of values for efficient rank calculation.
ToonCrafter is a model that combines latent diffusion, reference-based colorization, and sketch-guided control for cartoon animation and interpolation. It functions as a cartoon video interpolation model, a reference-based colorization model, and a sketch-guided animation tool, all built on a latent diffusion animation framework. The project distinguishes itself by integrating three core capabilities into a single pipeline: generating smooth intermediate frames between two cartoon images using diffusion-based priors, transferring color and style from a reference image onto black-and-white ske
Ships a pipeline that uses sparse sketch outlines to steer the interpolation process and shape resulting video frames.
OpenTSDB ist eine verteilte Zeitreihendatenbank und Metrics-Engine, die für die Speicherung und Verwaltung massiver Mengen hochkardinaler Systemmetriken entwickelt wurde. Es fungiert als Datenspeicher und Analyseplattform, die groß angelegte Metrik-Ingestion und Infrastruktur-Performance-Monitoring über einen verteilten Cluster hinweg ermöglicht. Das System zeichnet sich durch eine verteilte Speicherabstraktion aus, die mehrere Backends wie HBase, Cassandra und Google Bigtable unterstützt. Es nutzt einen hierarchischen Metrikbaum zur Organisation von Zeitreihen und verwendet numerische Identifikator-Indizierung, um den Speicherbedarf zu reduzieren und Suchvorgänge für getaggte Metriken zu beschleunigen. Das Projekt deckt breite Funktionsbereiche ab, einschließlich Zeitreihendatenanalyse mit verteilten Perzentilberechnungen und Downsampling sowie umfassendem Metadatenmanagement. Es bietet API-Integration für Datenaufnahme und -abfrage, Off-Heap-Caching zur Performance-Optimierung sowie Tools für die Datenintegritätsprüfung und Anomalieanalyse. Das System wird über eine Kommandozeilenschnittstelle für die Datenbankadministration und die Synchronisation des Metrikbaums verwaltet.
Computes accurate percentiles across distributed data sources using histograms and sketches.
Micrometer is a dimensional metrics library and application metrics facade that provides a vendor-neutral interface for recording performance data. It decouples application instrumentation from specific observability backends, allowing the recording of counters, gauges, and timers using key-value tags for granular analysis. The project features a system of backend adapters that transform and route instrumented data to various external monitoring tools. This includes name normalization to ensure portability across different monitoring systems and the ability to map dimensional data to hierarch
Computes histograms and percentiles locally before shipping aggregated data to a monitoring backend.
Dieses Projekt ist ein chinesisches Lokalisierungs-Repository und technisches Übersetzungsprojekt, das darauf ausgelegt ist, prägnante Programmierprojekte und technische Dokumentationen für chinesischsprachige Personen zugänglich zu machen. Es bietet eine Sammlung übersetzter Ressourcen und kuratierter Mappings von Informatik-Terminologie, um eine konsistente Übersetzung technischer Konzepte zu gewährleisten. Das Projekt implementiert einen Software-Lokalisierungs-Workflow, der englischsprachige technische Leitfäden und Codebase-Dokumentationen in das Chinesische konvertiert. Dieser Prozess nutzt eine technische Glossar-Ressource und ein ressourcengesteuertes Lokalisierungsmodell, um die ursprüngliche Bedeutung und den technischen Kontext des Quellmaterials beizubehalten. Das Repository deckt die Übersetzung technischer Dokumentationen und die Verwaltung standardisierter Übersetzungs-Mappings ab, um eine konsistente technische Wortwahl über diverse Softwareprojekte hinweg sicherzustellen.
Produces numerical solutions for complex distributions via large-scale sampling simulations.
Kvrocks is a disk-based NoSQL database and distributed key-value store that leverages the RocksDB storage engine to persist large datasets to physical disk. It is designed to be a Redis-compatible database, utilizing the standard Redis communication protocol to ensure interoperability with existing client libraries and tools. The project distinguishes itself by combining a disk-persistent storage model with advanced retrieval capabilities, including vector search for k-nearest neighbor queries, full-text search indexing, and geospatial query execution. It supports distributed clustering with
Uses t-digest sketches to provide real-time approximations of quantiles and value distributions for analytics.
Kvrocks is a distributed key-value store and Redis-compatible NoSQL database. It utilizes a RocksDB storage engine to provide disk-based persistence, allowing for high-capacity data storage with reduced memory costs compared to in-memory systems. The system functions as a vector database and full-text search engine, supporting nearest-neighbor searches on vector embeddings and complex document queries via text matching. It employs a proxyless cluster architecture with slot-based routing to distribute data and scale capacity across multiple nodes. The platform covers a wide range of data mana
Uses sketch-based algorithms to efficiently estimate ranks and quantiles of observation distributions.