Awesome GitHub RepositoriesDistribution Sketching

Presto is a distributed SQL query engine designed for high-performance analytical processing across heterogeneous data sources. It functions as a data federation platform and massively parallel processing engine, allowing users to execute interactive queries against diverse storage systems without requiring data migration. By mapping remote metadata and structures to a unified relational namespace, it enables seamless cross-platform analysis through a standard SQL interface. The engine distinguishes itself through a pluggable connector architecture and a shared-nothing distributed processing

ToonCrafter is a model that combines latent diffusion, reference-based colorization, and sketch-guided control for cartoon animation and interpolation. It functions as a cartoon video interpolation model, a reference-based colorization model, and a sketch-guided animation tool, all built on a latent diffusion animation framework. The project distinguishes itself by integrating three core capabilities into a single pipeline: generating smooth intermediate frames between two cartoon images using diffusion-based priors, transferring color and style from a reference image onto black-and-white ske

OpenTSDB est une base de données de séries temporelles distribuée et un moteur de métriques conçu pour stocker et gérer des volumes massifs de métriques système à haute cardinalité. Il fonctionne comme un magasin de données et une plateforme d'analyse qui permet l'ingestion de métriques à grande échelle et la surveillance de la performance de l'infrastructure à travers un cluster distribué. Le système se distingue par une abstraction de stockage distribué qui supporte de multiples backends tels que HBase, Cassandra et Google Bigtable. Il utilise un arbre de métriques hiérarchique pour organiser les séries temporelles et emploie l'indexation par identifiant numérique pour réduire l'empreinte de stockage et accélérer les recherches pour les métriques taguées. Le projet couvre de larges domaines de capacités incluant l'analyse de données de séries temporelles avec des calculs de centiles distribués et le downsampling, ainsi qu'une gestion complète des métadonnées. Il fournit une intégration API pour l'ingestion et l'interrogation de données, le cache off-heap pour l'optimisation des performances, et des outils pour l'audit d'intégrité des données et l'analyse d'anomalies. Le système est géré via une interface en ligne de commande pour l'administration de la base de données et la synchronisation de l'arbre de métriques.

Micrometer est une bibliothèque de métriques dimensionnelles et une façade de métriques d'application qui fournit une interface neutre vis-à-vis du fournisseur pour enregistrer les données de performance. Elle découple l'instrumentation de l'application des backends d'observabilité spécifiques, permettant l'enregistrement de compteurs, de jauges et de minuteries en utilisant des tags clé-valeur pour une analyse granulaire. Le projet dispose d'un système d'adaptateurs de backend qui transforment et routent les données instrumentées vers divers outils de monitoring externes. Cela inclut la normalisation des noms pour assurer la portabilité à travers différents systèmes de monitoring et la capacité de mapper des données dimensionnelles vers des formats hiérarchiques pour les backends qui ne prennent pas en charge les tags. La bibliothèque inclut des capacités complètes pour la gestion de registre, les définitions de types de métriques et le contrôle de cardinalité pour protéger la mémoire de l'application contre les combinaisons de tags uniques excessives. Elle fournit également une instrumentation pré-configurée pour les internes du système JVM, incluant le garbage collection, l'utilisation du processeur et les pools de threads.

Ce projet est un dépôt de localisation chinoise et un projet de traduction technique conçu pour rendre les projets de programmation concis et la documentation technique accessibles aux sinophones. Il fournit une collection de ressources traduites et des mappages curés de terminologie informatique pour assurer une traduction cohérente des concepts techniques. Le projet implémente un flux de travail de localisation logicielle qui convertit les guides techniques et la documentation de base de code en langue anglaise vers le chinois. Ce processus utilise une ressource de glossaire technique et un modèle de localisation piloté par les ressources pour maintenir le sens original et le contexte technique du matériel source. Le dépôt couvre la traduction de documentation technique et la gestion de mappages de traduction standardisés pour assurer une formulation technique cohérente à travers divers projets logiciels.

Kvrocks est une base de données NoSQL basée sur disque et un magasin clé-valeur distribué qui exploite le moteur de stockage RocksDB pour persister de grands jeux de données sur disque physique. Il est conçu pour être une base de données compatible avec Redis, utilisant le protocole de communication standard de Redis pour assurer l'interopérabilité avec les bibliothèques clientes et les outils existants. Le projet se distingue en combinant un modèle de stockage persistant sur disque avec des capacités de récupération avancées, notamment la recherche vectorielle pour les requêtes k-plus proches voisins, l'indexation de recherche plein texte et l'exécution de requêtes géospatiales. Il prend en charge le clustering distribué avec une distribution des données basée sur des slots et une gestion de la topologie pour permettre une mise à l'échelle horizontale et une haute disponibilité. Le système couvre un large éventail de types de stockage de données, y compris les documents JSON, les flux, les ensembles triés, les hash maps et les bitmaps. Il fournit des outils complets de gestion des données tels que des transactions atomiques, la réplication basée sur les logs et des structures de données probabilistes pour l'estimation de cardinalité et la vérification d'appartenance. De plus, il inclut des scripts côté serveur, la messagerie pub/sub et une surveillance détaillée de la santé du serveur et des performances du moteur de stockage.

Kvrocks est un magasin clé-valeur distribué et une base de données NoSQL compatible avec Redis. Il utilise un moteur de stockage RocksDB pour fournir une persistance basée sur disque, permettant un stockage de données haute capacité avec des coûts de mémoire réduits par rapport aux systèmes en mémoire. Le système fonctionne comme une base de données vectorielle et un moteur de recherche plein texte, prenant en charge les recherches de plus proches voisins sur des embeddings vectoriels et des requêtes de documents complexes via la correspondance de texte. Il emploie une architecture de cluster sans proxy avec un routage basé sur des slots pour distribuer les données et mettre à l'échelle la capacité sur plusieurs nœuds. La plateforme couvre un large éventail de capacités de gestion des données, y compris la gestion de documents JSON, les données de séries temporelles et le traitement de flux en temps réel. Elle fournit une recherche et une indexation avancées grâce à des requêtes géospatiales, une indexation secondaire et l'analyse de plans de requête, tout en offrant un sketching de données probabiliste pour une estimation efficace de la cardinalité et de l'appartenance en mémoire. Les fonctionnalités opérationnelles supplémentaires incluent des transactions atomiques, la messagerie pub/sub et l'isolation des données par namespace pour les environnements multi-locataires.