Awesome GitHub RepositoriesData Provenance Frameworks

This project is a research data sharing framework and provenance protocol designed to ensure computational reproducibility. It provides a standardized set of guidelines for transforming raw source data into tidy formats through documented processing scripts and cleaning workflows. The framework distinguishes itself by emphasizing a strict provenance-based packaging system. It requires the organization of raw data, processing recipes, and code books into a single package, ensuring that original unmodified sources are preserved to allow for independent verification of all transformation steps.

Blitzar est un moteur de preuve SQL vérifiable et une bibliothèque cryptographique conçue pour le calcul SQL vérifiable. Il permet l'exécution de requêtes de base de données hors chaîne tout en générant des preuves à divulgation nulle de connaissance (zero-knowledge proofs) qui certifient l'exactitude des résultats pour une vérification sur chaîne. Le projet se distingue par un accélérateur de preuve accéléré par GPU qui décharge les lourdes charges de travail cryptographiques vers les processeurs graphiques, réduisant le temps requis pour la génération de preuves succinctes. Il fournit des primitives cryptographiques haute performance pour les applications C++ et Rust, se concentrant sur les opérations de courbe elliptique et la multiplication multi-scalaire. Le système couvre une large surface de gestion de données et de sécurité, incluant l'intégration de données sans confiance qui combine l'indexation blockchain avec des jeux de données hors chaîne dans des tables relationnelles inviolables. Il utilise le consensus BFT et les signatures à seuil pour maintenir l'intégrité de l'état, parallèlement à des mécanismes pour la synchronisation de données basée sur le quorum et la livraison de résultats vérifiés via des callbacks de smart contract. La base de code fournit des liaisons natives pour C++ et Rust afin d'exposer ses ensembles d'outils cryptographiques et ses bibliothèques de calcul de preuve.

Ce projet est une collection de supports de référence et de directives pour implémenter des frameworks d'audit de données. Il sert de guide de référence sur la qualité des données et de manuel de validation de jeux de données pour identifier les erreurs structurelles et statistiques courantes dans les jeux de données. Le projet fournit une base de connaissances structurée pour le nettoyage des données, présentant un catalogue d'erreurs de données réelles et des stratégies pratiques pour leur détection et leur résolution. Il inclut des frameworks spécifiques pour évaluer la provenance des données et la fiabilité des informations agrégées. Le matériel couvre un large éventail de capacités d'analyse de données, incluant la validation de l'intégrité statistique pour détecter la manipulation, des évaluations de la validité de l'échantillonnage pour identifier les biais de population, et des méthodes pour la détection d'erreurs structurelles telles que les problèmes d'encodage. Il décrit également des processus pour récupérer des informations tabulaires à partir de documents visuels via la reconnaissance optique de caractères (OCR).