Awesome GitHub RepositoriesData Provenance Frameworks

This project is a research data sharing framework and provenance protocol designed to ensure computational reproducibility. It provides a standardized set of guidelines for transforming raw source data into tidy formats through documented processing scripts and cleaning workflows. The framework distinguishes itself by emphasizing a strict provenance-based packaging system. It requires the organization of raw data, processing recipes, and code books into a single package, ensuring that original unmodified sources are preserved to allow for independent verification of all transformation steps.

Blitzar es un motor de pruebas SQL verificables y una librería criptográfica diseñada para la computación SQL verificable. Permite la ejecución de consultas de base de datos fuera de la cadena (off-chain) mientras genera pruebas de conocimiento cero que certifican la corrección de los resultados para su verificación en la cadena (on-chain). El proyecto se distingue por un acelerador de pruebas basado en GPU que descarga cargas de trabajo criptográficas pesadas a procesadores gráficos, reduciendo el tiempo requerido para la generación de pruebas sucintas. Proporciona primitivas criptográficas de alto rendimiento para aplicaciones en C++ y Rust, centrándose en operaciones de curvas elípticas y multiplicación multiescalar. El sistema cubre una amplia superficie de gestión de datos y seguridad, incluyendo la integración de datos sin confianza (trustless) que combina la indexación de blockchain con conjuntos de datos fuera de la cadena en tablas relacionales a prueba de manipulaciones. Utiliza consenso BFT y firmas de umbral para mantener la integridad del estado, junto con mecanismos para la sincronización de datos basada en quórum y la entrega de resultados verificados mediante callbacks de contratos inteligentes. El código base proporciona bindings nativos para C++ y Rust para exponer sus conjuntos de herramientas criptográficas y librerías de computación de pruebas.

Este proyecto es una colección de materiales de referencia y directrices para implementar frameworks de auditoría de datos. Sirve como una guía de referencia de calidad de datos y un manual de validación de conjuntos de datos para identificar errores estructurales y estadísticos comunes en datasets. El proyecto proporciona una base de conocimiento estructurada para la limpieza de datos, presentando un catálogo de errores de datos del mundo real y estrategias prácticas para su detección y resolución. Incluye frameworks específicos para evaluar la procedencia de los datos y la fiabilidad de la información agregada. El material cubre una amplia gama de capacidades de análisis de datos, incluyendo validación de integridad estadística para detectar manipulación, evaluaciones de validez de muestreo para identificar sesgos de población y métodos para la detección de errores estructurales como problemas de codificación. También describe procesos para recuperar información tabular de documentos visuales mediante reconocimiento óptico de caracteres (OCR).