Awesome GitHub RepositoriesData Anonymization

lnav is a terminal-based log viewer and analyzer designed for aggregating, filtering, and analyzing multiple log files in a single chronological view. It functions as a console application that can replace the system pager, providing syntax highlighting and document navigation for system or application logs. The project distinguishes itself by mapping unstructured log data to virtual SQLite tables, enabling the use of SQL and PRQL for structured data analysis, aggregations, and relational queries. It further differentiates its capability set through native integration for retrieving and taili

Yearning is a MySQL SQL audit platform and database change management system. It provides a governance framework for reviewing, approving, and auditing SQL statements executed against MySQL databases. The platform features an AI-powered SQL optimizer that suggests performance improvements and converts natural language requests into executable SQL code. It manages database changes through an approval-based workflow engine that includes automated rollback generation and rule-based syntax validation. The system covers role-based access control, security compliance with multi-factor authenticati

Presidio is a PII detection and anonymization framework designed to identify and mask personally identifiable information in text. It functions as a PII recognition pipeline and a data masking engine, using a combination of machine learning, regular expressions, and rule-based logic to locate sensitive entities. The system acts as an NER model orchestrator, allowing for the integration of external named entity recognition models and PII detectors to support multi-language privacy scrubbing. It employs a plugin-based recognizer architecture that can be extended with custom recognizers, deny-li

Espectre is an edge machine learning framework and motion detection platform that uses Wi-Fi Channel State Information to identify human presence and movement. It functions as a sensing toolkit for ESP32 microcontrollers, enabling the detection of motion through walls without the use of cameras or wearables. The project distinguishes itself by executing compact neural network classifiers and mathematical detection algorithms directly on the microcontroller. It utilizes a MicroPython runtime to allow for the prototyping and deployment of sensing logic and wireless signal processing algorithms

Mimesis es un generador de datos sintéticos en Python utilizado para crear conjuntos de datos falsos realistas y datos de prueba para el desarrollo y testing de software. Funciona como un generador de datasets basado en esquemas capaz de producir registros estructurados y conjuntos de datos relacionales, sirviendo también como anonimizador de datos de producción para reemplazar información sensible con valores sintéticos. La biblioteca se distingue por su soporte multilingüe integral, permitiendo la generación de información específica de una región para simular perfiles de usuario locales. Garantiza la reproducibilidad mediante la generación determinista de datos usando semillas, lo que permite crear conjuntos de datos consistentes en diferentes ejecuciones. La herramienta cubre una amplia gama de contenido sintético, incluyendo identidad personal, datos financieros, direcciones geográficas, metadatos de red y secuencias científicas. Sus capacidades se extienden a la transformación de datos mediante lógica condicional y tuberías (piping), así como la integración con dataframes y patrones de fábrica. Además, admite la generación de códigos de sistema estandarizados, tokens criptográficos y simulación de archivos binarios. El framework es extensible mediante proveedores de datos personalizados y manejadores de campos, permitiendo a los usuarios integrar lógica específica de dominio y archivos JSON externos para la generación de datos especializada.

Replibyte is a tool that automates the lifecycle of database snapshots for non-production environments, handling the export, anonymization, subsetting, and restoration of data. It is designed to support privacy-compliant development workflows by replacing sensitive production data with synthetic values and extracting consistent subsets of rows while preserving referential integrity. The tool operates through a configurable pipeline defined in a YAML file, orchestrating stages such as dump, anonymize, subset, and restore. Each operation runs as an isolated, ephemeral container job, and snapsho

OptiLLM es un proxy de inferencia y router de puerta de enlace que dirige los prompts a modelos de lenguaje específicos basados en costo, rendimiento y salud del proveedor. Funciona como una capa de middleware diseñada para optimizar las solicitudes mediante enrutamiento inteligente, balanceo de carga y gestión de contexto. El proyecto proporciona capacidades especializadas para la protección de datos mediante la anonimización de información de identificación personal antes de que las solicitudes lleguen a un modelo. También actúa como un orquestador de razonamiento y capa de integración de herramientas, utilizando bucles de tiempo de inferencia y autorreflexión para mejorar la precisión mientras conecta los modelos a servidores de protocolos externos, contenido web e intérpretes de código. La funcionalidad adicional incluye una interfaz basada en esquemas para generar salidas estructuradas legibles por máquina. El sistema también gestiona la alta disponibilidad mediante balanceo de carga a nivel de proveedor y monitoreo de salud.

OptiLLM es un framework de razonamiento y optimización de IA que funciona como un proxy de API para mejorar la calidad de las respuestas de modelos de lenguaje grandes (LLM). Intercepta las solicitudes para aplicar lógica de razonamiento durante la inferencia y refinamiento de salida antes de devolver los resultados al cliente. El proyecto se distingue por una combinación de árboles de búsqueda durante la inferencia para verificación lógica y un pipeline de anonimización que elimina información de identificación personal (PII) de los prompts. Además, extiende las capacidades del modelo orquestando herramientas externas, incluyendo ejecución de código en tiempo real e investigación web autónoma. El sistema proporciona una infraestructura más amplia para la gestión de modelos, incluyendo balanceo de carga entre múltiples proveedores y la capacidad de servir modelos y adaptadores locales. También maneja la aplicación de salidas estructuradas mediante restricciones de esquema y gestiona historiales de conversación extendidos a través de una capa de memoria de contexto virtual. La capa de proxy está diseñada para ser compatible con endpoints de API estándar, permitiendo su integración sin cambiar el código del cliente existente.

NeoSync es una herramienta de sincronización de bases de datos y orquestador de pipelines de datos diseñado para mover y transformar conjuntos de datos entre diferentes entornos. Funciona como una plataforma de seguridad de datos PII y un generador de datos sintéticos, permitiendo la sincronización de datos de producción mientras se garantiza el cumplimiento de la privacidad. El sistema utiliza un coordinador basado en eventos para gestionar los movimientos de datos asíncronos, proporcionando reintentos automatizados y manejo de fallos. Se diferencia al combinar la anonimización y detección de PII basada en reglas con la generación de datos sintéticos basada en esquemas para crear conjuntos de datos artificiales que imitan las propiedades de producción sin exponer información privada. El proyecto cubre áreas de capacidad amplias, incluyendo el subconjunto de bases de datos para reducir el volumen de datos para pruebas, transformaciones de campos basadas en plantillas para remodelar la información y la orquestación de pipelines de datos para mantener la integridad relacional durante la sincronización.

MNBVC is a dataset pipeline and toolkit designed for the collection, cleaning, and normalization of massive text and code corpora used to train large language models. It provides specialized tools for harvesting source code, commit histories, and repository metadata from version control platforms, alongside a multilingual text corpus collector for gathering parallel text and academic papers. The project distinguishes itself through comprehensive capabilities for processing diverse document types, including a PDF-to-text converter that transforms complex layouts and formulas into structured JS

LLM Guard is a security firewall and guardrail framework designed to scan and sanitize inputs and outputs for large language models. It functions as a proxy gateway and security layer to block prompt injections, toxicity, and sensitive data leakage while ensuring that model interactions remain compliant with organizational policies. The system distinguishes itself through a modular scanner pipeline that utilizes local model orchestration to eliminate external network dependencies. It supports real-time security filtering via streaming chunk analysis and implements a fail-fast execution model

This project provides a collection of architectural guidelines and operational standards for building secure, maintainable, and scalable server-side software systems. It establishes a framework for implementing consistent development environments, system observability, and data security practices across distributed application environments. The repository focuses on standardizing software engineering conventions to ensure environment parity and system transparency. It covers the implementation of aggregated health monitoring, request throttling, and secure data handling, including the use of