Awesome GitHub RepositoriesData Anonymization

lnav is a terminal-based log viewer and analyzer designed for aggregating, filtering, and analyzing multiple log files in a single chronological view. It functions as a console application that can replace the system pager, providing syntax highlighting and document navigation for system or application logs. The project distinguishes itself by mapping unstructured log data to virtual SQLite tables, enabling the use of SQL and PRQL for structured data analysis, aggregations, and relational queries. It further differentiates its capability set through native integration for retrieving and taili

Yearning is a MySQL SQL audit platform and database change management system. It provides a governance framework for reviewing, approving, and auditing SQL statements executed against MySQL databases. The platform features an AI-powered SQL optimizer that suggests performance improvements and converts natural language requests into executable SQL code. It manages database changes through an approval-based workflow engine that includes automated rollback generation and rule-based syntax validation. The system covers role-based access control, security compliance with multi-factor authenticati

Presidio is a PII detection and anonymization framework designed to identify and mask personally identifiable information in text. It functions as a PII recognition pipeline and a data masking engine, using a combination of machine learning, regular expressions, and rule-based logic to locate sensitive entities. The system acts as an NER model orchestrator, allowing for the integration of external named entity recognition models and PII detectors to support multi-language privacy scrubbing. It employs a plugin-based recognizer architecture that can be extended with custom recognizers, deny-li

Espectre is an edge machine learning framework and motion detection platform that uses Wi-Fi Channel State Information to identify human presence and movement. It functions as a sensing toolkit for ESP32 microcontrollers, enabling the detection of motion through walls without the use of cameras or wearables. The project distinguishes itself by executing compact neural network classifiers and mathematical detection algorithms directly on the microcontroller. It utilizes a MicroPython runtime to allow for the prototyping and deployment of sensing logic and wireless signal processing algorithms

Mimesis ist ein Python-Generator für synthetische Daten, der zur Erstellung realistischer Testdatensätze und Mock-Daten für die Softwareentwicklung verwendet wird. Er fungiert als schema-basierter Datengenerator, der strukturierte Datensätze und relationale Daten erzeugen kann, und dient zudem als Anonymisierungstool für Produktionsdaten, um sensible Informationen durch synthetische Werte zu ersetzen. Die Bibliothek zeichnet sich durch umfassende Unterstützung für mehrere Sprachen aus, was die Generierung lokalisierter Informationen zur Simulation regionaler Benutzerprofile ermöglicht. Sie stellt Reproduzierbarkeit durch deterministische Datengenerierung mittels Seeds sicher, was konsistente Datensätze über verschiedene Durchläufe hinweg erlaubt. Das Tool deckt eine breite Palette an synthetischen Inhalten ab, darunter persönliche Identitäten, Finanzdaten, geografische Adressen, Netzwerk-Metadaten und wissenschaftliche Sequenzen. Die Funktionen erstrecken sich auf Datentransformation durch bedingte Logik und Piping sowie die Integration mit Dataframes und Factory-Mustern. Zudem unterstützt es die Generierung standardisierter Systemcodes, kryptografischer Token und das Mocking von Binärdateien. Das Framework ist über benutzerdefinierte Datenanbieter und Field-Handler erweiterbar, wodurch Benutzer domänenspezifische Logik und externe JSON-Dateien für spezialisierte Datengenerierung integrieren können.

Replibyte is a tool that automates the lifecycle of database snapshots for non-production environments, handling the export, anonymization, subsetting, and restoration of data. It is designed to support privacy-compliant development workflows by replacing sensitive production data with synthetic values and extracting consistent subsets of rows while preserving referential integrity. The tool operates through a configurable pipeline defined in a YAML file, orchestrating stages such as dump, anonymize, subset, and restore. Each operation runs as an isolated, ephemeral container job, and snapsho

OptiLLM is an inference proxy and gateway router that directs prompts to specific language models based on cost, performance, and provider health. It functions as a middleware layer designed to optimize requests through intelligent routing, load balancing, and context management. The project provides specialized capabilities for data protection by anonymizing personally identifiable information before requests reach a model. It also acts as a reasoning orchestrator and tool integration layer, using inference-time loops and self-reflection to improve accuracy while connecting models to externa

OptiLLM ist ein Framework für KI-Reasoning und -Optimierung, das als API-Proxy fungiert, um die Antwortqualität von Large Language Models zu verbessern. Es fängt Anfragen ab, um während der Inferenz Reasoning-Logik anzuwenden und die Ausgabe zu verfeinern, bevor die Ergebnisse an den Client zurückgegeben werden. Das Projekt zeichnet sich durch eine Kombination aus Inferenz-Suchbäumen zur logischen Verifizierung und einer Anonymisierungs-Pipeline aus, die personenbezogene Daten aus Prompts entfernt. Zudem erweitert es die Modellfähigkeiten durch die Orchestrierung externer Tools, einschließlich Echtzeit-Codeausführung und autonomer Web-Recherche. Das System bietet eine umfassende Infrastruktur für das Modellmanagement, einschließlich Load Balancing über mehrere Anbieter hinweg sowie die Möglichkeit, lokale Modelle und Adapter bereitzustellen. Es erzwingt strukturierte Ausgaben durch Schema-Constraints und verwaltet erweiterte Konversationsverläufe über eine virtuelle Kontext-Speicherschicht. Die Proxy-Schicht ist mit Standard-API-Endpunkten kompatibel, sodass sie ohne Änderungen am bestehenden Client-Code integriert werden kann.

NeoSync ist ein Datenbank-Synchronisationstool und ein Daten-Pipeline-Orchestrator, der darauf ausgelegt ist, Datensätze über verschiedene Umgebungen hinweg zu verschieben und zu transformieren. Es fungiert als PII-Datensicherheitsplattform und Generator für synthetische Daten, der die Synchronisation von Produktionsdaten bei gleichzeitiger Gewährleistung der Datenschutz-Compliance ermöglicht. Das System nutzt einen Event-Sourced-Koordinator zur Verwaltung asynchroner Datenbewegungen und bietet automatisierte Wiederholungs- und Fehlerbehandlungsmechanismen. Es zeichnet sich durch die Kombination regelbasierter PII-Anonymisierung und -Erkennung mit schemabasierter Generierung synthetischer Daten aus, um künstliche Datensätze zu erstellen, die Produktionseigenschaften nachahmen, ohne private Informationen preiszugeben. Das Projekt deckt breite Funktionsbereiche ab, einschließlich Datenbank-Subsetting zur Reduzierung des Datenvolumens für Tests, vorlagenbasierter Feldtransformationen zur Umgestaltung von Informationen und der Orchestrierung von Daten-Pipelines zur Wahrung der relationalen Integrität während der Synchronisation.

MNBVC is a dataset pipeline and toolkit designed for the collection, cleaning, and normalization of massive text and code corpora used to train large language models. It provides specialized tools for harvesting source code, commit histories, and repository metadata from version control platforms, alongside a multilingual text corpus collector for gathering parallel text and academic papers. The project distinguishes itself through comprehensive capabilities for processing diverse document types, including a PDF-to-text converter that transforms complex layouts and formulas into structured JS

LLM Guard is a security firewall and guardrail framework designed to scan and sanitize inputs and outputs for large language models. It functions as a proxy gateway and security layer to block prompt injections, toxicity, and sensitive data leakage while ensuring that model interactions remain compliant with organizational policies. The system distinguishes itself through a modular scanner pipeline that utilizes local model orchestration to eliminate external network dependencies. It supports real-time security filtering via streaming chunk analysis and implements a fail-fast execution model

This project provides a collection of architectural guidelines and operational standards for building secure, maintainable, and scalable server-side software systems. It establishes a framework for implementing consistent development environments, system observability, and data security practices across distributed application environments. The repository focuses on standardizing software engineering conventions to ensure environment parity and system transparency. It covers the implementation of aggregated health monitoring, request throttling, and secure data handling, including the use of