Awesome GitHub RepositoriesData Anonymization

lnav is a terminal-based log viewer and analyzer designed for aggregating, filtering, and analyzing multiple log files in a single chronological view. It functions as a console application that can replace the system pager, providing syntax highlighting and document navigation for system or application logs. The project distinguishes itself by mapping unstructured log data to virtual SQLite tables, enabling the use of SQL and PRQL for structured data analysis, aggregations, and relational queries. It further differentiates its capability set through native integration for retrieving and taili

Yearning is a MySQL SQL audit platform and database change management system. It provides a governance framework for reviewing, approving, and auditing SQL statements executed against MySQL databases. The platform features an AI-powered SQL optimizer that suggests performance improvements and converts natural language requests into executable SQL code. It manages database changes through an approval-based workflow engine that includes automated rollback generation and rule-based syntax validation. The system covers role-based access control, security compliance with multi-factor authenticati

Presidio is a PII detection and anonymization framework designed to identify and mask personally identifiable information in text. It functions as a PII recognition pipeline and a data masking engine, using a combination of machine learning, regular expressions, and rule-based logic to locate sensitive entities. The system acts as an NER model orchestrator, allowing for the integration of external named entity recognition models and PII detectors to support multi-language privacy scrubbing. It employs a plugin-based recognizer architecture that can be extended with custom recognizers, deny-li

Espectre is an edge machine learning framework and motion detection platform that uses Wi-Fi Channel State Information to identify human presence and movement. It functions as a sensing toolkit for ESP32 microcontrollers, enabling the detection of motion through walls without the use of cameras or wearables. The project distinguishes itself by executing compact neural network classifiers and mathematical detection algorithms directly on the microcontroller. It utilizes a MicroPython runtime to allow for the prototyping and deployment of sensing logic and wireless signal processing algorithms

Mimesis هو مولد بيانات اصطناعية بلغة Python يستخدم لإنشاء مجموعات بيانات وهمية واقعية وبيانات تجريبية لاختبار البرمجيات وتطويرها. يعمل كمولد مجموعات بيانات قائم على المخطط (Schema) قادر على إنتاج سجلات منظمة ومجموعات بيانات علائقية، بينما يعمل أيضاً كمخفي بيانات للإنتاج لاستبدال المعلومات الحساسة بقيم اصطناعية. تتميز المكتبة بدعم شامل متعدد اللغات، مما يسمح بإنشاء معلومات خاصة بالموقع لمحاكاة ملفات تعريف المستخدمين الإقليمية. وتضمن إمكانية التكرار من خلال توليد البيانات الحتمية باستخدام البذور (Seeds)، مما يتيح إنشاء مجموعات بيانات متسقة عبر عمليات تشغيل مختلفة. تغطي الأداة مجموعة واسعة من المحتوى الاصطناعي، بما في ذلك الهوية الشخصية، والبيانات المالية، والعناوين الجغرافية، وبيانات الشبكة الوصفية، والتسلسلات العلمية. وتمتد قدراتها إلى تحويل البيانات من خلال المنطق الشرطي والأنابيب (Piping)، بالإضافة إلى التكامل مع إطارات البيانات (Dataframes) وأنماط المصنع (Factory patterns). كما تدعم إنشاء رموز النظام الموحدة، ورموز التشفير، ومحاكاة الملفات الثنائية. إطار العمل قابل للتوسيع عبر مزودي بيانات مخصصين ومعالجات حقول، مما يسمح للمستخدمين بدمج منطق خاص بالمجال وملفات JSON خارجية لتوليد بيانات متخصصة.

Replibyte is a tool that automates the lifecycle of database snapshots for non-production environments, handling the export, anonymization, subsetting, and restoration of data. It is designed to support privacy-compliant development workflows by replacing sensitive production data with synthetic values and extracting consistent subsets of rows while preserving referential integrity. The tool operates through a configurable pipeline defined in a YAML file, orchestrating stages such as dump, anonymize, subset, and restore. Each operation runs as an isolated, ephemeral container job, and snapsho

OptiLLM هو وكيل استنتاج وموجه بوابة يوجه المطالبات إلى نماذج لغوية محددة بناءً على التكلفة والأداء وصحة المزود. يعمل كطبقة وسيطة مصممة لتحسين الطلبات من خلال التوجيه الذكي، وموازنة الحمل، وإدارة السياق. يوفر المشروع قدرات متخصصة لحماية البيانات عن طريق إخفاء هوية المعلومات الشخصية قبل وصول الطلبات إلى النموذج. يعمل أيضاً كمنسق للتفكير وطبقة تكامل للأدوات، باستخدام حلقات وقت الاستنتاج والتأمل الذاتي لتحسين الدقة مع ربط النماذج بخوادم البروتوكول الخارجية، ومحتوى الويب، ومترجمي الكود. تتضمن الوظائف الإضافية واجهة قائمة على المخطط لتوليد مخرجات منظمة وقابلة للقراءة آلياً. يدير النظام أيضاً التوافر العالي عبر موازنة حمل مستوى المزود ومراقبة الصحة.

NeoSync هي أداة لمزامنة قواعد البيانات ومنسق لخطوط أنابيب البيانات مصممة لنقل وتحويل مجموعات البيانات عبر بيئات مختلفة. تعمل كمنصة لأمن بيانات PII ومولد بيانات اصطناعية، مما يسمح بمزامنة بيانات الإنتاج مع ضمان الامتثال للخصوصية. يستخدم النظام منسقاً قائماً على مصادر الأحداث لإدارة حركات البيانات غير المتزامنة، مما يوفر إعادة محاولة تلقائية ومعالجة للفشل. يتميز بدمج إخفاء هوية PII القائم على القواعد والكشف عنها مع توليد البيانات الاصطناعية القائم على المخطط لإنشاء مجموعات بيانات اصطناعية تحاكي خصائص الإنتاج دون كشف معلومات خاصة. يغطي المشروع مجالات قدرات واسعة بما في ذلك تقسيم قواعد البيانات لتقليل حجم البيانات للاختبار، وتحويلات الحقول القائمة على القوالب لإعادة تشكيل المعلومات، وتنسيق خطوط أنابيب البيانات للحفاظ على السلامة العلائقية أثناء المزامنة.

OptiLLM هو إطار عمل للاستدلال والتحسين بالذكاء الاصطناعي يعمل كوكيل API لتعزيز جودة استجابات النماذج اللغوية الكبيرة. يقوم باعتراض الطلبات لتطبيق منطق الاستدلال أثناء وقت التشغيل (inference-time) وتنقيح المخرجات قبل إعادتها إلى العميل. يتميز المشروع بدمج أشجار البحث أثناء الاستدلال للتحقق المنطقي، وخط معالجة لإخفاء الهوية يقوم بإزالة المعلومات الشخصية من المطالبات (prompts). كما يوسع قدرات النموذج من خلال تنسيق أدوات خارجية، بما في ذلك تنفيذ الأكواد في الوقت الفعلي والبحث الذاتي عبر الويب. يوفر النظام بنية تحتية أوسع لإدارة النماذج، بما في ذلك موازنة الحمل عبر مزودين متعددين والقدرة على تشغيل النماذج والمحولات (adapters) محلياً. كما يتعامل مع فرض المخرجات المهيكلة من خلال قيود المخطط (schema constraints) ويدير سجلات المحادثات الممتدة عبر طبقة ذاكرة سياق افتراضية. صُممت طبقة الوكيل لتكون متوافقة مع نقاط نهاية API القياسية، مما يسمح بدمجها دون تغيير كود العميل الحالي.

MNBVC is a dataset pipeline and toolkit designed for the collection, cleaning, and normalization of massive text and code corpora used to train large language models. It provides specialized tools for harvesting source code, commit histories, and repository metadata from version control platforms, alongside a multilingual text corpus collector for gathering parallel text and academic papers. The project distinguishes itself through comprehensive capabilities for processing diverse document types, including a PDF-to-text converter that transforms complex layouts and formulas into structured JS

LLM Guard is a security firewall and guardrail framework designed to scan and sanitize inputs and outputs for large language models. It functions as a proxy gateway and security layer to block prompt injections, toxicity, and sensitive data leakage while ensuring that model interactions remain compliant with organizational policies. The system distinguishes itself through a modular scanner pipeline that utilizes local model orchestration to eliminate external network dependencies. It supports real-time security filtering via streaming chunk analysis and implements a fail-fast execution model

This project provides a collection of architectural guidelines and operational standards for building secure, maintainable, and scalable server-side software systems. It establishes a framework for implementing consistent development environments, system observability, and data security practices across distributed application environments. The repository focuses on standardizing software engineering conventions to ensure environment parity and system transparency. It covers the implementation of aggregated health monitoring, request throttling, and secure data handling, including the use of