Awesome GitHub RepositoriesSnapshot Metadata Retrievers

This project is a markdown knowledge base used to maintain a curated collection of concise technical notes and write-ups across various programming languages and tools. It serves as a searchable personal reference library for documenting technical discoveries and software development patterns. The system implements a learning in public workflow, transforming markdown-based content storage into a static site. It utilizes directory-based routing to map folder structures to URL paths and employs schema-driven type generation to ensure data consistency across the knowledge base. The codebase cov

dbt-core is a command-line framework for transforming data within a warehouse using modular SQL and version control. It functions as a data transformation engine that enables users to define data structures and business logic through declarative configuration files, which the system then compiles into executable code. By managing complex data dependencies through a directed acyclic graph, it ensures that transformation tasks execute in the correct order while maintaining a manifest-driven state to track lineage and execution history. The project distinguishes itself through an adapter-based d

Canopy is the official Go implementation of a blockchain node that runs a recursive network architecture, enabling new blockchains to launch as dependent layers that can later graduate into fully independent security roots. The project provides a hybrid consensus mechanism that combines Byzantine fault-tolerant Proof-of-Stake with Verifiable-Delay Functions, delivering instant finality while protecting against long-range attacks through trustless chain age verification. Validators secure multiple chains simultaneously through restaking, where a single bonded stake serves as collateral across t

Flare-VM ist eine Windows-Umgebung zur Malware-Analyse, die aus Installationsskripten besteht, welche die Bereitstellung einer virtuellen Maschine automatisieren. Sie bietet eine umfassende Suite an Reverse-Engineering-Werkzeugen, einschließlich Decompiler und Debugger, zusammen mit den notwendigen Systemkonfigurationen und Umgebungsvariablen für die Sicherheitsforschung. Das Projekt fungiert als Orchestrator für Images virtueller Maschinen und ermöglicht die automatisierte Erstellung, Verwaltung und den Export spezialisierter Analyse-Appliances. Es bietet eine konfigurationsgesteuerte Werkzeugauswahl und die Möglichkeit, die Installationslogik durch benutzerdefinierte Registry-Modifikationen und Systemlayout-Definitionen zu erweitern. Das System umfasst Funktionen für eine isolierte Netzwerkkonfiguration, um die externe Kommunikation über den Host-Only-Modus zu verhindern. Es verwaltet zudem den gesamten Lebenszyklus von Analyseständen durch Snapshot-basiertes Zustandsmanagement, einschließlich der Möglichkeit, Snapshots als verifizierte Appliance-Dateien zu bereinigen oder zu exportieren.

This project is a Go client library and API wrapper for interacting with Elasticsearch clusters. It serves as a programmatic interface for managing documents, indices, and cluster health, allowing Go applications to perform search and indexing operations via the REST API. The library functions as a distributed search orchestrator, providing specialized tools for high-throughput data ingestion and cluster administration. It features a buffered bulk processor with exponential backoff retries for optimizing write performance and supports automated index lifecycle transitions and historical data

ZeroByte is a backup management platform built around the Restic backup engine, providing encrypted, deduplicated, and compressed snapshots across multiple storage backends. It offers a web interface for scheduling, monitoring, and managing backup operations, with support for cron-based job scheduling and configurable retention policies that automatically prune older snapshots. The platform distinguishes itself through comprehensive multi-protocol volume mounting, allowing backup ingestion from NFS, SMB, WebDAV, SFTP, and rclone-backed sources alongside local directories. It includes a snapsh

Microsandbox is a runtime for creating and managing lightweight, hardware-isolated virtual machines — called sandboxes — that boot directly from standard OCI container images. Each sandbox runs as its own host process with a separate kernel, filesystem, and network stack, providing process-per-sandbox isolation. The project includes a command-line tool and multi-language SDKs (Rust, TypeScript, Python, Go) for programmatic lifecycle control, and it communicates with sandbox agents over Unix sockets using a CBOR-encoded protocol. What distinguishes Microsandbox is its combination of host-manag

Osmedeus is a security workflow orchestration engine that coordinates AI agents, shell commands, and scanning tools through declarative YAML pipelines. It functions as a distributed security scanner, a declarative workflow automator, and an AI agent framework for security, enabling automated multi-step security analysis with conditional branching, parallel execution, and distributed workers. The engine distinguishes itself through a hybrid runner model that executes workflow steps on the local host, inside Docker containers, or over SSH to remote machines, selected per step or module. It supp

GreptimeDB is a distributed, open-source time-series database built for unified observability. It stores and queries metrics, logs, and traces together in a single columnar engine, supporting both SQL and PromQL for analysis. The database is designed as a Kubernetes-native operator with a decoupled compute and storage architecture, enabling horizontal scaling and multi-region deployment. What distinguishes GreptimeDB is its role as a multi-protocol ingestion gateway, accepting data through OpenTelemetry, Prometheus Remote Write, InfluxDB, Loki, Elasticsearch, Kafka, and MQTT protocols without

Reth is a modular, high-performance Ethereum execution layer client written in Rust. It serves as a full Ethereum node that syncs, validates, and serves blockchain data, functioning as an archive node implementation, a high-throughput RPC node server, and a snapshot sync tool. The project is built around a modular component architecture that allows assembling custom node behavior by swapping independent Rust crates for consensus, execution, mempool, and networking. The client distinguishes itself through a staged sync pipeline that downloads headers and bodies online before processing the res

lakeFS ist ein Data-Lake-Versionierungssystem, das Git-ähnliche Branching- und Commit-Funktionen für große Datensätze in Objektspeichern bietet. Es fungiert als Versionskontrollschicht und ermöglicht die Erstellung unveränderlicher Snapshots, atomarer Commits und Zero-Copy-Branching, um isolierte Umgebungen für Datenexperimente zu schaffen, ohne physische Dateien zu duplizieren. Das System dient als S3-kompatibles Storage-Gateway und Iceberg-REST-Katalog, wodurch Standard-Cloud-Storage-Protokolle und kompatible Clients versionierte Tabellen verwalten können. Es fungiert als Data-Quality-Gatekeeper, indem es ein eventgesteuertes Hook-System nutzt, um Datensätze gegen Governance-Richtlinien zu validieren, bevor Änderungen in die Produktion gemergt werden. Die Plattform deckt umfassende Funktionen für Data-Governance ab, einschließlich Pull-Request-Kollaboration, rollenbasierter Zugriffskontrolle und Data-Lineage-Tracking. Sie bietet Integrationen für Workflow-Orchestrierung, Machine-Learning-Pipelines und verschiedene Big-Data-Compute-Engines und unterstützt Multi-Cloud-Storage-Konnektivität sowie Identitätssynchronisation via SSO und SCIM. Die Software kann mittels Binärdateien, Containern oder Helm-Charts für die Bereitstellung auf Kubernetes installiert werden.

Pacu ist ein Exploitation-Framework, das für das Auditieren und Testen der Sicherheit von Amazon Web Services (AWS)-Umgebungen entwickelt wurde. Es dient als Cloud-Penetration-Testing-Tool und Ressourcen-Enumerator, um Fehlkonfigurationen zu identifizieren, Angriffsflächen abzubilden und Pfade zur Privilegieneskalation auszuführen. Das Framework bietet spezialisierte Funktionen für Post-Exploitation- und Red-Team-Operationen, einschließlich der Etablierung von Persistenz durch Backdooring von Identity and Access Management (IAM). Es zeichnet sich durch ein Plugin-basiertes Modulsystem aus, das die Entwicklung benutzerdefinierter Aufgaben und die Orchestrierung von API-Anfragen über mehrere geografische Regionen hinweg ermöglicht. Das Projekt deckt ein breites Spektrum an Sicherheitsaudit-Aktivitäten ab, einschließlich Infrastruktur-Enumeration, Datenexfiltration aus Speicherdiensten und Identitäts-Audits. Es enthält Tools für Remote Code Execution via Payload-Injection und Startskripte sowie Funktionen zur Störung von Erkennungsdiensten und zur Analyse lateraler Netzwerkbewegungen. Pacu verwaltet zielspezifische Authentifizierungsschlüssel und Sitzungsmetadaten unter Verwendung isolierter Container und einer lokalen Datenbank, um den Status beizubehalten und API-Aufrufe zu reduzieren.

GlusterFS ist ein softwaredefiniertes verteiltes Dateisystem und Scale-Out-Storage-Cluster, das Festplattenressourcen von mehreren Servern in einem einzigen globalen Namensraum aggregiert. Es fungiert als vereinheitlichte Speicherplattform, die es ermöglicht, dieselben zugrunde liegenden Daten über Datei-, Block- und Objektspeicherschnittstellen bereitzustellen. Das System zeichnet sich durch eine dezentrale Architektur aus, die konsistentes Hashing verwendet, um Dateien über Netzwerkknoten hinweg ohne zentralen Metadaten-Server zu verteilen. Es stellt Datenintegrität und -verfügbarkeit durch selbstheilende Replikation, Quorum-basierte Konsistenz zur Vermeidung von Split-Brain-Szenarien sowie asynchrone Geo-Replikation für die Notfallwiederherstellung über entfernte geografische Standorte hinweg sicher. Die Plattform bietet eine breite Abdeckung von Funktionen über Multi-Protokoll-Speicherexport via NFS, Samba und iSCSI sowie umfassende Volume-Verwaltung, einschließlich Point-in-Time-Snapshots, Speicherkontingenten und elastischer Kapazitätserweiterung. Die Sicherheit wird durch TLS-Verschlüsselung für Daten während der Übertragung, Identitätsmanagement-Integration und granulare POSIX-Zugriffskontrolle gehandhabt. Die Software ist als Binärpakete über Community-Repositories für verschiedene Linux-Distributionen verfügbar.

vibesdk is an agentic software development platform and framework designed to coordinate autonomous agents that write, debug, and refine full-stack applications from natural language. It serves as a cloud-native application orchestrator and an LLM-powered code generation framework that converts prompts into functional code through iterative conversations and multi-phase agent behaviors. The project distinguishes itself by providing a complete toolchain for building AI development platforms. This includes the ability to integrate various model providers, construct custom LLM toolkits, and mana

Bistoury ist ein Produktionsdiagnosetool für Java-Anwendungen, das eine verteilte Debugging-Konsole, einen Performance-Profiler und einen Runtime-Bytecode-Manipulator bereitstellt. Es ermöglicht Echtzeit-Anwendungs-Debugging und Produktionsdiagnose durch die Analyse laufender Java-Anwendungen mittels dynamischer Instrumentierung und Zustandsinspektion. Das System zeichnet sich durch einen Remote-Agent-Manager aus, der Diagnoseverbindungen koordiniert, sowie einen Runtime-Bytecode-Manipulator, der in der Lage ist, Klassen im Speicher neu zu definieren, ohne Prozessneustarts zu erfordern. Es bietet eine Weboberfläche zum Erfassen von Heap-Dumps, Thread-Stacks und lokalen Variablen über mehrere Serverinstanzen hinweg, unterstützt durch eine Proxy-vermittelte Kommunikationsschicht zum Routen von Befehlen an Remote-Ziele. Das Projekt deckt ein breites Spektrum an Observability-Funktionen ab, einschließlich CPU-Performance-Profiling mittels asynchronem Stack-Sampling und Flame-Graphs, verteilter Log-Verwaltung über mehrere Maschinen hinweg und nicht-blockierender Zustandserfassung mittels bedingter Breakpoints. Es enthält zudem Dienstprogramme zur Quellwiederherstellung, die Runtime-Bytecode mit dem ursprünglichen Quellcode durch Dekompilierung oder Integration mit Git- und Maven-Repositories verknüpfen. Das Tool bietet eine Webkonsole und Befehlszeilenschnittstellen für die Verwaltung von Logs, das Abrufen von Systemdateien und die Inspektion von Systemkonfiguration und Umgebungsvariablen.

jest-image-snapshot ist eine Node.js-Bibliothek für Bildtests und eine Engine für visuellen Vergleich, die für visuelle Regressionstests innerhalb von Jest entwickelt wurde. Sie bietet einen benutzerdefinierten Matcher, um aktuelle Bilder mit Baseline-Snapshots zu vergleichen und Pixelabweichungen zu identifizieren. Das Tool generiert Bild-Diffs, die spezifische Unterschiede zwischen Baseline- und empfangenen Snapshots hervorheben. Es enthält Mechanismen zur Aktualisierung von Baseline-Bildern bei genehmigten Änderungen und ermöglicht die Anpassung der Empfindlichkeit über Pixelanzahl, prozentuale Schwellenwerte oder Weichzeichnung, um Rauschen zu ignorieren. Die Bibliothek deckt das Management von Bild-Snapshots ab, einschließlich benutzerdefinierter Speicherkonfiguration für Verzeichnispfade sowie Dienstprogramme zum Identifizieren und Entfernen veralteter Snapshots, die nicht mehr mit aktiven Tests verknüpft sind. Sie unterstützt sowohl Pixel-für-Pixel- als auch strukturelle Ähnlichkeitsalgorithmen zur Überprüfung der Konsistenz von Benutzeroberflächen.

Backup Manager is a command-line utility designed to automate the export, compression, and restoration of database snapshots. It functions as a centralized tool for managing database disaster recovery by facilitating the transfer of data to both local and remote storage environments. The project distinguishes itself through a configuration-driven approach to task scheduling, allowing for the automation of routine backup operations without manual intervention. It utilizes a pipeline-based processing model that streams database output through encryption and compression filters before routing th