Awesome GitHub RepositoriesAuthoritative

This project serves as a comprehensive technical reference for the architecture and design of data-intensive applications. It provides a structured analysis of the fundamental principles required to build reliable, scalable, and maintainable software systems, covering the core trade-offs inherent in modern data infrastructure. The repository explores the mechanics of distributed data management, including strategies for replication, partitioning, and achieving consensus across multiple nodes. It details the design of storage engines, indexing techniques, and transaction management models, whi

This project is a command-line synchronization client for OneDrive and SharePoint libraries on Linux. It functions as a synchronization engine that aligns local filesystems with cloud storage through bidirectional, unidirectional, or download-only workflows. The client supports headless authentication for servers without web browsers and can be deployed as a background service or within a containerized environment. It enables the management of multiple distinct cloud accounts on a single system and integrates with shared SharePoint sites and document libraries. The synchronization engine inc

DataHub is a metadata management platform designed to unify technical, operational, and business context across diverse data ecosystems. By utilizing a graph-based metadata model and an event-driven ingestion architecture, it creates a centralized source of truth that maps complex data relationships, lineage, and ownership. This foundational framework enables organizations to maintain a synchronized view of their data landscape, supporting both human-led discovery and automated data operations. The platform distinguishes itself through its focus on grounding artificial intelligence and autono

Lsyncd ist ein ereignisgesteuerter Verzeichnissynchronisations-Daemon, der lokale Dateisystemänderungen überwacht, um Daten auf entfernte Server zu spiegeln. Er fungiert als anpassbarer Sync-Orchestrator, der auf Dateierstellungen, -änderungen und -löschungen achtet, um automatisierte Synchronisationsaufgaben oder benutzerdefinierte Skripte auszulösen. Das Tool automatisiert speziell rsync-Workflows und nutzt Secure-Shell-Verbindungen, um konsistente Kopien lokaler Daten auf entfernten Zielen zu pflegen. Es optimiert die Datenübertragung durch die Durchführung entfernter Dateiverwaltung, wie Umbenennungen und Löschungen, via Secure Shell, um unnötige Neuübertragungen zu vermeiden. Die Funktionen des Systems umfassen Echtzeit-Dateisystemüberwachung über verschiedene Betriebssysteme hinweg, einschließlich macOS. Es verwaltet den Synchronisationslebenszyklus durch die Auswertung von Prozess-Exit-Codes, um zu bestimmen, ob Aufgaben wiederholt oder beendet werden sollen. Benutzer können benutzerdefinierte Synchronisationslogik definieren und spezifische Dateisystemereignisse auf externe Skripte oder Shell-Befehle abbilden.

gradle-play-publisher ist ein Gradle-Plugin zur Automatisierung der Veröffentlichung und des Deployments von Android-Apps im Google Play Store. Es übernimmt den Upload von App-Bundles und Binärdateien und verwaltet den Übergang von Releases über verschiedene Distribution-Tracks hinweg. Das Projekt bietet spezialisierte Workflows zur Synchronisierung von Store-Metadaten, wodurch lokalisierte Beschreibungen und Grafik-Assets verwaltet und aktualisiert werden können. Es enthält zudem Tools zur Konfiguration von In-App-Produktdetails und Abo-Modellen für die Monetarisierung der Anwendung. Weitere Funktionen umfassen die Beta-Distribution über interne Sharing-Kanäle und die Auflösung von Versionscode-Konflikten während des Upload-Prozesses. Das Tool unterstützt außerdem Release-Promotionen und die Anpassung von Rollout-Prozentsätzen für aktive Releases.

PowerDNS is DNS server software used for serving authoritative and recursive DNS records. It functions as both an authoritative DNS server, providing definitive records for specific domains from trusted databases, and a recursive DNS resolver that finds answers for any domain by iteratively querying external servers. The project distinguishes itself through a backend-abstraction layer that decouples server logic from data storage, allowing records to be served from SQL databases, zone files, and external APIs. It includes a geo-aware DNS router to direct users to the nearest server based on t

Cartography ist ein graphbasiertes Framework zur Infrastrukturvisualisierung und Sicherheitsanalyse. Es erfasst Daten von verschiedenen Cloud-, Identitäts- und Software-as-a-Service-Anbietern, um komplexe Beziehungen zwischen Ressourcen, Benutzern und Sicherheitsergebnissen in einer zentralen Graphdatenbank zu modellieren. Durch die Abbildung dieser Abhängigkeiten ermöglicht die Plattform Unternehmen, Transparenz über ihre Umgebung zu gewinnen und potenzielle Sicherheitsrisiken durch Graph-Traversal-Abfragen zu identifizieren. Die Plattform zeichnet sich durch ihre ontologiebasierte Normalisierung und plattformübergreifende Entitätskorrelation aus, die heterogene Daten aus mehreren Quellen in ein einheitliches, konsistentes Modell überführen. Sie verwendet modulare Ingestions-Pipelines und schema-basierte Filterung, um diesen Graphen zu pflegen und sicherzustellen, dass Infrastrukturdaten durch automatisiertes, zustandsbasiertes Bereinigen veralteter Knoten korrekt bleiben. Dieser Ansatz ermöglicht die Entdeckung komplexer Angriffspfade und Sicherheitsfehlkonfigurationen, die sich über disparate Cloud-, Geräte- und Identitätsmanagementsysteme erstrecken. Über die Kernmodellierung hinaus bietet das System umfangreiche Funktionen für Asset-Inventarisierung, Identitäts-Governance und Software-Supply-Chain-Analyse. Es unterstützt eine breite Palette von Integrationen, einschließlich Cloud-nativer Compute- und Netzwerkressourcen, Endpunkt-Management-Telemetrie und Metadaten des Entwicklungslebenszyklus. Benutzer können die Funktionalität der Plattform erweitern, indem sie benutzerdefinierte Sicherheitsregeln definieren, spezialisierte Datenanalyse-Jobs hinzufügen oder neue Intelligenzquellen über das modulare Framework integrieren. Das Projekt ist in Python implementiert und bietet Dokumentation für die Konfiguration von Ingestionsmodulen und die Definition benutzerdefinierter Graph-Abfragen.