Awesome GitHub RepositoriesCustom Database Operators

Garnet is a multi-threaded in-memory database and distributed key-value store. It functions as a high-performance remote cache store that implements the RESP wire protocol to maintain compatibility with existing Redis clients and libraries. The project is distinguished by a shared-memory architecture that enables parallel request processing across multiple cores for sub-millisecond latency. It features a tiered storage system that automatically offloads colder data from system memory to SSD or cloud storage layers, and includes a specialized vector search database for high-dimensional similar

Dag-factory ist ein Framework zur Erstellung und Verwaltung von Apache Airflow-Datenpipelines durch deklarative Konfigurationsdateien. Durch den Ersatz von manuellem prozeduralem Code durch strukturierte YAML-Definitionen ermöglicht es die programmatische Generierung komplexer Workflow-Strukturen, Task-Abhängigkeiten und Ausführungspläne. Das Projekt zeichnet sich dadurch aus, dass Konfigurationsschlüssel direkt auf Python-Klassenkonstruktoren und Operatoren abgebildet werden, was die dynamische Instanziierung von Objekten und benutzerdefinierter Logik ermöglicht. Es unterstützt hierarchische Konfigurationsvererbung zur Standardisierung von Einstellungen über Umgebungen hinweg und bietet Mechanismen zur direkten Injektion von Kubernetes-Pod-Spezifikationen in Task-Definitionen, um eine isolierte, skalierbare Ausführung zu gewährleisten. Das Framework deckt den gesamten Pipeline-Lebenszyklus ab, einschließlich automatisierter Dateierkennung, dynamischem Mapping auf Task-Ebene für parallele Verarbeitung und das Anhängen von Metadaten für die Integration externer Systeme. Es enthält zudem CLI-Tools zur Validierung von Konfigurationen, zum Auslösen von Ausführungen und zur Verwaltung von Umgebungsmigrationen.