Awesome GitHub RepositoriesCustom Database Operators

Garnet is a multi-threaded in-memory database and distributed key-value store. It functions as a high-performance remote cache store that implements the RESP wire protocol to maintain compatibility with existing Redis clients and libraries. The project is distinguished by a shared-memory architecture that enables parallel request processing across multiple cores for sub-millisecond latency. It features a tiered storage system that automatically offloads colder data from system memory to SSD or cloud storage layers, and includes a specialized vector search database for high-dimensional similar

Dag-factory est un framework pour construire et gérer des pipelines de données Apache Airflow via des fichiers de configuration déclaratifs. En remplaçant le code procédural manuel par des définitions YAML structurées, il permet la génération programmatique de structures de workflow complexes, de dépendances de tâches et de calendriers d'exécution. Le projet se distingue en mappant les clés de configuration directement aux constructeurs de classes et opérateurs Python, permettant l'instanciation dynamique d'objets et une logique personnalisée. Il prend en charge l'héritage de configuration hiérarchique pour standardiser les paramètres entre les environnements et fournit des mécanismes pour injecter des spécifications de pods Kubernetes directement dans les définitions de tâches afin d'assurer une exécution isolée et évolutive. Le framework couvre l'intégralité du cycle de vie du pipeline, incluant la découverte automatique de fichiers, le mappage dynamique au niveau des tâches pour le traitement parallèle et l'attachement de métadonnées pour l'intégration avec des systèmes externes. Il inclut également des utilitaires en ligne de commande pour valider les configurations, déclencher des exécutions et gérer les migrations d'environnement.