Awesome GitHub RepositoriesCluster Node Management

Polars is a high-performance columnar data processing library designed for efficient analytical workflows. It functions as a structured data library that organizes information into typed columns, utilizing the Apache Arrow memory format to enable zero-copy data sharing and cache-friendly, vectorized operations. The engine is built to handle large-scale tabular datasets, providing both local and distributed analytical runtimes that scale from single-machine environments to multi-node clusters. The project distinguishes itself through a sophisticated lazy query engine that constructs abstract e

Vitess is a database clustering system for horizontal scaling of MySQL. It functions as a middleware layer that abstracts complex sharding and physical topology, allowing applications to interact with a distributed database environment through a unified interface. By intercepting and routing SQL queries across multiple shards, it enables large-scale data management while maintaining the appearance of a single database instance. The platform distinguishes itself through its ability to perform online schema migrations and distributed transaction coordination without requiring application downti

Excelize is a library for reading and writing spreadsheet files in the Office Open XML format. It provides a comprehensive suite of tools for programmatically creating, modifying, and analyzing workbooks, worksheets, and cell data, ensuring compatibility across various office software suites through structured XML serialization. The library distinguishes itself with a built-in formula calculation engine that evaluates complex mathematical and logical expressions directly against workbook data. It also features a memory-mapped streaming architecture, which allows for the efficient processing o

This project is a database driver for Node.js applications designed to interface with Redis. It provides structured access to data stores, enabling the execution of commands, management of data structures, and the implementation of atomic transaction processing. The client distinguishes itself through native support for the binary-safe serialization protocol and a promise-based command pipeline that groups operations to minimize latency. It includes a dedicated manager for distributed environments that handles node discovery and request routing, alongside an event-driven messaging system that

The AWS Cloud Development Kit is an infrastructure-as-code framework that enables developers to define and provision cloud resources using familiar programming languages. By utilizing construct-based synthesis, it translates high-level, object-oriented code into declarative templates, allowing for the automated management of complex cloud environments through a centralized, code-driven control plane. The framework distinguishes itself through its ability to model infrastructure as a dependency-aware resource graph, ensuring that components are provisioned and updated in the correct order. It

pysheeet est une bibliothèque de référence technique fournissant une collection organisée d'extraits de code et de modèles d'implémentation pour le développement Python avancé, l'intégration système et le calcul haute performance. Il sert de guide complet pour implémenter la programmation réseau de bas niveau, les extensions C natives, et la programmation asynchrone et concurrente. Le projet fournit des frameworks spécialisés pour le développement et le déploiement de grands modèles de langage, y compris des outils pour l'inférence GPU distribuée et le service haute performance. Il inclut également des modèles détaillés pour l'orchestration de clusters de calcul haute performance, couvrant l'allocation des ressources GPU et la gestion des charges de travail multi-nœuds. La bibliothèque couvre une large surface de capacités, y compris la communication réseau sécurisée et la cryptographie, l'ORM et la gestion de base de données, et l'implémentation de structures de données et d'algorithmes complexes. Elle fournit également des utilitaires pour la gestion de la mémoire, l'interopérabilité native via des interfaces de fonctions étrangères (FFI) et l'intégration au niveau du système d'exploitation.

This project is a Go client library and API wrapper for interacting with Elasticsearch clusters. It serves as a programmatic interface for managing documents, indices, and cluster health, allowing Go applications to perform search and indexing operations via the REST API. The library functions as a distributed search orchestrator, providing specialized tools for high-throughput data ingestion and cluster administration. It features a buffered bulk processor with exponential backoff retries for optimizing write performance and supports automated index lifecycle transitions and historical data

Metrics Server is a lightweight, single-purpose daemon that collects CPU and memory usage data from every node and pod in a Kubernetes cluster and exposes those metrics through a standard Kubernetes API endpoint. It registers as an aggregated extension API server behind the Kubernetes apiserver, making resource utilization data available to the Horizontal Pod Autoscaler and Vertical Pod Autoscaler for automatic replica count and resource request adjustments. The project distinguishes itself by operating as a focused, in-cluster resource metrics collector that polls kubelet summary endpoints a

Lettuce is a Redis client library for Java that provides synchronous, asynchronous, and reactive programming models for interacting with Redis databases. It supports standalone, cluster, sentinel, pub/sub, and search operations through a single thread-safe connection model that handles command execution without blocking the calling thread. The library distinguishes itself through its reactive streams integration with Project Reactor, enabling non-blocking, backpressure-aware data processing with Mono and Flux types. It offers cluster slot routing that transparently handles MOVED and ASK redir

gpustack est une plateforme de gestion de cluster GPU et un orchestrateur d'inférence LLM. Il fonctionne comme un système centralisé pour mettre en commun et orchestrer les unités de traitement graphique à travers les serveurs locaux et les environnements cloud, servant de gestionnaire de calcul hétérogène pour diverses configurations matérielles et logicielles. Le système fournit une passerelle de déploiement de modèle IA sécurisée qui sert les modèles en tant que services évolutifs en utilisant une authentification basée sur des clés. Il inclut un planificateur de ressources GPU qui équilibre les charges de travail à travers les accélérateurs et coordonne plusieurs moteurs d'inférence pour mapper des modèles IA spécifiques à un matériel compatible. La plateforme couvre une orchestration de cluster complète, y compris la récupération automatique en cas de défaillance, la surveillance des ressources en temps réel et la mise à l'échelle de l'inférence distribuée. Elle intègre l'optimisation des performances par la quantification et le décodage spéculatif pour maximiser le débit et réduire la latence. Les configurations système et l'état du cluster sont maintenus via la persistance de l'état de la base de données relationnelle externe.

TensorFlowOnSpark is a distributed framework for running TensorFlow machine learning workloads and model training across Apache Spark clusters. It functions as a cluster computing orchestrator that manages worker processes and resource allocation to scale deep learning tasks across multiple computing nodes. The platform enables distributed deep learning training and large-scale model inference, allowing users to execute tasks across a cluster of servers to handle datasets that exceed the memory of a single machine. It integrates deep learning workloads with Spark data processing to create end

TheHive is a security incident response platform and multi-tenant case management system. It functions as a Security Orchestration, Automation, and Response (SOAR) tool and a threat intelligence platform designed to coordinate security investigations by managing alerts, cases, and observables. The platform is distinguished by its multi-tenant architecture, which isolates data across different organizations while supporting selective cross-tenant sharing. It features a SOAR automation engine capable of executing sandboxed JavaScript logic to automate workflows and trigger response actions thro

Ce projet est une plateforme de calcul distribué conçue pour orchestrer des charges de travail conteneurisées sur des clusters de matériel hétérogène. Il fonctionne comme un plan de contrôle centralisé qui gère l'allocation des ressources, la planification et les environnements d'exécution, permettant aux organisations de partager une infrastructure de calcul haute performance de manière sécurisée entre plusieurs utilisateurs et projets. La plateforme se distingue par des capacités avancées de virtualisation matérielle et de gestion multi-tenant. Elle prend en charge le partitionnement des unités de traitement graphique (GPU) physiques en tranches fractionnaires, permettant à plusieurs utilisateurs simultanés d'accéder à des ressources matérielles dédiées avec une isolation stricte. De plus, le système fournit un accès distant sécurisé et chiffré à ces conteneurs isolés et maintient une fonctionnalité opérationnelle complète dans des environnements isolés (air-gapped) pour répondre aux exigences strictes de souveraineté des données. Au-delà de son orchestration principale, la plateforme inclut une architecture basée sur des plugins qui abstrait divers accélérateurs d'IA et backends de stockage, assurant des workflows cohérents sur des infrastructures sur site et dans le cloud. Elle propose des outils intégrés pour surveiller la santé du cluster, appliquer des quotas de ressources et gérer le stockage virtualisé, offrant une interface unifiée pour scaler et optimiser des tâches de calcul complexes.