Awesome GitHub RepositoriesCluster Node Management

Polars is a high-performance columnar data processing library designed for efficient analytical workflows. It functions as a structured data library that organizes information into typed columns, utilizing the Apache Arrow memory format to enable zero-copy data sharing and cache-friendly, vectorized operations. The engine is built to handle large-scale tabular datasets, providing both local and distributed analytical runtimes that scale from single-machine environments to multi-node clusters. The project distinguishes itself through a sophisticated lazy query engine that constructs abstract e

Vitess is a database clustering system for horizontal scaling of MySQL. It functions as a middleware layer that abstracts complex sharding and physical topology, allowing applications to interact with a distributed database environment through a unified interface. By intercepting and routing SQL queries across multiple shards, it enables large-scale data management while maintaining the appearance of a single database instance. The platform distinguishes itself through its ability to perform online schema migrations and distributed transaction coordination without requiring application downti

Excelize is a library for reading and writing spreadsheet files in the Office Open XML format. It provides a comprehensive suite of tools for programmatically creating, modifying, and analyzing workbooks, worksheets, and cell data, ensuring compatibility across various office software suites through structured XML serialization. The library distinguishes itself with a built-in formula calculation engine that evaluates complex mathematical and logical expressions directly against workbook data. It also features a memory-mapped streaming architecture, which allows for the efficient processing o

This project is a database driver for Node.js applications designed to interface with Redis. It provides structured access to data stores, enabling the execution of commands, management of data structures, and the implementation of atomic transaction processing. The client distinguishes itself through native support for the binary-safe serialization protocol and a promise-based command pipeline that groups operations to minimize latency. It includes a dedicated manager for distributed environments that handles node discovery and request routing, alongside an event-driven messaging system that

The AWS Cloud Development Kit is an infrastructure-as-code framework that enables developers to define and provision cloud resources using familiar programming languages. By utilizing construct-based synthesis, it translates high-level, object-oriented code into declarative templates, allowing for the automated management of complex cloud environments through a centralized, code-driven control plane. The framework distinguishes itself through its ability to model infrastructure as a dependency-aware resource graph, ensuring that components are provisioned and updated in the correct order. It

pysheeet es una biblioteca de referencia técnica que proporciona una colección curada de fragmentos de código y patrones de implementación para el desarrollo avanzado en Python, integración de sistemas y computación de alto rendimiento. Sirve como una guía completa para implementar programación de red de bajo nivel, extensiones nativas en C y programación asíncrona y concurrente. El proyecto proporciona frameworks especializados para el desarrollo y despliegue de modelos de lenguaje de gran tamaño, incluyendo herramientas para inferencia distribuida en GPU y servicio de alto rendimiento. También incluye patrones detallados para la orquestación de clústeres de computación de alto rendimiento, cubriendo la asignación de recursos de GPU y la gestión de cargas de trabajo en múltiples nodos. La biblioteca cubre una amplia superficie de capacidades, incluyendo comunicación de red segura y criptografía, mapeo objeto-relacional y gestión de bases de datos, y la implementación de estructuras de datos y algoritmos complejos. También proporciona utilidades para la gestión de memoria, interoperabilidad nativa a través de interfaces de funciones externas e integración de sistemas operativos a nivel de sistema.

This project is a Go client library and API wrapper for interacting with Elasticsearch clusters. It serves as a programmatic interface for managing documents, indices, and cluster health, allowing Go applications to perform search and indexing operations via the REST API. The library functions as a distributed search orchestrator, providing specialized tools for high-throughput data ingestion and cluster administration. It features a buffered bulk processor with exponential backoff retries for optimizing write performance and supports automated index lifecycle transitions and historical data

Metrics Server is a lightweight, single-purpose daemon that collects CPU and memory usage data from every node and pod in a Kubernetes cluster and exposes those metrics through a standard Kubernetes API endpoint. It registers as an aggregated extension API server behind the Kubernetes apiserver, making resource utilization data available to the Horizontal Pod Autoscaler and Vertical Pod Autoscaler for automatic replica count and resource request adjustments. The project distinguishes itself by operating as a focused, in-cluster resource metrics collector that polls kubelet summary endpoints a

Lettuce is a Redis client library for Java that provides synchronous, asynchronous, and reactive programming models for interacting with Redis databases. It supports standalone, cluster, sentinel, pub/sub, and search operations through a single thread-safe connection model that handles command execution without blocking the calling thread. The library distinguishes itself through its reactive streams integration with Project Reactor, enabling non-blocking, backpressure-aware data processing with Mono and Flux types. It offers cluster slot routing that transparently handles MOVED and ASK redir

gpustack es una plataforma de gestión de clústeres de GPU y orquestador de inferencia LLM. Funciona como un sistema centralizado para agrupar y orquestar unidades de procesamiento gráfico en servidores locales y entornos en la nube, sirviendo como un gestor de cómputo heterogéneo para diversas configuraciones de hardware y software. El sistema proporciona una puerta de enlace de despliegue de modelos de IA segura que sirve modelos como servicios escalables utilizando autenticación basada en claves. Incluye un programador de recursos de GPU que equilibra las cargas de trabajo entre aceleradores y coordina múltiples motores de inferencia para mapear modelos de IA específicos a hardware compatible. La plataforma cubre una orquestación de clústeres integral, incluyendo recuperación automática de fallos, monitorización de recursos en tiempo real y escalado de inferencia distribuida. Incorpora optimización de rendimiento mediante cuantización y decodificación especulativa para maximizar el rendimiento y reducir la latencia. Las configuraciones del sistema y el estado del clúster se mantienen mediante la persistencia del estado en bases de datos relacionales externas.

TensorFlowOnSpark is a distributed framework for running TensorFlow machine learning workloads and model training across Apache Spark clusters. It functions as a cluster computing orchestrator that manages worker processes and resource allocation to scale deep learning tasks across multiple computing nodes. The platform enables distributed deep learning training and large-scale model inference, allowing users to execute tasks across a cluster of servers to handle datasets that exceed the memory of a single machine. It integrates deep learning workloads with Spark data processing to create end

TheHive is a security incident response platform and multi-tenant case management system. It functions as a Security Orchestration, Automation, and Response (SOAR) tool and a threat intelligence platform designed to coordinate security investigations by managing alerts, cases, and observables. The platform is distinguished by its multi-tenant architecture, which isolates data across different organizations while supporting selective cross-tenant sharing. It features a SOAR automation engine capable of executing sandboxed JavaScript logic to automate workflows and trigger response actions thro

Este proyecto es una plataforma de computación distribuida diseñada para orquestar cargas de trabajo en contenedores a través de clústeres de hardware heterogéneos. Funciona como un plano de control centralizado que gestiona la asignación de recursos, la programación y los entornos de ejecución, permitiendo a las organizaciones compartir infraestructura de computación de alto rendimiento de forma segura entre múltiples usuarios y proyectos. La plataforma se distingue por sus capacidades avanzadas de virtualización de hardware y gestión multi-inquilino. Admite la partición de unidades de procesamiento gráfico físicas en segmentos fraccionarios, lo que permite a múltiples usuarios concurrentes acceder a recursos de hardware dedicados con un aislamiento estricto. Además, el sistema proporciona acceso remoto seguro y cifrado a estos contenedores aislados y mantiene una funcionalidad operativa completa dentro de entornos sin conexión a internet (air-gapped) para cumplir con estrictos requisitos de soberanía de datos. Más allá de su orquestación central, la plataforma incluye una arquitectura basada en plugins que abstrae diversos aceleradores de IA y backends de almacenamiento, garantizando flujos de trabajo consistentes en infraestructuras locales y en la nube. Cuenta con herramientas integradas para monitorear el estado del clúster, aplicar cuotas de recursos y gestionar almacenamiento virtualizado, proporcionando una interfaz unificada para escalar y optimizar tareas informáticas complejas.