3 repositorios
Techniques for reducing storage overhead and redundancy in resource-constrained environments.
Distinct from Data Storage Optimizers: Focuses on redundancy reduction for small clusters rather than data format compression.
Explore 3 awesome GitHub repositories matching data & databases · Resource Optimization. Refine with filters or upvote what's useful.
This project is a GitOps infrastructure framework designed for managing bare metal servers, container clusters, and networking. It serves as a declarative system for orchestrating the deployment and lifecycle of self-hosted services, using Git as the source of truth to synchronize the desired state of the environment. The framework differentiates itself through a comprehensive automation suite that covers the entire hardware-to-service pipeline. It includes a PXE-based bare metal provisioner for network booting and operating system installation, alongside a lightweight container orchestration
Conserves resources in small environments by reducing data redundancy and limiting replica sizes.
go-fastdfs es un sistema de archivos distribuido y servidor de almacenamiento de objetos diseñado para construir almacenamiento en la nube privada. Proporciona una implementación de almacenamiento compatible con FastDFS que gestiona clústeres de nodos de almacenamiento para manejar subidas y descargas de archivos a gran escala. El sistema se centra en la alta disponibilidad a través de una arquitectura descentralizada que sincroniza automáticamente los datos y repara fallos entre múltiples máquinas sin un coordinador central. Admite específicamente el almacenamiento de archivos reanudables a través de HTTP, permitiendo que las transferencias grandes se pausen y reanuden desde el último byte exitoso para manejar la inestabilidad de la red. Las capacidades principales incluyen la optimización de recursos de almacenamiento mediante la deduplicación de contenido basada en SHA1 y la fusión de archivos pequeños para reducir el consumo de inodos del sistema de archivos. El proyecto también incorpora una tubería de procesamiento de imágenes que realiza escalado y redimensionamiento dinámico de imágenes durante el proceso de descarga y asegura el acceso a los archivos mediante autenticación basada en tokens. El sistema puede desplegarse mediante contenedores Docker.
Reduces filesystem overhead by merging small files and removing redundant data through SHA1 content hashing.
meta-rules-dat is a collection of binary-encoded network datasets used to identify and categorize traffic for routing on resource-constrained devices. It provides a structured domain categorization list and a geographic IP routing dataset to map network traffic to specific countries or service providers. The project utilizes trie-based lookup data and compact binary serialization to enable high-performance prefix matching and fast domain-to-category resolution. To minimize memory and storage overhead, it employs stripped-down GeoIP mapping that removes non-essential metadata. The datasets co
Employs compressed binary datasets to reduce memory and storage overhead on low-power hardware.