3 रिपॉजिटरी
Techniques for reducing storage overhead and redundancy in resource-constrained environments.
Distinct from Data Storage Optimizers: Focuses on redundancy reduction for small clusters rather than data format compression.
Explore 3 awesome GitHub repositories matching data & databases · Resource Optimization. Refine with filters or upvote what's useful.
This project is a GitOps infrastructure framework designed for managing bare metal servers, container clusters, and networking. It serves as a declarative system for orchestrating the deployment and lifecycle of self-hosted services, using Git as the source of truth to synchronize the desired state of the environment. The framework differentiates itself through a comprehensive automation suite that covers the entire hardware-to-service pipeline. It includes a PXE-based bare metal provisioner for network booting and operating system installation, alongside a lightweight container orchestration
Conserves resources in small environments by reducing data redundancy and limiting replica sizes.
go-fastdfs एक वितरित फ़ाइल सिस्टम और ऑब्जेक्ट स्टोरेज सर्वर है जिसे निजी क्लाउड स्टोरेज बनाने के लिए डिज़ाइन किया गया है। यह एक FastDFS संगत स्टोरेज कार्यान्वयन प्रदान करता है जो बड़े पैमाने पर फ़ाइल अपलोड और डाउनलोड को संभालने के लिए स्टोरेज नोड्स के क्लस्टर का प्रबंधन करता है। सिस्टम एक विकेंद्रीकृत आर्किटेक्चर के माध्यम से उच्च उपलब्धता पर केंद्रित है जो स्वचालित रूप से डेटा को सिंक्रनाइज़ करता है और बिना किसी केंद्रीय समन्वयक के कई मशीनों पर विफलताओं की मरम्मत करता है। यह विशेष रूप से HTTP के माध्यम से रिज़्यूमेबल फ़ाइल स्टोरेज का समर्थन करता है, जिससे नेटवर्क अस्थिरता को संभालने के लिए बड़े ट्रांसफ़र को अंतिम सफल बाइट से रोका और फिर से शुरू किया जा सकता है। मुख्य क्षमताओं में SHA1-आधारित कंटेंट डुप्लीकेशन के माध्यम से स्टोरेज संसाधन ऑप्टिमाइज़ेशन और फ़ाइलसिस्टम इनोड खपत को कम करने के लिए छोटी फ़ाइलों को मर्ज करना शामिल है। प्रोजेक्ट में एक इमेज प्रोसेसिंग पाइपलाइन भी शामिल है जो डाउनलोड प्रक्रिया के दौरान छवियों की गतिशील स्केलिंग और रिसाइज़िंग करती है और टोकन-आधारित प्रमाणीकरण का उपयोग करके फ़ाइल एक्सेस को सुरक्षित करती है। सिस्टम को Docker कंटेनरों के माध्यम से तैनात किया जा सकता है।
Reduces filesystem overhead by merging small files and removing redundant data through SHA1 content hashing.
meta-rules-dat is a collection of binary-encoded network datasets used to identify and categorize traffic for routing on resource-constrained devices. It provides a structured domain categorization list and a geographic IP routing dataset to map network traffic to specific countries or service providers. The project utilizes trie-based lookup data and compact binary serialization to enable high-performance prefix matching and fast domain-to-category resolution. To minimize memory and storage overhead, it employs stripped-down GeoIP mapping that removes non-essential metadata. The datasets co
Employs compressed binary datasets to reduce memory and storage overhead on low-power hardware.