18 रिपॉजिटरी
Techniques to maximize the volume of data updates per second using buffering and batching.
Distinct from Data Write Throughput Optimizers: Focuses on total write volume and throughput rather than just concurrency or specific buffering patterns.
Explore 18 awesome GitHub repositories matching data & databases · Write Throughput Optimizations. Refine with filters or upvote what's useful.
LevelDB is an embedded database library and persistent storage engine that provides a sorted key-value store. It uses a log-structured merge-tree architecture to map byte arrays to values, running directly within a process to provide storage without the need for a separate server process. The system is distinguished by its use of custom comparison functions to define key ordering, enabling efficient range scans and sequenced lookups. It ensures data reliability through atomic batch execution, consistent snapshot generation, and log-based recovery after failures. The engine covers broad capab
Uses atomic batches and asynchronous writes to handle large volumes of data updates efficiently.
MMKV is a high-performance, cross-platform key-value storage framework designed for mobile platforms and POSIX environments, including Android, iOS, macOS, and Windows. It provides a persistence layer that utilizes memory-mapped files and binary serialization to achieve low-latency data access. The project distinguishes itself through native support for multi-process synchronization, allowing concurrent read and write operations across different application processes. It also implements security via AES encryption for data at rest, featuring symmetric encryption and key rotation to protect st
Minimizes I/O operations by comparing new values against existing ones before committing writes to disk.
rqlite is a distributed relational database that replicates SQLite data across a cluster using the Raft consensus algorithm. It functions as a fault-tolerant storage system that provides high availability and a web API for executing SQL queries and managing relational data without requiring native database drivers. The system distinguishes itself by using an HTTP SQL interface to expose database operations and cluster management. It features a real-time change data capture stream that pushes database mutations to external HTTP endpoints via webhooks and supports the scaling of read throughput
Improves write performance using queued writes and maintains storage efficiency through automatic vacuuming.
FoundationDB is an ACID-compliant distributed transactional key-value store. It functions as a scalable database engine that ensures strict serializability and data consistency across a cluster of servers using a shared-nothing architecture. The system is distinguished by its multi-region replication capabilities, allowing data to be synchronized across different datacenters for high availability and disaster recovery. It utilizes optimistic concurrency control to manage distributed transactions and employs a majority-based coordination system to maintain cluster state. The platform provides
Allows choosing between a memory-optimized engine for small datasets or an SSD-optimized engine for larger ones.
Bolt is a single-file embedded key-value store for Go applications. It is an ACID transactional database that organizes data in B+trees on disk to provide efficient sorted key retrieval and range scans. The system uses a memory-mapped model to map the database file directly into the process address space for fast random-access reads. The project distinguishes itself through a multi-version concurrency control architecture that allows multiple simultaneous readers to access a consistent snapshot of data without blocking a writer. It employs a single-writer multi-reader locking model and uses a
Combines multiple write operations into single transactions to increase throughput and reduce disk commit overhead.
better-sqlite3 is a high-performance SQLite3 client for Node.js that executes queries synchronously, returning results directly without callbacks or promises. It compiles as a native addon using N-API, binding directly to the SQLite3 C library for immediate query execution and zero-copy result serialization into native JavaScript objects. The library is optimized for Write-Ahead Logging (WAL) mode, enabling faster concurrent reads and writes in web applications. It provides durability level tuning through the synchronous pragma, allowing adjustments between FULL, NORMAL, and OFF modes to bala
Improves read and write performance for concurrent database access by enabling Write-Ahead Logging.
Feast is an open-source feature store for machine learning that provides a central platform for defining, storing, and serving features across both training and inference workflows. It operates as a declarative system where feature definitions are written as code in Python files, synchronized to a central registry, and made available for low-latency online retrieval or point-in-time correct historical joins for training datasets. The project abstracts storage behind a pluggable architecture, allowing offline and online backends to be swapped without changing retrieval logic, and coordinates ma
Groups multiple insert queries into a single transaction to improve write throughput.
NLog is an open-source logging framework for .NET that functions as a structured logging library and log routing engine. It captures log events with named parameters as searchable data rather than plain text and directs these messages to various output destinations based on severity and source. The framework is designed as an extensible platform, supporting custom targets, layout renderers, and filters that can be loaded from external assemblies or defined in code. It features a dynamic configuration system that allows logging targets, rules, and layouts to be updated via XML or programmatic
Implements write throughput optimizations using buffering and batching to increase disk efficiency for log files.
Maddy is a modular mail server that assembles a complete email system by connecting small, single-purpose modules through a declarative configuration file. Rather than a monolithic stack, it lets operators compose message processing, storage, authentication, and security enforcement from interchangeable building blocks, with each module handling a specific function like receiving SMTP connections, verifying credentials, or applying policy checks. The server distinguishes itself through its flexible authentication and security architecture. It delegates user verification to external systems in
Configures SQLite WAL journal mode and autocheckpoint intervals to sustain high write throughput.
This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation
Mentions splitting file content across disks for throughput as a conceptual topic.
Pebble is an embedded key-value storage engine written in Go, designed as a library that provides durable, write-optimized data persistence directly within applications. It organizes data using a log-structured merge-tree (LSM-tree) structure, where writes are first buffered in an in-memory skiplist memtable and persisted to a write-ahead log before being flushed to block-based SSTable files on disk. The engine supports atomic batch commits, configurable write synchronization, and automatic background compaction that merges and rewrites sorted runs to reclaim space and maintain read performanc
Designed for high write throughput using batched atomic commits and background compaction to reduce write amplification.
Raspotify Linux डिवाइसों के लिए एक हेडलेस ऑडियो स्ट्रीमर है जो Spotify Connect क्लाइंट के रूप में कार्य करता है। यह एक बैकग्राउंड सिस्टम डेमन के रूप में संचालित होता है, जो हार्डवेयर को आधिकारिक Spotify एप्लिकेशन के माध्यम से नियंत्रित वायरलेस ऑडियो रिसीवर के रूप में कार्य करने की अनुमति देता है। यह सेवा सिंगल-बोर्ड कंप्यूटरों के लिए डिज़ाइन की गई है और SD कार्ड के घिसाव को कम करने के लिए डिस्क राइट मिनिमाइज़ेशन को शामिल करती है। यह ऑडियो ट्रैक बफ़र्स को इन-मेमोरी फाइल सिस्टम पर रीडायरेक्ट करके इसे प्राप्त करता है। प्रोजेक्ट में बिटरेट और सैंपल रेट समायोजन सहित ऑडियो गुणवत्ता कॉन्फ़िगरेशन के लिए क्षमताएं शामिल हैं। यह बार-बार लॉगिन प्रवाह के बिना लगातार कनेक्शन बनाए रखने के लिए लोकल टोकन कैशिंग के माध्यम से प्रमाणीकरण का भी प्रबंधन करता है।
Reduces physical disk writes by buffering track downloads in system memory rather than on the SD card.
OpenTSDB एक डिस्ट्रीब्यूटेड टाइम सीरीज़ डेटाबेस और मेट्रिक्स इंजन है जिसे उच्च-कार्डिनैलिटी सिस्टम मेट्रिक्स की विशाल मात्रा को संग्रहीत और प्रबंधित करने के लिए डिज़ाइन किया गया है। यह एक डेटा स्टोर और एनालिटिक्स प्लेटफॉर्म के रूप में कार्य करता है जो डिस्ट्रीब्यूटेड क्लस्टर में बड़े पैमाने पर मेट्रिक अंतर्ग्रहण और इंफ्रास्ट्रक्चर परफॉरमेंस निगरानी को सक्षम बनाता है। यह सिस्टम एक डिस्ट्रीब्यूटेड स्टोरेज एब्स्ट्रैक्शन के माध्यम से खुद को अलग करता है जो HBase, Cassandra और Google Bigtable जैसे कई बैकएंड्स का समर्थन करता है। यह टाइम सीरीज़ को व्यवस्थित करने के लिए एक पदानुक्रमित मेट्रिक ट्री का उपयोग करता है और स्टोरेज फुटप्रिंट्स को कम करने और टैग्ड मेट्रिक्स के लिए लुकअप्स को तेज करने के लिए संख्यात्मक पहचानकर्ता इंडेक्सिंग का उपयोग करता है। यह प्रोजेक्ट डिस्ट्रीब्यूटेड पर्सेंटाइल गणना और डाउनसैंपलिंग के साथ टाइम सीरीज़ डेटा विश्लेषण, साथ ही व्यापक मेटाडेटा प्रबंधन सहित व्यापक क्षमता क्षेत्रों को कवर करता है। यह डेटा अंतर्ग्रहण और क्वेरी के लिए API एकीकरण, परफॉरमेंस ऑप्टिमाइज़ेशन के लिए ऑफ-हीप कैशिंग और डेटा अखंडता ऑडिटिंग और विसंगति विश्लेषण के लिए टूल्स प्रदान करता है। यह सिस्टम डेटाबेस प्रशासन और मेट्रिक ट्री सिंक्रोनाइज़ेशन के लिए कमांड-लाइन इंटरफेस के माध्यम से प्रबंधित किया जाता है।
Arranges data based on timestamps to reduce disk reads and minimize background merge overhead.
ipscan एक क्रॉस-प्लेटफ़ॉर्म नेटवर्क ऑडिटर और Java-आधारित नेटवर्क स्कैनर है जिसका उपयोग नेटवर्क डिवाइस खोजने और स्कैन परिणामों को एक्सपोर्ट करने के लिए किया जाता है। यह नेटवर्क पर सक्रिय होस्ट और ओपन सेवाओं की पहचान करने के लिए IP एड्रेस रेंज स्कैनर और TCP/UDP पोर्ट स्कैनर के रूप में कार्य करता है। एप्लिकेशन में एक प्लगइन-आधारित फ़ेचर आर्किटेक्चर है जो खोजे गए होस्ट से विशिष्ट हार्डवेयर या सॉफ़्टवेयर जानकारी प्राप्त करने के लिए कस्टम डेटा कलेक्शन फ़ेचर्स के एकीकरण की अनुमति देता है। इसकी व्यापक क्षमताओं में लोकल नेटवर्क डिस्कवरी, नेटवर्क पोर्ट ऑडिटिंग और नेटवर्क एसेट इन्वेंट्री का निर्माण शामिल है। यूज़र्स उच्च-घनत्व स्क्रीन स्केलिंग के साथ ग्राफिकल यूज़र इंटरफ़ेस के माध्यम से या स्वचालित स्कैनिंग के लिए कमांड लाइन इंटरफ़ेस के माध्यम से सॉफ़्टवेयर के साथ इंटरैक्ट कर सकते हैं।
Implements disk-buffered writing to export large scan datasets without causing memory overflow.
यह प्रोजेक्ट शुरुआती लोगों के लिए डिज़ाइन किया गया एक व्यापक MySQL डेटाबेस ट्यूटोरियल और निर्देशात्मक संसाधन है। यह एक रिलेशनल डेटाबेस मैनेजमेंट सिस्टम के इंस्टॉलेशन, कॉन्फ़िगरेशन और संचालन को कवर करने वाली एक तकनीकी मैनुअल और शिक्षण गाइड के रूप में कार्य करता है। सामग्री रिलेशनल डेटाबेस फंडामेंटल्स के लिए एक संरचित दृष्टिकोण प्रदान करती है, जिसमें स्कीमा डिज़ाइन, टेबल क्रिएशन, और SQL क्वेरीज़ का निष्पादन शामिल है। इसमें डेटाबेस प्रशासन पर विशिष्ट मार्गदर्शन शामिल है, जैसे यूजर एक्सेस को मैनेज करना, स्टोरेज इंजनों को कॉन्फ़िगर करना, और अलग-अलग ऑपरेटिंग सिस्टम पर सर्वर इंस्टॉलेशन को संभालना। यह संसाधन टेम्पोरल डेटा और Unicode कैरेक्टर्स के लिए डेटा मैनिपुलेशन, क्लाइंट-सर्वर कनेक्टिविटी, और डेटाबेस लाइफसाइकिल मैनेजमेंट सहित व्यापक क्षमताएं कवर करता है। यह इंस्टॉलेशन संघर्षों और स्टार्टअप त्रुटियों को हल करने के लिए सिस्टम ट्रबलशूटिंग के लिए डायग्नोस्टिक जानकारी भी प्रदान करता है। यह कंटेंट मार्कडाउन-आधारित डॉक्यूमेंटेशन के संग्रह के रूप में वितरित किया जाता है जिसमें चरण-दर-चरण प्रक्रियात्मक गाइड और उदाहरण-संचालित क्वेरी प्रदर्शन शामिल हैं।
Explains how to optimize data storage on disk by selecting and configuring appropriate MySQL storage engines.
This repository is a collection of technical knowledge and solutions focused on mobile application development, particularly for Android and iOS platforms. It covers a wide range of practical engineering challenges, including hotfix and patching techniques, database management and repair, network communication, logging, and video processing. The content is presented as shared knowledge, documenting real-world problems and their implementations. The project provides detailed guidance on applying hotfixes to running Android applications through multiple methods, such as class replacement, full
Details techniques for optimizing SQLite database performance on iOS platforms.
Toshi is a full-text search engine and library implemented in Rust, designed to manage and query large-scale structured datasets. It functions as a distributed search platform that enables high-speed information retrieval across massive collections of data. The system distinguishes itself through an architecture built for high-throughput ingestion and parallel query execution. It utilizes an actor-model concurrency framework to coordinate worker processes and employs distributed sharding to partition index segments across multiple nodes. To maintain performance and data integrity, the engine
Allows tuning of memory allocation, thread counts, and buffers to maximize the efficiency of document ingestion.
XlsxWriter is a library for generating spreadsheets in the XLSX format, functioning as an Excel workbook writer and file generator. It provides the capability to write data, apply cell formatting, and build complex layouts across multiple worksheets. The project distinguishes itself with a memory-optimized writing mode that flushes large datasets to disk row-by-row, enabling the creation of files exceeding 4 GB while minimizing RAM consumption. It also includes a specialized mechanism for embedding binary project files and digital signatures to enable VBA macros and signed scripts within work
Uses a specialized processing mode to lower memory consumption when generating spreadsheets with massive datasets.