4 Repos
Mechanisms to ensure data integrity when multiple threads write to shared flat files like CSVs.
Distinct from Concurrent Write Optimizations: Focuses on file-system write synchronization for data export, unlike row-level database locking or message broker locks.
Explore 4 awesome GitHub repositories matching data & databases · Concurrent File Write Synchronizations. Refine with filters or upvote what's useful.
This project is a collection of Python scripts and tools designed for web scraping, browser automation, and large-scale data extraction. It provides a set of implementations for retrieving information from websites and private APIs, including tools for multimedia downloading and social media data archiving. The toolset includes specialized mechanisms for bypassing anti-scraping measures through IP proxy pool rotation and multi-threaded crawlers. It also features capabilities for simulating browser sessions to handle authentication, intercepting session cookies, and decrypting network payloads
Employs synchronization locks to prevent data corruption when multiple threads write to a shared CSV file.
NLog is an open-source logging framework for .NET that functions as a structured logging library and log routing engine. It captures log events with named parameters as searchable data rather than plain text and directs these messages to various output destinations based on severity and source. The framework is designed as an extensible platform, supporting custom targets, layout renderers, and filters that can be loaded from external assemblies or defined in code. It features a dynamic configuration system that allows logging targets, rules, and layouts to be updated via XML or programmatic
Allows multiple processes to write to the same log file without locking conflicts.
EasyLogger ist eine leichtgewichtige C/C++-Logging-Bibliothek und ein asynchrones Framework für eingebettete Systeme, IoT-Geräte und Wearables. Es fungiert als ressourceneffizienter Logger und Flash-Speichermanager und bietet Tools für Low-Level-Debugging und die Aufzeichnung von Systemereignissen bei minimalem ROM- und RAM-Bedarf. Das Projekt zeichnet sich durch ein asynchrones Logging-Modell aus, das Nachrichten in einem separaten Thread puffert, wodurch Logging-Operationen die Echtzeit-Anwendungsausführung nicht blockieren. Es enthält einen spezialisierten Flash-Speichermanager, der zirkuläre Pufferung nutzt, um Logs in nicht-flüchtigem Speicher zu persistieren und so sicherzustellen, dass kritische Daten über Geräte-Reboots hinweg erhalten bleiben. Die Bibliothek deckt ein breites Spektrum an Beobachtbarkeitsfunktionen ab, einschließlich System-Assertions zur Zustandsvalidierung, Severity-Filterung zur Kompilier- und Laufzeit sowie die Generierung von rohen binären Hex-Dumps. Sie unterstützt die Anreicherung von Metadaten mit Zeitstempeln und Thread-IDs sowie eine portable Schnittstelle zur Weiterleitung von Logs an benutzerdefinierte Ziele wie serielle Schnittstellen oder Dateien. Das System stellt die Datenintegrität durch Schreibsynchronisation sicher und bietet Mechanismen für das manuelle Leeren von Puffern und das Abrufen gespeicherter Logs.
Uses semaphores to synchronize concurrent writes and prevent data corruption in the log storage.
H2 ist ein JDBC-konformes relationales Datenbankmanagementsystem, das in Java geschrieben ist. Es fungiert als einbettbare SQL-Datenbank, die direkt innerhalb eines Anwendungsprozesses ausgeführt werden kann, um Netzwerklatenz zu eliminieren, oder als In-Memory-Datenbank für performante, flüchtige Speicherung. Es enthält zudem eine webbasierte Konsole zur Ausführung von SQL-Befehlen und zur Verwaltung von Schemata. Das System zeichnet sich durch flexible Bereitstellungsmodi aus, einschließlich eines Standalone-Server-Modus für Remote-TCP/IP-Zugriffe und eines gemischten Modus für gleichzeitige lokale und Remote-Konnektivität. Es verfügt über eine Dialekt-Emulationsschicht und Kompatibilitätsmodi, die es ermöglichen, das Verhalten und die Syntax anderer Datenbanksysteme nachzuahmen. Die Engine bietet ein breites Spektrum an Funktionen, darunter ACID-Transaktionen mit Multi-Version Concurrency Control (MVCC), Unterstützung für Geodaten und JSON sowie fortgeschrittene analytische Fensterfunktionen. Es enthält Tools zur Datensicherung durch komprimierte Backups, SQL-Skript-Wiederherstellung und Off-Heap-Speicherverwaltung für große Datensätze. Die Datenbank lässt sich über Standard-JDBC-Treiber und Verbindungs-URLs in Anwendungen integrieren.
Ensures data integrity by preventing multiple concurrent processes from writing to the same database file.