4 مستودعات
Mechanisms to ensure data integrity when multiple threads write to shared flat files like CSVs.
Distinct from Concurrent Write Optimizations: Focuses on file-system write synchronization for data export, unlike row-level database locking or message broker locks.
Explore 4 awesome GitHub repositories matching data & databases · Concurrent File Write Synchronizations. Refine with filters or upvote what's useful.
This project is a collection of Python scripts and tools designed for web scraping, browser automation, and large-scale data extraction. It provides a set of implementations for retrieving information from websites and private APIs, including tools for multimedia downloading and social media data archiving. The toolset includes specialized mechanisms for bypassing anti-scraping measures through IP proxy pool rotation and multi-threaded crawlers. It also features capabilities for simulating browser sessions to handle authentication, intercepting session cookies, and decrypting network payloads
Employs synchronization locks to prevent data corruption when multiple threads write to a shared CSV file.
NLog is an open-source logging framework for .NET that functions as a structured logging library and log routing engine. It captures log events with named parameters as searchable data rather than plain text and directs these messages to various output destinations based on severity and source. The framework is designed as an extensible platform, supporting custom targets, layout renderers, and filters that can be loaded from external assemblies or defined in code. It features a dynamic configuration system that allows logging targets, rules, and layouts to be updated via XML or programmatic
Allows multiple processes to write to the same log file without locking conflicts.
EasyLogger هي مكتبة تسجيل (logging) خفيفة الوزن بلغة C/C++ وإطار عمل غير متزامن مصمم للأنظمة المدمجة، وأجهزة إنترنت الأشياء (IoT)، والأجهزة القابلة للارتداء. تعمل كمسجل فعال للموارد ومدير لذاكرة الفلاش، وتوفر أدوات لتصحيح الأخطاء منخفض المستوى وتسجيل أحداث النظام بأقل متطلبات من ذاكرة القراءة فقط (ROM) وذاكرة الوصول العشوائي (RAM). يتميز المشروع بنموذج تسجيل غير متزامن يقوم بتخزين الرسائل مؤقتاً في خيط (thread) منفصل، مما يمنع عمليات التسجيل من حظر تنفيذ التطبيق في الوقت الفعلي. ويتضمن مديراً متخصصاً لذاكرة الفلاش يستخدم التخزين المؤقت الدائري لحفظ السجلات في تخزين غير متطاير، مما يضمن الحفاظ على البيانات الحيوية عبر إعادة تشغيل الجهاز. تغطي المكتبة نطاقاً واسعاً من قدرات المراقبة، بما في ذلك تأكيدات النظام للتحقق من الحالة، وتصفية الخطورة في وقت التجميع ووقت التشغيل، وتوليد ملفات تفريغ سداسية عشرية ثنائية خام. وتدعم إثراء البيانات الوصفية بالطوابع الزمنية ومعرفات الخيوط، إلى جانب واجهة محمولة لتوجيه السجلات إلى وجهات مخصصة مثل المنافذ التسلسلية أو الملفات. يضمن النظام سلامة البيانات من خلال مزامنة الكتابة ويوفر آليات لتفريغ المخزن المؤقت يدوياً واسترجاع السجلات المخزنة.
Uses semaphores to synchronize concurrent writes and prevent data corruption in the log storage.
H2 is a JDBC-compliant relational database management system written in Java. It functions as an embeddable SQL database that can run directly within an application process to remove network latency, or as an in-memory database for high-performance volatile storage. It also includes a web-based console for executing SQL commands and administering schemas. The system is characterized by its flexible deployment modes, including a standalone server mode for remote TCP/IP access and a mixed mode for simultaneous local and remote connectivity. It features a dialect emulation layer and compatibilit
Ensures data integrity by preventing multiple concurrent processes from writing to the same database file.