Awesome GitHub RepositoriesDatabase Wire Protocol Implementations

This project is a pure JavaScript database driver for Node.js that implements the native MySQL binary protocol. It serves as a comprehensive connector for managing persistent network links to MySQL servers, enabling applications to execute queries, manage transactions, and handle complex data operations without requiring external middleware. The driver distinguishes itself through its integrated support for connection pooling and distributed database routing. It maintains managed sets of reusable network sockets to optimize resource usage under high request volumes, while simultaneously provi

Garnet is a multi-threaded in-memory database and distributed key-value store. It functions as a high-performance remote cache store that implements the RESP wire protocol to maintain compatibility with existing Redis clients and libraries. The project is distinguished by a shared-memory architecture that enables parallel request processing across multiple cores for sub-millisecond latency. It features a tiered storage system that automatically offloads colder data from system memory to SSD or cloud storage layers, and includes a specialized vector search database for high-dimensional similar

FerretDB is an open-source database emulator and protocol translator that mimics a MongoDB environment to support existing drivers and client tools on a relational backend. It functions as a stateless database proxy that converts binary wire protocol messages into SQL statements, allowing a relational engine to handle document-oriented requests. The project serves as a migration tool for moving applications from MongoDB to PostgreSQL without rewriting queries or changing client drivers. It achieves this by using PostgreSQL as a document store, storing and querying BSON documents through a tra

kafka-python is a pure-Python client library for Apache Kafka that implements the Kafka wire protocol directly, without any native bindings or JVM dependencies. It provides the core capabilities of a Kafka client: producing messages to topics, consuming records from topics, and administering cluster resources such as topics and partitions, all through a Pythonic API or command-line tools. The library distinguishes itself through its comprehensive support for advanced Kafka features. It includes an asynchronous producer with background batching for throughput, a consumer group rebalance protoc

Dieses Projekt ist eine pädagogische Codebasis und eine asynchrone Netzwerkimplementierung eines Redis-kompatiblen Servers und Clients. Es dient als Demonstration der asynchronen Tokio-Runtime und bietet einen vernetzten Key-Value-Store sowie ein Messaging-System. Das Projekt implementiert das Redis Serialization Protocol, um zwischen Clients und Servern mittels Byte-Streams zu kommunizieren. Es verfügt über ein Pub-Sub-Messaging-System, das es Clients ermöglicht, benannte Kanäle zu abonnieren und Echtzeit-Updates zu empfangen. Die Implementierung deckt asynchrone Netzwerkprogrammierung ab, einschließlich der Handhabung gleichzeitiger TCP-Verbindungen und des Byte-Stream-Frame-Parsings. Zudem beinhaltet es Traffic-Management durch Verbindungsbegrenzung und einen Prozess für das geordnete Herunterfahren des Servers.

Dieses Projekt ist ein nativer PostgreSQL-Datenbanktreiber für die Programmiersprache Rust. Er fungiert als typsicherer Datenbank-Mapper und Connector, der sowohl synchrone als auch asynchrone Schnittstellen für die Ausführung von Abfragen gegen ein PostgreSQL-Backend bereitstellt. Die Library implementiert ein typsicheres Mapping-System, um PostgreSQL-Datentypen in Rust-Typen zu konvertieren und so Konsistenz während der Datenübertragung sicherzustellen. Sie dient zudem als verschlüsselter Datenbank-Connector und unterstützt sichere Kommunikationsprotokolle, um Daten während der Übertragung zwischen Anwendung und Datenbank zu schützen. Der Treiber deckt grundlegende Datenbankfunktionen ab, einschließlich der Ausführung von Datenoperationen und der Verwaltung sicherer Datenbankverbindungen.

Dieses Projekt bietet eine Sammlung von Kommandozeilen-Dienstprogrammen für die Verwaltung von MongoDB-Datenbankinstanzen. Es dient als primäre Schnittstelle für die Durchführung von Datenbank-Backups, die Wiederherstellung binärer Snapshots und die Ausführung von Datenmigrationen zwischen Datenbankinstanzen und externen Systemen. Die Tools erleichtern den Datentransfer durch den Import und Export von Collections in verschiedenen Formaten, darunter JSON, CSV, TSV und Binärdateien. Neben der Migration enthält die Suite spezialisierte Dienstprogramme zur Untersuchung binärer Datendateien in einem menschenlesbaren Format sowie zur Verwaltung großer Binärdateien innerhalb des Datenbank-Dateisystems. Diese Dienstprogramme kommunizieren direkt über strukturierte Binärprotokoll-Anfragen mit dem Datenbankserver. Die zugrunde liegende Architektur unterstützt stream-orientierte Verarbeitung und Batch-Operationen, um große Datensätze effizient zu handhaben und gleichzeitig die Datenbeständigkeit und -integrität bei administrativen Aufgaben zu wahren.