15 repository-uri
Models that process data as discrete packets for efficient manipulation.
Explore 15 awesome GitHub repositories matching data & databases · Packet-Based Stream Processors. Refine with filters or upvote what's useful.
FFmpeg is a cross-platform multimedia framework designed for the recording, conversion, and streaming of audio and video content. It functions as a comprehensive toolkit that provides both a command-line utility for direct media manipulation and a collection of low-level libraries for integration into custom applications. At its core, the project utilizes a packet-based stream engine and a format-agnostic abstraction layer to handle diverse media standards, containers, and network protocols. The framework distinguishes itself through a modular, graph-based filter execution model that allows f
Manages media data as discrete, timestamped packets to facilitate efficient routing and manipulation across the pipeline.
MediaPipe is a cross-platform machine learning framework designed for building and deploying pipelines that process live and streaming media. It provides a system for connecting processing components into custom machine learning chains to analyze real-time audio and video streams. The framework includes a suite of pre-trained models for tasks such as hand, face, and pose tracking, along with tools for retraining and customizing these models with specific datasets. It also features a dedicated benchmarker for measuring the execution speed and accuracy of machine learning models directly within
Uses typed data packets to communicate between pipeline components, ensuring synchronized media frames and timestamps.
PyMySQL is a MySQL database connector and SQL database driver for Python environments. It serves as a client library that enables Python applications to establish network connections and interact with MySQL database servers. The library is a pure Python implementation of the MySQL client-server wire protocol. This design allows for MySQL integration and data management without requiring native C extensions. The project provides capabilities for database connectivity, query execution, and secure access control. It follows the DB-API 2.0 specification to provide a consistent interface for mana
Implements buffer-based parsing to decompose raw binary network streams into discrete MySQL protocol packets.
libhv is a high-performance C/C++ network library and event-driven I/O framework used to build TCP, UDP, SSL, HTTP, WebSocket, and MQTT clients and servers. It provides a non-blocking event loop for managing network sockets, timers, and system signals across multiple threads. The project is distinguished by its integrated support for specialized network roles, including a full HTTP web server with RESTful routing and middleware, an MQTT messaging client for IoT communication, and the ability to implement SOCKS5 and HTTP proxies. It also features a reliable UDP implementation to ensure ordered
Reconstructs application messages from raw byte streams using fixed-length, delimiter-based, or length-field parsing.
Mineflayer is a Node.js game automation framework and JavaScript API for creating programmable Minecraft bots. It functions as a headless game client that implements the Minecraft protocol to connect external applications to game servers without a graphical user interface. The project enables the automation of character actions, including movement, combat, and interaction with the game world. It provides specialized systems for calculating navigation routes through 3D environments, manipulating blocks to build or mine, and managing user account authentication and session tokens. The framewor
Parses raw TCP streams into structured JavaScript objects according to the Minecraft binary protocol.
Trippy is a network diagnostic tool and terminal user interface that combines ping and traceroute functionality to analyze network paths and performance. It provides a network packet parser and path analyzer to detect packet loss, jitter, and multipath routing through continuous network probing. The project is distinguished by its support for specialized tracing strategies, including Paris and Dublin, to ensure consistent path discovery. It identifies network address translation devices and utilizes heuristic analysis to distinguish genuine packet loss from rate-limiting. Broad capability ar
Decodes raw packet wire formats and ICMP extensions into structured diagnostic data.
esptool este un utilitar serial bazat pe Python, conceput pentru flash-uirea firmware-ului, configurarea siguranțelor hardware și provizionarea dispozitivelor Espressif system-on-chip. Funcționează ca un flasher serial de firmware și instrument de provizionare hardware care interacționează cu cipurile printr-o conexiune serială pentru a permite execuția programelor și configurarea dispozitivelor. Instrumentul oferă capabilități specializate pentru gestionarea hardware-ului Espressif, inclusiv posibilitatea de a seta siguranțe electronice permanente pentru a bloca setările de securitate și a defini configurații la nivel hardware. Dispune, de asemenea, de o punte de comunicare serială care rutează traficul de rețea către un port serial pentru a oferi acces la distanță la consola dispozitivului. În linii mari, proiectul acoperă diagnosticarea dispozitivelor embedded și interacțiunea la nivel scăzut cu cipurile. Gestionează deployment-ul de firmware prin flash-uirea imaginilor binare și asigură securitatea prin verificarea integrității criptografice.
Implements a byte-level packet protocol with headers and footers to synchronize host and bootloader communication.
ssh2 is a JavaScript implementation of the SSH2 protocol for Node.js, providing the core components necessary to create secure clients and servers. It enables the establishment of authenticated sessions for remote server automation and secure communication. The project distinguishes itself by providing a complete suite of tools for identity management, including utilities for generating and parsing cryptographic key pairs and integrating with external authentication agents. It also functions as a tunneling proxy capable of routing TCP, HTTP, X11, and SOCKSv5 network traffic through encrypted
Implements length-prefixed packet framing to synchronize encrypted data streams over TCP.
This project provides a technical specification and reference manual for the MQTT 3.1.1 standard, serving as a translated Chinese guide for implementing this lightweight IoT messaging protocol in resource-constrained device networks. The documentation covers the fundamental mechanisms of the publish-subscribe model, including topic-based routing with wildcard filtering, retained message storage, and the configuration of last will and testament messages. It details the protocol's approach to reliability through various quality of service levels, ranging from single-level acknowledgments to exa
Assigns unique identifiers to packets to guarantee reliable delivery and acknowledgement across service levels.
MQTTnet este o bibliotecă .NET care oferă un framework pentru implementarea clienților și brokerilor MQTT. Include o implementare de broker pentru găzduirea unui hub central de mesaje care rutează mesajele între clienții conectați și o bibliotecă client pentru publicarea și abonarea la mesaje. Proiectul suportă atât straturi de transport TCP, cât și WebSocket, permițând traficul de date securizat prin transport layer security (TLS). Permite dezvoltarea de middleware personalizat pentru a intercepta, transforma sau valida mesajele pe măsură ce trec printr-un server. Zonele de capabilitate includ rutarea distribuită a mesajelor, gestionarea conexiunilor persistente cu cozi de calitate a serviciului (QoS) și primitive de securitate pentru validarea acreditărilor clienților și restricționarea abonamentelor la topicuri.
Transforms raw byte streams into structured protocol frames through a sequential processing pipeline.
go-mysql este un toolkit pentru integrarea bazelor de date MySQL, oferind un driver client nativ și capabilități pentru a implementa servere sau proxy-uri personalizate compatibile cu MySQL. Permite aplicațiilor să comunice cu serverele MySQL prin tipare standard de interfață SQL. Proiectul oferă suport specializat pentru sincronizarea datelor în timp real prin streaming-ul evenimentelor din log-urile binare. Acest lucru permite capturarea modificărilor bazei de date și trimiterea lor către stocări de date externe, motoare de căutare sau cache-uri pentru a menține consistența. Biblioteca include instrumente pentru procesarea seturilor mari de date cu eficiență în utilizarea memoriei, utilizând streaming-ul rezultatelor interogărilor și mecanisme de callback pentru a gestiona rândurile individual. De asemenea, acoperă parsarea protocolului la nivel scăzut, pooling-ul de conexiuni stateful și logica personalizată de răspuns la pachete.
Provides low-level protocol packet parsers to decode raw bytes into structured MySQL packets.
go-mysql este un toolkit pentru limbajul de programare Go conceput pentru implementarea handlerelor de protocol MySQL, a sistemelor de replicare a log-urilor binare, a serverelor mock și a utilitarelor de parsare a schemelor. Oferă bibliotecile necesare pentru a interacționa cu serverele MySQL prin protocoale de rețea native și fluxuri de log-uri binare. Proiectul permite crearea de proxy-uri de baze de date personalizate sau servere mock prin parsarea și decodarea pachetelor de rețea la nivel scăzut. Include, de asemenea, un instrument de replicare pentru streaming-ul și procesarea log-urilor binare pentru a sincroniza datele între diferite sisteme de stocare, alături de un parser de schemă pentru extragerea și analizarea definițiilor structurale ale bazei de date. Toolkit-ul acoperă o gamă largă de capabilități de integrare a bazelor de date, inclusiv gestionarea conexiunilor, execuția interogărilor și gestionarea fluxurilor de lucru de replicare a datelor în timp real. De asemenea, suportă automatizarea migrărilor de schemă și sincronizarea înregistrărilor către sisteme de stocare externe.
Decomposes raw binary network streams into protocol-specific MySQL packets for direct server communication.
Engine.io este un strat de transport în timp real și un motor de comunicare cross-browser. Servește ca bibliotecă de comunicare bidirecțională de nivel scăzut, concepută pentru a gestiona conexiunile de rețea subiacente și schimbul de date necesar pentru aplicațiile în timp real. Biblioteca oferă un mecanism de transport WebSocket care include fallback automat la HTTP long-polling atunci când protocoalele bidirecționale nu sunt disponibile. Funcționează ca infrastructură esențială pentru Socket.IO, permițând upgrade-uri de conexiune de la handshake-uri HTTP standard la conexiuni TCP persistente. Capabilitățile sale includ monitorizarea conexiunii bazată pe heartbeat pentru a detecta întreruperile, o mașină de stare pentru gestionarea ciclurilor de viață ale conexiunii și codificarea cadrelor bazată pe pachete pentru secvențierea mesajelor. Sistemul abstractizează stratul de transport pentru a asigura streaming-ul consistent al datelor în diferite browsere web și medii de dispozitive.
Defines structural headers and markers to frame data packets for consistent message sequencing and delivery.
Acest proiect este un driver de bază de date MySQL pentru Node.js care stabilește conexiuni de rețea și execută interogări SQL folosind un protocol de comunicare nativ. Acesta funcționează ca un client SQL asincron, oferind o interfață de interogare bazată pe promisiuni și suport pentru tipare async/await pentru a gestiona operațiunile de bază de date non-blocante. Biblioteca include o implementare completă a protocolului MySQL, servind ca set de instrumente pentru construirea de servere de baze de date personalizate, proxy-uri sau clienți. De asemenea, operează ca un manager de pool de conexiuni și un instrument de prevenire a injecțiilor, utilizând interogări pregătite și parametrizate pentru a securiza interacțiunile cu baza de date. Proiectul acoperă o gamă largă de capabilități de integrare a bazelor de date, inclusiv coordonarea tranzacțiilor atomice, streaming-ul jurnalelor binare și streaming-ul de date tabelare pentru importuri în masă. Gestionează ciclurile de viață ale resurselor prin curățarea automată a conexiunilor și oferă diverse mecanisme de autentificare, cum ar fi autentificarea prin hash de parolă și negocierea securizată a handshake-ului. Conectivitatea este susținută suplimentar prin criptare SSL, compresia traficului de rețea și capacitatea de a ruta traficul prin transporturi duplex personalizate.
Implements the MySQL wire protocol to decode raw binary network streams into structured data packets.
Luvit is an event-driven runtime for Lua that integrates libuv to provide non-blocking I/O and asynchronous system operations. It functions as an asynchronous network framework and execution environment that leverages Just-In-Time compilation for high-performance script processing. The platform enables the distribution of network traffic across multiple CPU cores through a TCP cluster manager that shares socket handles among child processes. It provides specialized capabilities for building HTTP servers by decoding incoming request streams and encoding responses via a stream processor. The r
Implements stream-based processing to decode incoming HTTP requests and encode outgoing responses.