15 repositorios
Models that process data as discrete packets for efficient manipulation.
Explore 15 awesome GitHub repositories matching data & databases · Packet-Based Stream Processors. Refine with filters or upvote what's useful.
FFmpeg is a cross-platform multimedia framework designed for the recording, conversion, and streaming of audio and video content. It functions as a comprehensive toolkit that provides both a command-line utility for direct media manipulation and a collection of low-level libraries for integration into custom applications. At its core, the project utilizes a packet-based stream engine and a format-agnostic abstraction layer to handle diverse media standards, containers, and network protocols. The framework distinguishes itself through a modular, graph-based filter execution model that allows f
Manages media data as discrete, timestamped packets to facilitate efficient routing and manipulation across the pipeline.
MediaPipe is a cross-platform machine learning framework designed for building and deploying pipelines that process live and streaming media. It provides a system for connecting processing components into custom machine learning chains to analyze real-time audio and video streams. The framework includes a suite of pre-trained models for tasks such as hand, face, and pose tracking, along with tools for retraining and customizing these models with specific datasets. It also features a dedicated benchmarker for measuring the execution speed and accuracy of machine learning models directly within
Uses typed data packets to communicate between pipeline components, ensuring synchronized media frames and timestamps.
PyMySQL is a MySQL database connector and SQL database driver for Python environments. It serves as a client library that enables Python applications to establish network connections and interact with MySQL database servers. The library is a pure Python implementation of the MySQL client-server wire protocol. This design allows for MySQL integration and data management without requiring native C extensions. The project provides capabilities for database connectivity, query execution, and secure access control. It follows the DB-API 2.0 specification to provide a consistent interface for mana
Implements buffer-based parsing to decompose raw binary network streams into discrete MySQL protocol packets.
libhv is a high-performance C/C++ network library and event-driven I/O framework used to build TCP, UDP, SSL, HTTP, WebSocket, and MQTT clients and servers. It provides a non-blocking event loop for managing network sockets, timers, and system signals across multiple threads. The project is distinguished by its integrated support for specialized network roles, including a full HTTP web server with RESTful routing and middleware, an MQTT messaging client for IoT communication, and the ability to implement SOCKS5 and HTTP proxies. It also features a reliable UDP implementation to ensure ordered
Reconstructs application messages from raw byte streams using fixed-length, delimiter-based, or length-field parsing.
Mineflayer is a Node.js game automation framework and JavaScript API for creating programmable Minecraft bots. It functions as a headless game client that implements the Minecraft protocol to connect external applications to game servers without a graphical user interface. The project enables the automation of character actions, including movement, combat, and interaction with the game world. It provides specialized systems for calculating navigation routes through 3D environments, manipulating blocks to build or mine, and managing user account authentication and session tokens. The framewor
Parses raw TCP streams into structured JavaScript objects according to the Minecraft binary protocol.
Trippy is a network diagnostic tool and terminal user interface that combines ping and traceroute functionality to analyze network paths and performance. It provides a network packet parser and path analyzer to detect packet loss, jitter, and multipath routing through continuous network probing. The project is distinguished by its support for specialized tracing strategies, including Paris and Dublin, to ensure consistent path discovery. It identifies network address translation devices and utilizes heuristic analysis to distinguish genuine packet loss from rate-limiting. Broad capability ar
Decodes raw packet wire formats and ICMP extensions into structured diagnostic data.
esptool es una utilidad serie basada en Python diseñada para flashear firmware, configurar fusibles de hardware y aprovisionar dispositivos Espressif system-on-chip. Funciona como un flasheador de firmware serie y herramienta de aprovisionamiento de hardware que interactúa con los chips a través de una conexión serie para permitir la ejecución de programas y la configuración del dispositivo. La herramienta proporciona capacidades especializadas para gestionar hardware Espressif, incluyendo la capacidad de establecer fusibles electrónicos permanentes para bloquear ajustes de seguridad y definir configuraciones a nivel de hardware. También cuenta con un puente de comunicación serie que enruta el tráfico de red a un puerto serie para otorgar acceso remoto a la consola del dispositivo. En términos generales, el proyecto cubre el diagnóstico de dispositivos embebidos y la interacción de bajo nivel con chips. Gestiona el despliegue de firmware mediante el flasheo de imágenes binarias y garantiza la seguridad mediante la verificación de integridad criptográfica.
Implements a byte-level packet protocol with headers and footers to synchronize host and bootloader communication.
ssh2 is a JavaScript implementation of the SSH2 protocol for Node.js, providing the core components necessary to create secure clients and servers. It enables the establishment of authenticated sessions for remote server automation and secure communication. The project distinguishes itself by providing a complete suite of tools for identity management, including utilities for generating and parsing cryptographic key pairs and integrating with external authentication agents. It also functions as a tunneling proxy capable of routing TCP, HTTP, X11, and SOCKSv5 network traffic through encrypted
Implements length-prefixed packet framing to synchronize encrypted data streams over TCP.
This project provides a technical specification and reference manual for the MQTT 3.1.1 standard, serving as a translated Chinese guide for implementing this lightweight IoT messaging protocol in resource-constrained device networks. The documentation covers the fundamental mechanisms of the publish-subscribe model, including topic-based routing with wildcard filtering, retained message storage, and the configuration of last will and testament messages. It details the protocol's approach to reliability through various quality of service levels, ranging from single-level acknowledgments to exa
Assigns unique identifiers to packets to guarantee reliable delivery and acknowledgement across service levels.
MQTTnet es una librería .NET que proporciona un framework para implementar clientes y brokers MQTT. Incluye una implementación de broker para alojar un hub central de mensajes que enruta mensajes entre clientes conectados y una librería de cliente para publicar y suscribirse a mensajes. El proyecto admite capas de transporte TCP y WebSocket, permitiendo un tráfico de datos seguro a través de seguridad de capa de transporte (TLS). Permite el desarrollo de middleware personalizado para interceptar, transformar o validar mensajes a medida que pasan por un servidor. Las áreas de capacidad incluyen el enrutamiento distribuido de mensajes, la gestión de conexiones persistentes con colas de calidad de servicio (QoS) y primitivas de seguridad para la validación de credenciales de cliente y restricciones de suscripción a temas.
Transforms raw byte streams into structured protocol frames through a sequential processing pipeline.
go-mysql es un kit de herramientas para la integración de bases de datos MySQL, que proporciona un controlador cliente nativo y las capacidades para implementar servidores o proxies personalizados compatibles con MySQL. Permite que las aplicaciones se comuniquen con servidores MySQL a través de patrones de interfaz SQL estándar. El proyecto proporciona soporte especializado para la sincronización de datos en tiempo real mediante la transmisión de eventos de registro binario. Esto permite capturar los cambios en la base de datos y enviarlos a almacenes de datos externos, motores de búsqueda o cachés para mantener la consistencia. La biblioteca incluye herramientas para el procesamiento eficiente de grandes conjuntos de datos en memoria, utilizando transmisión de resultados de consultas y mecanismos de devolución de llamada para manejar las filas individualmente. También cubre el análisis de protocolos de bajo nivel, agrupación de conexiones con estado y lógica de respuesta de paquetes personalizada.
Provides low-level protocol packet parsers to decode raw bytes into structured MySQL packets.
go-mysql es un kit de herramientas para el lenguaje de programación Go diseñado para implementar manejadores de protocolo MySQL, sistemas de replicación de registros binarios, servidores simulados y utilidades de análisis de esquemas. Proporciona las bibliotecas necesarias para interactuar con servidores MySQL a través de protocolos de red nativos y flujos de registros binarios. El proyecto permite la creación de proxies de base de datos personalizados o servidores simulados mediante el análisis y la decodificación de paquetes de red de bajo nivel. También incluye una herramienta de replicación para transmitir y procesar registros binarios para sincronizar datos a través de diferentes sistemas de almacenamiento, junto con un analizador de esquemas para extraer y analizar definiciones estructurales de bases de datos. El kit de herramientas cubre una amplia gama de capacidades de integración de bases de datos, incluyendo la gestión de conexiones, ejecución de consultas y la gestión de flujos de trabajo de replicación de datos en tiempo real. También admite la automatización de migraciones de esquemas y la sincronización de registros con sistemas de almacenamiento externos.
Decomposes raw binary network streams into protocol-specific MySQL packets for direct server communication.
Engine.io es una capa de transporte en tiempo real y un motor de comunicación entre navegadores. Sirve como una biblioteca de comunicación bidireccional de bajo nivel diseñada para gestionar las conexiones de red subyacentes y el intercambio de datos requerido para aplicaciones en tiempo real. La biblioteca proporciona un mecanismo de transporte WebSocket que incluye un respaldo automático a HTTP long-polling cuando los protocolos bidireccionales no están disponibles. Funciona como la infraestructura esencial para Socket.IO, permitiendo actualizaciones de conexión desde apretones de manos HTTP estándar a conexiones TCP persistentes. Sus capacidades incluyen monitoreo de conexión basado en latidos (heartbeat) para detectar caídas, una máquina de estados para gestionar los ciclos de vida de la conexión y codificación de tramas basada en paquetes para la secuenciación de mensajes. El sistema abstrae la capa de transporte para garantizar una transmisión de datos consistente en diferentes navegadores web y entornos de dispositivos.
Defines structural headers and markers to frame data packets for consistent message sequencing and delivery.
This project is a MySQL database driver for Node.js that establishes network connections and executes SQL queries using a native communication protocol. It functions as an asynchronous SQL client, providing a promise-based query interface and support for async/await patterns to manage non-blocking database operations. The library includes a full MySQL protocol implementation, serving as a toolkit for building custom database servers, proxies, or clients. It also operates as a connection pool manager and an injection prevention tool, utilizing prepared statements and parameterized queries to s
Implements the MySQL wire protocol to decode raw binary network streams into structured data packets.
Luvit es un runtime basado en eventos para Lua que integra libuv para proporcionar E/S no bloqueante y operaciones de sistema asíncronas. Funciona como un framework de red asíncrono y entorno de ejecución que aprovecha la compilación Just-In-Time para el procesamiento de scripts de alto rendimiento. La plataforma permite la distribución del tráfico de red a través de múltiples núcleos de CPU mediante un gestor de clusters TCP que comparte manejadores de sockets entre procesos hijos. Proporciona capacidades especializadas para construir servidores HTTP decodificando flujos de solicitudes entrantes y codificando respuestas mediante un procesador de flujos. El runtime soporta el desarrollo general de aplicaciones basadas en eventos, programación de red asíncrona y la integración de módulos binarios compilados para extender las capacidades de lenguaje de bajo nivel. Los usuarios pueden interactuar con el entorno a través de un bucle read-eval-print, ejecutar scripts independientes o evaluar fragmentos de código a través de la línea de comandos.
Implements stream-based processing to decode incoming HTTP requests and encode outgoing responses.