16 dépôts
Models that process data as discrete packets for efficient manipulation.
Explore 16 awesome GitHub repositories matching data & databases · Packet-Based Stream Processors. Refine with filters or upvote what's useful.
FFmpeg is a cross-platform multimedia framework designed for the recording, conversion, and streaming of audio and video content. It functions as a comprehensive toolkit that provides both a command-line utility for direct media manipulation and a collection of low-level libraries for integration into custom applications. At its core, the project utilizes a packet-based stream engine and a format-agnostic abstraction layer to handle diverse media standards, containers, and network protocols. The framework distinguishes itself through a modular, graph-based filter execution model that allows f
Manages media data as discrete, timestamped packets to facilitate efficient routing and manipulation across the pipeline.
MediaPipe is a cross-platform machine learning framework designed for building and deploying pipelines that process live and streaming media. It provides a system for connecting processing components into custom machine learning chains to analyze real-time audio and video streams. The framework includes a suite of pre-trained models for tasks such as hand, face, and pose tracking, along with tools for retraining and customizing these models with specific datasets. It also features a dedicated benchmarker for measuring the execution speed and accuracy of machine learning models directly within
Uses typed data packets to communicate between pipeline components, ensuring synchronized media frames and timestamps.
PyMySQL is a MySQL database connector and SQL database driver for Python environments. It serves as a client library that enables Python applications to establish network connections and interact with MySQL database servers. The library is a pure Python implementation of the MySQL client-server wire protocol. This design allows for MySQL integration and data management without requiring native C extensions. The project provides capabilities for database connectivity, query execution, and secure access control. It follows the DB-API 2.0 specification to provide a consistent interface for mana
Implements buffer-based parsing to decompose raw binary network streams into discrete MySQL protocol packets.
libhv is a high-performance C/C++ network library and event-driven I/O framework used to build TCP, UDP, SSL, HTTP, WebSocket, and MQTT clients and servers. It provides a non-blocking event loop for managing network sockets, timers, and system signals across multiple threads. The project is distinguished by its integrated support for specialized network roles, including a full HTTP web server with RESTful routing and middleware, an MQTT messaging client for IoT communication, and the ability to implement SOCKS5 and HTTP proxies. It also features a reliable UDP implementation to ensure ordered
Reconstructs application messages from raw byte streams using fixed-length, delimiter-based, or length-field parsing.
Mineflayer is a Node.js game automation framework and JavaScript API for creating programmable Minecraft bots. It functions as a headless game client that implements the Minecraft protocol to connect external applications to game servers without a graphical user interface. The project enables the automation of character actions, including movement, combat, and interaction with the game world. It provides specialized systems for calculating navigation routes through 3D environments, manipulating blocks to build or mine, and managing user account authentication and session tokens. The framewor
Parses raw TCP streams into structured JavaScript objects according to the Minecraft binary protocol.
Trippy is a network diagnostic tool and terminal user interface that combines ping and traceroute functionality to analyze network paths and performance. It provides a network packet parser and path analyzer to detect packet loss, jitter, and multipath routing through continuous network probing. The project is distinguished by its support for specialized tracing strategies, including Paris and Dublin, to ensure consistent path discovery. It identifies network address translation devices and utilizes heuristic analysis to distinguish genuine packet loss from rate-limiting. Broad capability ar
Decodes raw packet wire formats and ICMP extensions into structured diagnostic data.
esptool est un utilitaire série basé sur Python conçu pour flasher le firmware, configurer les fusibles matériels et provisionner les appareils Espressif system-on-chip. Il fonctionne comme un flasheur de firmware série et un outil de provisionnement matériel qui interagit avec les puces via une connexion série pour permettre l'exécution de programmes et la configuration des appareils. L'outil fournit des capacités spécialisées pour gérer le matériel Espressif, notamment la possibilité de définir des fusibles électroniques permanents pour verrouiller les paramètres de sécurité et définir des configurations au niveau matériel. Il dispose également d'un pont de communication série qui route le trafic réseau vers un port série pour accorder un accès distant à une console d'appareil. Globalement, le projet couvre le diagnostic des appareils embarqués et l'interaction bas niveau avec les puces. Il gère le déploiement de firmware via le flashage d'images binaires et assure la sécurité via la vérification de l'intégrité cryptographique.
Implements a byte-level packet protocol with headers and footers to synchronize host and bootloader communication.
ssh2 is a JavaScript implementation of the SSH2 protocol for Node.js, providing the core components necessary to create secure clients and servers. It enables the establishment of authenticated sessions for remote server automation and secure communication. The project distinguishes itself by providing a complete suite of tools for identity management, including utilities for generating and parsing cryptographic key pairs and integrating with external authentication agents. It also functions as a tunneling proxy capable of routing TCP, HTTP, X11, and SOCKSv5 network traffic through encrypted
Implements length-prefixed packet framing to synchronize encrypted data streams over TCP.
This project provides a technical specification and reference manual for the MQTT 3.1.1 standard, serving as a translated Chinese guide for implementing this lightweight IoT messaging protocol in resource-constrained device networks. The documentation covers the fundamental mechanisms of the publish-subscribe model, including topic-based routing with wildcard filtering, retained message storage, and the configuration of last will and testament messages. It details the protocol's approach to reliability through various quality of service levels, ranging from single-level acknowledgments to exa
Assigns unique identifiers to packets to guarantee reliable delivery and acknowledgement across service levels.
MQTTnet est une bibliothèque .NET fournissant un framework pour implémenter des clients et des brokers MQTT. Elle inclut une implémentation de broker pour héberger un hub de messages central qui route les messages entre les clients connectés, ainsi qu'une bibliothèque client pour publier et s'abonner aux messages. Le projet prend en charge les couches de transport TCP et WebSocket, permettant un trafic de données sécurisé via le protocole TLS (Transport Layer Security). Il permet le développement de middleware personnalisé pour intercepter, transformer ou valider les messages au fur et à mesure qu'ils transitent par un serveur. Les domaines de capacité incluent le routage de messages distribués, la gestion des connexions persistantes avec mise en file d'attente de qualité de service (QoS), et des primitives de sécurité pour la validation des identifiants clients et les restrictions d'abonnement aux sujets.
Transforms raw byte streams into structured protocol frames through a sequential processing pipeline.
go-mysql est une boîte à outils pour l'intégration de bases de données MySQL, fournissant un pilote client natif et les capacités pour implémenter des serveurs ou proxys compatibles MySQL personnalisés. Il permet aux applications de communiquer avec les serveurs MySQL via des modèles d'interface SQL standard. Le projet fournit un support spécialisé pour la synchronisation de données en temps réel en diffusant des événements de journal binaire (binary log). Cela permet de capturer les changements de base de données et de les pousser vers des magasins de données externes, des moteurs de recherche ou des caches pour maintenir la cohérence. La bibliothèque inclut des outils pour le traitement efficace en mémoire de grands jeux de données, utilisant le streaming de résultats de requêtes et des mécanismes de rappel pour gérer les lignes individuellement. Elle couvre également l'analyse de protocole de bas niveau, le pool de connexions avec état et la logique de réponse aux paquets personnalisée.
Provides low-level protocol packet parsers to decode raw bytes into structured MySQL packets.
go-mysql est une boîte à outils pour le langage de programmation Go conçue pour implémenter des gestionnaires de protocole MySQL, des systèmes de réplication de journal binaire, des serveurs mock et des utilitaires d'analyse de schéma. Elle fournit les bibliothèques nécessaires pour interagir avec les serveurs MySQL via des protocoles réseau natifs et des flux de journaux binaires. Le projet permet la création de proxys de base de données personnalisés ou de serveurs mock en analysant et en décodant des paquets réseau de bas niveau. Il inclut également un outil de réplication pour diffuser et traiter les journaux binaires afin de synchroniser les données entre différents systèmes de stockage, ainsi qu'un analyseur de schéma pour extraire et analyser les définitions structurelles de la base de données. La boîte à outils couvre un large éventail de capacités d'intégration de base de données, y compris la gestion des connexions, l'exécution de requêtes et la gestion des flux de travail de réplication de données en temps réel. Elle prend également en charge l'automatisation des migrations de schéma et la synchronisation des enregistrements vers des systèmes de stockage externes.
Decomposes raw binary network streams into protocol-specific MySQL packets for direct server communication.
Engine.io est une couche de transport en temps réel et un moteur de communication multi-navigateur. Il sert de bibliothèque de communication bidirectionnelle de bas niveau conçue pour gérer les connexions réseau sous-jacentes et l'échange de données requis pour les applications en temps réel. La bibliothèque fournit un mécanisme de transport WebSocket qui inclut un repli automatique vers le long-polling HTTP lorsque les protocoles bidirectionnels sont indisponibles. Elle fonctionne comme l'infrastructure essentielle pour Socket.IO, permettant les mises à niveau de connexion depuis les handshakes HTTP standard vers des connexions TCP persistantes. Ses capacités incluent la surveillance de connexion basée sur le heartbeat pour détecter les chutes, une machine à états pour gérer les cycles de vie des connexions et l'encodage de trame basé sur les paquets pour le séquençage des messages. Le système abstrait la couche de transport pour garantir un streaming de données cohérent à travers différents navigateurs web et environnements d'appareils.
Defines structural headers and markers to frame data packets for consistent message sequencing and delivery.
Ce projet est un pilote de base de données MySQL pour Node.js qui établit des connexions réseau et exécute des requêtes SQL en utilisant un protocole de communication natif. Il fonctionne comme un client SQL asynchrone, fournissant une interface de requête basée sur les promesses et la prise en charge des modèles async/await pour gérer les opérations de base de données non bloquantes. La bibliothèque inclut une implémentation complète du protocole MySQL, servant de boîte à outils pour construire des serveurs de base de données personnalisés, des proxys ou des clients. Elle fonctionne également comme un gestionnaire de pool de connexions et un outil de prévention des injections, utilisant des requêtes préparées et paramétrées pour sécuriser les interactions avec la base de données. Le projet couvre une large gamme de capacités d'intégration de base de données, y compris la coordination de transactions atomiques, le streaming de journaux binaires et le streaming de données tabulaires pour les importations en masse. Il gère les cycles de vie des ressources par un nettoyage automatique des connexions et fournit divers mécanismes d'authentification, tels que l'authentification par hachage de mot de passe et la négociation de poignée de main sécurisée. La connectivité est en outre prise en charge par le chiffrement SSL, la compression du trafic réseau et la possibilité d'acheminer le trafic via des transports de flux duplex personnalisés.
Implements the MySQL wire protocol to decode raw binary network streams into structured data packets.
Luvit est un runtime piloté par événements pour Lua qui intègre libuv pour fournir des E/S non bloquantes et des opérations système asynchrones. Il fonctionne comme un framework réseau asynchrone et un environnement d'exécution qui tire parti de la compilation Just-In-Time pour un traitement de script haute performance. La plateforme permet la distribution du trafic réseau sur plusieurs cœurs CPU via un gestionnaire de cluster TCP qui partage les handles de socket entre les processus enfants. Elle fournit des capacités spécialisées pour construire des serveurs HTTP en décodant les flux de requêtes entrants et en encodant les réponses via un processeur de flux. Le runtime prend en charge le développement d'applications pilotées par événements générales, la programmation réseau asynchrone et l'intégration de modules binaires compilés pour étendre les capacités du langage de bas niveau. Les utilisateurs peuvent interagir avec l'environnement via une boucle REPL, exécuter des scripts autonomes ou évaluer des extraits de code via la ligne de commande.
Implements stream-based processing to decode incoming HTTP requests and encode outgoing responses.
This project is a collection of research and tools for reverse engineering the hardware and communication protocols of Nintendo Switch consoles and controllers. It provides a comprehensive toolset for analyzing physical hardware interfaces, parsing controller communication protocols, extracting embedded firmware, and emulating input signals. The project focuses on decoding raw serial data and packets from controllers to extract input and sensor states. It includes capabilities for simulating hardware signals to send spoofed input data to the system console and extracting microcontroller softw
Decodes raw serial data and packets from controllers to extract input and sensor states.