16 مستودعات
Models that process data as discrete packets for efficient manipulation.
Explore 16 awesome GitHub repositories matching data & databases · Packet-Based Stream Processors. Refine with filters or upvote what's useful.
FFmpeg is a cross-platform multimedia framework designed for the recording, conversion, and streaming of audio and video content. It functions as a comprehensive toolkit that provides both a command-line utility for direct media manipulation and a collection of low-level libraries for integration into custom applications. At its core, the project utilizes a packet-based stream engine and a format-agnostic abstraction layer to handle diverse media standards, containers, and network protocols. The framework distinguishes itself through a modular, graph-based filter execution model that allows f
Manages media data as discrete, timestamped packets to facilitate efficient routing and manipulation across the pipeline.
MediaPipe is a cross-platform machine learning framework designed for building and deploying pipelines that process live and streaming media. It provides a system for connecting processing components into custom machine learning chains to analyze real-time audio and video streams. The framework includes a suite of pre-trained models for tasks such as hand, face, and pose tracking, along with tools for retraining and customizing these models with specific datasets. It also features a dedicated benchmarker for measuring the execution speed and accuracy of machine learning models directly within
Uses typed data packets to communicate between pipeline components, ensuring synchronized media frames and timestamps.
PyMySQL is a MySQL database connector and SQL database driver for Python environments. It serves as a client library that enables Python applications to establish network connections and interact with MySQL database servers. The library is a pure Python implementation of the MySQL client-server wire protocol. This design allows for MySQL integration and data management without requiring native C extensions. The project provides capabilities for database connectivity, query execution, and secure access control. It follows the DB-API 2.0 specification to provide a consistent interface for mana
Implements buffer-based parsing to decompose raw binary network streams into discrete MySQL protocol packets.
libhv is a high-performance C/C++ network library and event-driven I/O framework used to build TCP, UDP, SSL, HTTP, WebSocket, and MQTT clients and servers. It provides a non-blocking event loop for managing network sockets, timers, and system signals across multiple threads. The project is distinguished by its integrated support for specialized network roles, including a full HTTP web server with RESTful routing and middleware, an MQTT messaging client for IoT communication, and the ability to implement SOCKS5 and HTTP proxies. It also features a reliable UDP implementation to ensure ordered
Reconstructs application messages from raw byte streams using fixed-length, delimiter-based, or length-field parsing.
Mineflayer is a Node.js game automation framework and JavaScript API for creating programmable Minecraft bots. It functions as a headless game client that implements the Minecraft protocol to connect external applications to game servers without a graphical user interface. The project enables the automation of character actions, including movement, combat, and interaction with the game world. It provides specialized systems for calculating navigation routes through 3D environments, manipulating blocks to build or mine, and managing user account authentication and session tokens. The framewor
Parses raw TCP streams into structured JavaScript objects according to the Minecraft binary protocol.
Trippy is a network diagnostic tool and terminal user interface that combines ping and traceroute functionality to analyze network paths and performance. It provides a network packet parser and path analyzer to detect packet loss, jitter, and multipath routing through continuous network probing. The project is distinguished by its support for specialized tracing strategies, including Paris and Dublin, to ensure consistent path discovery. It identifies network address translation devices and utilizes heuristic analysis to distinguish genuine packet loss from rate-limiting. Broad capability ar
Decodes raw packet wire formats and ICMP extensions into structured diagnostic data.
esptool هي أداة تسلسلية تعتمد على Python مصممة لبرمجة البرامج الثابتة (firmware)، وتكوين فيوزات الأجهزة، وتوفير أجهزة Espressif (System-on-Chip). تعمل كمبرمج برامج ثابتة تسلسلي وأداة توفير أجهزة تتفاعل مع الرقائق عبر اتصال تسلسلي لتمكين تنفيذ البرامج وإعداد الجهاز. توفر الأداة قدرات متخصصة لإدارة أجهزة Espressif، بما في ذلك القدرة على ضبط فيوزات إلكترونية دائمة لقفل إعدادات الأمان وتحديد تكوينات مستوى الأجهزة. كما تتميز بجسر اتصال تسلسلي يوجه حركة مرور الشبكة إلى منفذ تسلسلي لمنح وصول بعيد إلى وحدة تحكم الجهاز. بشكل عام، يغطي المشروع تشخيص الأجهزة المدمجة والتفاعل مع الرقائق على مستوى منخفض. وهو يدير نشر البرامج الثابتة من خلال وميض صور ثنائية ويضمن الأمان عبر التحقق من السلامة التشفيرية.
Implements a byte-level packet protocol with headers and footers to synchronize host and bootloader communication.
ssh2 is a JavaScript implementation of the SSH2 protocol for Node.js, providing the core components necessary to create secure clients and servers. It enables the establishment of authenticated sessions for remote server automation and secure communication. The project distinguishes itself by providing a complete suite of tools for identity management, including utilities for generating and parsing cryptographic key pairs and integrating with external authentication agents. It also functions as a tunneling proxy capable of routing TCP, HTTP, X11, and SOCKSv5 network traffic through encrypted
Implements length-prefixed packet framing to synchronize encrypted data streams over TCP.
This project provides a technical specification and reference manual for the MQTT 3.1.1 standard, serving as a translated Chinese guide for implementing this lightweight IoT messaging protocol in resource-constrained device networks. The documentation covers the fundamental mechanisms of the publish-subscribe model, including topic-based routing with wildcard filtering, retained message storage, and the configuration of last will and testament messages. It details the protocol's approach to reliability through various quality of service levels, ranging from single-level acknowledgments to exa
Assigns unique identifiers to packets to guarantee reliable delivery and acknowledgement across service levels.
MQTTnet هي مكتبة .NET توفر إطار عمل لتنفيذ عملاء ووسطاء MQTT. تتضمن تنفيذ وسيط لاستضافة مركز رسائل مركزي يوجه الرسائل بين العملاء المتصلين، ومكتبة عميل لنشر الرسائل والاشتراك فيها. يدعم المشروع طبقات نقل TCP و WebSocket، مما يتيح حركة بيانات آمنة من خلال أمان طبقة النقل. يسمح بتطوير برمجيات وسيطة (Middleware) مخصصة لاعتراض الرسائل أو تحويلها أو التحقق منها أثناء مرورها عبر الخادم. تشمل مجالات القدرات توجيه الرسائل الموزعة، وإدارة الاتصال المستمر مع طوابير جودة الخدمة، وأساسيات الأمان للتحقق من بيانات اعتماد العميل وقيود الاشتراك في المواضيع.
Transforms raw byte streams into structured protocol frames through a sequential processing pipeline.
go-mysql هو مجموعة أدوات للغة البرمجة Go مصممة لتنفيذ معالجات بروتوكول MySQL، وأنظمة نسخ السجل الثنائي، والخوادم الوهمية، وأدوات تحليل المخططات. توفر المكتبات اللازمة للتفاعل مع خوادم MySQL من خلال بروتوكولات الشبكة الأصلية وتدفقات السجل الثنائي. يمكن المشروع من إنشاء وكلاء قاعدة بيانات مخصصين أو خوادم وهمية عن طريق تحليل وفك تشفير حزم الشبكة منخفضة المستوى. كما يتضمن أداة نسخ متماثل لبث ومعالجة السجلات الثنائية لمزامنة البيانات عبر أنظمة تخزين مختلفة، إلى جانب محلل مخططات لاستخراج وتحليل تعريفات هيكل قاعدة البيانات. تغطي مجموعة الأدوات مجموعة واسعة من قدرات تكامل قاعدة البيانات، بما في ذلك إدارة الاتصال، وتنفيذ الاستعلام، وإدارة سير عمل نسخ البيانات في الوقت الفعلي. كما تدعم أتمتة ترحيلات المخططات ومزامنة السجلات مع أنظمة التخزين الخارجية.
Decomposes raw binary network streams into protocol-specific MySQL packets for direct server communication.
go-mysql هو مجموعة أدوات لتكامل قاعدة بيانات MySQL، توفر برنامج تشغيل عميل أصلي والقدرات اللازمة لتنفيذ خوادم أو وكلاء متوافقين مع MySQL. تمكن التطبيقات من التواصل مع خوادم MySQL من خلال أنماط واجهة SQL القياسية. يوفر المشروع دعماً متخصصاً لمزامنة البيانات في الوقت الفعلي عن طريق بث أحداث السجل الثنائي (binary log). يسمح هذا بالتقاط تغييرات قاعدة البيانات ودفعها إلى مخازن بيانات خارجية، أو محركات بحث، أو ذاكرات تخزين مؤقت للحفاظ على الاتساق. تتضمن المكتبة أدوات لمعالجة مجموعات البيانات الكبيرة بكفاءة في الذاكرة، باستخدام بث نتائج الاستعلام وآليات رد الاتصال (callback) للتعامل مع الصفوف بشكل فردي. كما تغطي تحليل البروتوكول منخفض المستوى، وتجميع الاتصالات ذات الحالة، ومنطق استجابة الحزم المخصص.
Provides low-level protocol packet parsers to decode raw bytes into structured MySQL packets.
Engine.io هو طبقة نقل في الوقت الفعلي ومحرك اتصالات عبر المتصفحات. يعمل كمكتبة اتصالات ثنائية الاتجاه منخفضة المستوى مصممة لإدارة اتصالات الشبكة الأساسية وتبادل البيانات المطلوب للتطبيقات في الوقت الفعلي. توفر المكتبة آلية نقل WebSocket تتضمن خياراً بديلاً تلقائياً لـ HTTP long-polling عندما تكون البروتوكولات ثنائية الاتجاه غير متوفرة. تعمل كبنية تحتية أساسية لـ Socket.IO، مما يتيح ترقيات الاتصال من مصافحات HTTP القياسية إلى اتصالات TCP مستمرة. تتضمن قدراتها مراقبة الاتصال القائمة على نبضات القلب لاكتشاف الانقطاعات، وآلة حالة لإدارة دورات حياة الاتصال، وترميز إطارات قائم على الحزم لتسلسل الرسائل. يجرد النظام طبقة النقل لضمان بث بيانات متسق عبر متصفحات الويب وبيئات الأجهزة المختلفة.
Defines structural headers and markers to frame data packets for consistent message sequencing and delivery.
هذا المشروع عبارة عن تعريف (driver) لقاعدة بيانات MySQL لـ Node.js ينشئ اتصالات شبكة وينفذ استعلامات SQL باستخدام بروتوكول اتصال أصلي. يعمل كعميل SQL غير متزامن، ويوفر واجهة استعلام قائمة على الوعود (promise-based) ودعماً لأنماط async/await لإدارة عمليات قاعدة البيانات غير المحظورة. تتضمن المكتبة تنفيذاً كاملاً لبروتوكول MySQL، وتعمل كأداة لبناء خوادم قواعد بيانات مخصصة أو وكلاء أو عملاء. كما تعمل كمدير لمجمع الاتصالات (connection pool) وأداة لمنع الحقن، باستخدام الاستعلامات المحضرة (prepared statements) والاستعلامات ذات المعلمات لتأمين تفاعلات قاعدة البيانات. يغطي المشروع نطاقاً واسعاً من إمكانيات تكامل قواعد البيانات، بما في ذلك تنسيق المعاملات الذرية، وبث السجلات الثنائية، وبث البيانات الجدولية للاستيراد بالجملة. ويدير دورات حياة الموارد من خلال تنظيف الاتصال المؤتمت ويوفر آليات مصادقة متنوعة، مثل مصادقة تجزئة كلمة المرور وتفاوض المصافحة الآمن. يتم دعم الاتصال بشكل أكبر عبر تشفير SSL، وضغط حركة مرور الشبكة، والقدرة على توجيه حركة المرور عبر ناقلات تدفق مزدوجة مخصصة.
Implements the MySQL wire protocol to decode raw binary network streams into structured data packets.
Luvit هو وقت تشغيل قائم على الأحداث لـ Lua يدمج libuv لتوفير إدخال/إخراج غير محظور وعمليات نظام غير متزامنة. يعمل كإطار عمل شبكة غير متزامن وبيئة تنفيذ تستفيد من التجميع في الوقت المناسب (JIT) لمعالجة النصوص البرمجية عالية الأداء. يُمكّن النظام من توزيع حركة مرور الشبكة عبر نوى CPU متعددة من خلال مدير مجموعة TCP يشارك مقابض المقبس (socket handles) بين العمليات الفرعية. يوفر قدرات متخصصة لبناء خوادم HTTP عن طريق فك تشفير تدفقات الطلبات الواردة وترميز الاستجابات عبر معالج تدفق. يدعم وقت التشغيل تطوير التطبيقات القائمة على الأحداث بشكل عام، وبرمجة الشبكة غير المتزامنة، وتكامل الوحدات الثنائية المجمعة لتوسيع قدرات اللغة منخفضة المستوى. يمكن للمستخدمين التفاعل مع البيئة من خلال حلقة القراءة-التقييم-الطباعة (REPL)، أو تنفيذ نصوص برمجية مستقلة، أو تقييم مقتطفات الكود عبر سطر الأوامر.
Implements stream-based processing to decode incoming HTTP requests and encode outgoing responses.
This project is a collection of research and tools for reverse engineering the hardware and communication protocols of Nintendo Switch consoles and controllers. It provides a comprehensive toolset for analyzing physical hardware interfaces, parsing controller communication protocols, extracting embedded firmware, and emulating input signals. The project focuses on decoding raw serial data and packets from controllers to extract input and sensor states. It includes capabilities for simulating hardware signals to send spoofed input data to the system console and extracting microcontroller softw
Decodes raw serial data and packets from controllers to extract input and sensor states.