28 مستودعات
Interfaces for real-time access to incoming data streams.
Distinguishing note: Focuses on subscription-based access, distinct from batch query interfaces.
Explore 28 awesome GitHub repositories matching data & databases · Data Stream Subscriptions. Refine with filters or upvote what's useful.
graphql-engine is an automated GraphQL API engine that transforms database tables and relationships into a queryable GraphQL schema. It functions as a federation gateway and mapper, instantly generating APIs with built-in filtering, pagination, and mutations from existing databases and remote schemas. The project distinguishes itself through a fine-grained access control layer that enforces row-level and field-level permissions. It further provides a real-time data subscription server that converts standard queries into live streams and a system for triggering event-driven webhooks and notifi
Streams real-time updates to clients by tracking data changes and batching modifications using a cursor mechanism.
TDengine is a distributed time-series database designed for the high-speed ingestion, compression, and retrieval of timestamped metrics and sensor data. It functions as a SQL-compatible analytics engine, allowing users to perform complex operations on massive volumes of time-ordered information using standard relational syntax. The platform is built to serve as a backend foundation for industrial IoT environments, managing real-time data streams and device metadata through a cluster-based architecture. The system distinguishes itself through a distributed sharding architecture that uses consi
Provides built-in interfaces to subscribe to real-time data streams for downstream processing.
This project is a command-line utility and development framework designed to modify, extend, and customize the Spotify desktop client. It functions as a binary patching engine that injects custom scripts, stylesheets, and interface components directly into the host application, enabling users to alter visual themes and add new functionality. The tool distinguishes itself by providing a comprehensive development environment for building modular extensions and custom applications. It includes a hot-reloading pipeline for rapid iteration, a declarative library for constructing interactive UI pan
Listens for real-time updates from remote services to trigger callback functions within the client.
NATS Server is a high-performance, lightweight messaging system designed for cloud-native applications, edge computing, and distributed microservices. It functions as a distributed publish-subscribe broker that routes messages using hierarchical, dot-separated subject strings, enabling decoupled communication between services without requiring centralized broker lookups. The system supports core messaging patterns including asynchronous publish-subscribe, request-reply, and load-balanced queue processing. The platform distinguishes itself through a decentralized architecture that eliminates t
Routes messages using hierarchical subject matching to enable decoupled publish-subscribe communication.
gost is a multi-protocol proxy tunnel and secure tunneling server designed to route network traffic through encrypted connections. It functions as a traffic obfuscation gateway and a transparent proxy server capable of intercepting TCP and UDP traffic at the IP level. The project also includes a virtual network interface manager for creating TUN and TAP devices to intercept operating system packets. The system distinguishes itself through a chain-based request routing model, allowing traffic to pass through an ordered sequence of proxy nodes. It provides extensive transport-layer encapsulatio
Excludes dead or failing nodes from the selection pool based on failure counts.
Subconverter is a network utility designed to translate, merge, and filter proxy subscription configurations. It functions as a service that converts proxy links between various client-specific formats, ensuring compatibility across different applications and platforms. By providing a unified interface for managing diverse connection sources, the tool enables consistent network policy application and streamlined configuration management. The project distinguishes itself through an HTTP-based transformation interface that processes subscription data dynamically. It utilizes an in-memory pipeli
Refines proxy node lists by applying regex-based inclusion or exclusion rules to ensure only desired connections remain.
Apache Pulsar is a cloud-native distributed pub-sub messaging system designed for high-performance data ingestion. It functions as a geo-replicated data streamer and a multi-tenant event streaming platform, providing a serverless stream processing engine and a tiered storage messaging broker. The system distinguishes itself by separating serving layers from storage layers to allow independent scaling of compute and data retention. It features native geo-replication to synchronize messages across different geographical regions and employs a multi-layered tenant isolation model using authentica
Maintains individual consumer offsets using cursors to enable reliable message replay and independent stream tracking.
Cayley is a graph database engine designed for storing and querying interconnected data using a quad-based data model. It functions as an RDF quad store, managing information through subjects, predicates, objects, and labels. The system features a modular graph store architecture with pluggable backends, allowing it to swap between in-memory storage and various external persistent databases. It includes a GraphQL-inspired API and a dedicated data visualizer for the interactive exploration of nodes and edges. Query capabilities cover bidirectional path traversal and multi-syntax execution usi
Restricts the set of nodes based on predicate-object matches, range constraints, string matching, or identities.
Sub-Store is a proxy subscription management server that aggregates multiple subscription links into a single unified stream for distribution to various clients. It functions as a transformation pipeline that filters, modifies, and reformats proxy node metadata. The system acts as a cross-platform format converter to ensure compatibility across diverse client applications. It includes an encryption decryption gateway that uses private keys to handle age-standard encrypted subscription content and a cache-layered aggregator to reduce external requests. The server provides capabilities for dyn
Removes specific proxies from a list using regular expressions, regional markers, or custom scripts.
RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen
Delivers real-time updates from materialized views using a cursor-based subscription mechanism.
This is a Golang client library for interacting with a cloud native distributed messaging system. It provides the necessary tools for Go applications to exchange messages using publish-subscribe and request-reply patterns, as well as specialized clients for managing persistent streams and distributed storage. The library includes a JetStream client for durable message streaming and replay, a Key-Value store client for managing distributed state with versioning and watchers, and an Object Store client for the storage and retrieval of large binary files via chunked delivery. The implementation
Supports wildcard patterns in subject subscriptions to filter and match multiple data streams.
Clash-freenode is a tool that automatically fetches, aggregates, and generates subscription links for free proxy nodes from public sources, supporting Clash, V2Ray, and SSR formats. It operates by scraping Telegram channels and scanning public repositories to harvest proxy links, then converting them into static subscription URLs that clients can consume without manual updates. The project distinguishes itself by combining multiple aggregation methods—daily feed parsing, repository-based link harvesting, and Telegram channel scraping—into a single pipeline that produces protocol-compatible ou
Filters proxy nodes based on connectivity and latency checks to ensure only functional nodes are included.
re-frame هو إطار عمل وظيفي لبناء تطبيقات الصفحة الواحدة (SPA) باستخدام ClojureScript. يوفر قاعدة بيانات مركزية غير قابلة للتغيير تعمل كمصدر وحيد للحقيقة لحالة التطبيق بالكامل، مما يفرض تدفق بيانات أحادي الاتجاه صارم حيث تؤدي الأحداث إلى تغييرات في الحالة وتحديثات لاحقة للعرض. يتميز إطار العمل برسم بياني تفاعلي للإشارات وخط أنابيب (pipeline) وسيط يعتمد على المعترضات (interceptors). من خلال التعامل مع منطق التطبيق كسلسلة من الأحداث القائمة على البيانات والآثار الجانبية التصريحية، فإنه يفصل منطق الأعمال عن طبقة العرض. تسمح هذه البنية للمطورين بإدارة تغييرات الحالة المعقدة والعمليات الخارجية من خلال دوال نقية، مما يضمن تنفيذ الآثار الجانبية بواسطة مترجم منفصل بدلاً من الاستدعاءات الإلزامية. يتضمن النظام مجموعة شاملة من الإمكانيات لإدارة بنية التطبيق، بما في ذلك اشتقاق البيانات التفاعلي، ومطابقة العرض القائمة على الاشتراكات، وإدارة الحالة القائمة على الأحداث. يدعم سير عمل التطوير المتقدم مثل تتبع الأحداث، وحفظ نقاط فحص الحالة، والقدرة على محاكاة الآثار الجانبية للاختبار المعزول. تم تصميم المشروع للتكامل مع React، مستفيداً من مطابقة DOM الافتراضي لتحديث واجهات المستخدم بكفاءة. يوفر مجموعة قوية من الأدوات للتعامل مع الاهتمامات المتقاطعة، وإدارة رسوم بيانية معقدة لتدفق البيانات، وتنسيق العمليات غير المتزامنة ضمن خط أنابيب أحداث متسلسل وقابل للتنبؤ.
Displays active subscription subjects for connected clients to facilitate debugging.
dlt هي أداة لاستيعاب البيانات بلغة Python وإطار عمل لخط أنابيب ETL مصمم لجلب البيانات من مصادر متنوعة وحفظها في وجهات مهيكلة. تعمل كمحرك لاستنتاج المخطط (schema inference) يكتشف تلقائياً أنواع البيانات ويسطح هياكل JSON المتداخلة في جداول علائقية، ناقلاً البيانات من المصادر إلى بحيرات البيانات، أو المستودعات، أو قواعد بيانات المتجهات. يتميز المشروع بتوليد خط أنابيب مدعوم بالذكاء الاصطناعي، باستخدام نماذج لغات كبيرة لسقالات كود الاستخراج والموصلات لـ REST APIs. كما يدعم تخزين المتجهات متعدد الوسائط والتعبئة المتخصصة لقواعد بيانات المتجهات لدعم تطبيقات الذكاء الاصطناعي والتعلم الآلي. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك تطور المخطط المؤتمت، وتحميل البيانات التزايدي عبر تتبع الحالة، والتحقق من جودة البيانات من خلال فرض عقود البيانات. يوفر أدوات لتطبيع البيانات العلائقية، وتحويلات ما قبل وما بعد التحميل، ومجموعة متنوعة من محولات الوجهة لقواعد بيانات SQL ومخازن الكائنات السحابية. تتم إدارة المراقبة من خلال لوحات معلومات تنفيذ خط الأنابيب، وتتبع نسب الأعمدة، والتحقق من إصدار المخطط باستخدام التجزئات القائمة على المحتوى.
Uses cursors based on timestamps or IDs to load only data produced since the last execution.
Reactor Core هي مجموعة أدوات برمجة تفاعلية وأساس غير محظور لتكوين خطوط أنابيب بيانات غير متزامنة على JVM. تعمل كإطار عمل لمعالجة التدفق غير المتزامن ونظام إدارة الضغط العكسي، مما يسمح للمطورين بتحويل وتصفية ودمج تسلسلات الأحداث مع تنظيم تدفق البيانات بين المنتجين والمستهلكين لمنع استنفاد الموارد. تتميز المكتبة بنظام جدولة تزامن متطور وتحكم في التدفق قائم على الطلب. تفصل معالجة الإشارات عن خيوط معينة باستخدام سجل جدولة وتوفر آليات لنشر البيانات الوصفية غير القابلة للتغيير المدركة للسياق عبر الحدود غير المتزامنة. كما تتميز بأدوات متخصصة لالتقاط التتبع في وقت التجميع وجدولة الوقت الافتراضي لتسهيل اختبار المشغلين القائمين على الوقت. يغطي المشروع مجموعة واسعة من القدرات، بما في ذلك معالجة البيانات الوظيفية لتجميع التسلسل والنافذة، ومجموعة متنوعة من استراتيجيات استرداد الأخطاء مثل إعادة المحاولة ذات التراجع الأسي، وأدوات لربط رد الاتصال القديم أو واجهات برمجة التطبيقات المتزامنة في تدفقات تفاعلية. كما يوفر أدوات لمراقبة خط الأنابيب ومجموعة من أدوات الاختبار للتحقق من تسلسلات الإشارة.
Supports the creation of cold publishers that restart the data sequence for each unique subscriber.
Potpie is an LLM codebase analysis platform and multi-agent orchestration framework designed to act as an AI software engineer. It parses repositories into a structured code knowledge graph, enabling AI agents to perform multi-hop reasoning, dependency tracing, and grounded technical analysis across large codebases. The system distinguishes itself through a spec-driven development framework where agents generate detailed technical specifications and architecture plans before implementing multi-file code changes. It utilizes a durable execution engine to coordinate specialized AI personas for
Finds nodes in a knowledge graph by matching natural language queries against node descriptions.
RxPY هي مكتبة للبرمجة التفاعلية الوظيفية ومكتبة ReactiveX للملاحظات (Observable) في Python. تعمل كمعالج تدفق غير متزامن وإطار عمل تنسيق قائم على الأحداث، وتُستخدم لبناء خطوط أنابيب بيانات تتفاعل مع تغيرات الحالة أو تدفقات الأحداث بمرور الوقت. توفر المكتبة مجموعة أدوات لتأليف البرامج غير المتزامنة والقائمة على الأحداث باستخدام تسلسلات قابلة للملاحظة وعوامل تشغيل. تتميز باستخدام مجدولات (Schedulers) قابلة للتكوين لإدارة التزامن والتوقيت ودورات حياة الاشتراك. يغطي المشروع مجموعة واسعة من قدرات معالجة التدفق، بما في ذلك تجميع البيانات، والتصفية، والدمج. كما يوفر آليات لبث الأحداث، وتخزين التسلسلات مؤقتًا، ومعالجة الأخطاء، بالإضافة إلى أدوات لتنسيق التدفقات القابلة للملاحظة مع حلقات الأحداث غير المتزامنة. يتم دعم الاختبار وضمان الجودة من خلال محاكاة الوقت الافتراضي، ونمذجة مخططات الرخام (Marble diagrams)، والتحقق من الانبعاثات.
Provides interfaces for subscribers to attach handlers and react to real-time data stream emissions.
clashN is a cross-platform proxy manager and graphical user interface client for the Clash proxy core. It serves as a visual wrapper that enables the configuration of network tunnels and the routing of internet traffic to bypass network restrictions on desktop operating systems. The application functions by decoupling the management interface from the network engine, using a local API to dispatch configuration updates and control the proxy core. It includes a subscription converter that translates external provider profiles into standardized configuration schemas compatible with the underlyin
Deduplicates and filters proxy nodes across multiple subscriptions using regex and custom logic.
FastStream is an asyncio message broker framework for building event-driven applications in Python. It provides a unified interface and a multi-broker messaging abstraction layer that translates generic producer and consumer calls into broker-specific APIs. The framework features a built-in dependency injection container and uses decorators to route messages to asynchronous handler functions. It includes a documentation generator that extracts channel definitions and message formats from code to produce standardized AsyncAPI specifications. The project supports integration with Kafka, Rabbit
Subscribes to subjects using wildcard patterns to create flexible topic hierarchies.
Sqlbrite هو مدير قاعدة بيانات SQLite تفاعلي وغلاف خفيف لنظام Android. يعمل كمكتبة SQL تفاعلية تحول استعلامات SQLite القياسية إلى تدفقات قابلة للمراقبة (Observable Streams)، مما يسمح للتطبيق بإصدار نتائج جديدة تلقائياً عند تغير جداول قاعدة البيانات الأساسية. يوفر المشروع آلية لتتبع التغييرات في جداول محددة في قاعدة البيانات، مما يؤدي إلى تحديث الاستعلامات دون الحاجة إلى الاستطلاع اليدوي. كما يتضمن مديراً للمعاملات الذرية (Atomic Transactions) لتجميع تعديلات SQL المتعددة في وحدات واحدة، مما يضمن سلامة البيانات ويمنع الإشعارات الزائدة. تتعامل المكتبة مع استمرارية البيانات المحلية على Android من خلال تفويض عمليات المخطط وإدارة دورة حياة قاعدة البيانات إلى مساعد SQLite القياسي. تغطي قدراتها الأساسية مراقبة البيانات في الوقت الفعلي وإدارة معاملات قاعدة البيانات.
Transforms traditional SQLite result cursors into real-time data streams that automatically update the UI.