Awesome GitHub RepositoriesStream Analytics Processing

Apache Flink is a distributed processing engine designed for both high-throughput, low-latency data streams and finite batch workloads. It functions as a stateful stream processor and a SQL stream processing engine, providing a unified runtime to execute relational queries and event-based transformations. The system is distinguished by its ability to manage persistent operator state to ensure exactly-once processing guarantees and consistency during failures. It features specialized capabilities for complex event processing to detect temporal patterns and handles out-of-order events using eve

Deepagents is an LLM agent orchestration platform and stateful application server designed for deploying and managing AI agents built with computational graphs. It provides a containerized runtime environment that handles agent execution, state persistence, and the versioning of AI assistants. The platform distinguishes itself through deep integration with the Model Context Protocol, allowing agents to function as servers that expose tools and capabilities to external clients. It features a sophisticated observability suite for capturing execution traces, performing LLM-based evaluations agai

This project serves as a comprehensive technical reference for the architecture and design of data-intensive applications. It provides a structured analysis of the fundamental principles required to build reliable, scalable, and maintainable software systems, covering the core trade-offs inherent in modern data infrastructure. The repository explores the mechanics of distributed data management, including strategies for replication, partitioning, and achieving consensus across multiple nodes. It details the design of storage engines, indexing techniques, and transaction management models, whi

Cube is a semantic data layer that provides a unified framework for defining business metrics, dimensions, and relationships across diverse data sources. By acting as a headless business intelligence engine, it transforms raw data into a governed model that can be queried via SQL, REST, and GraphQL interfaces. This architecture ensures consistent data definitions and logic across all downstream analytical applications and reporting tools. The platform distinguishes itself through its integrated conversational AI capabilities, which allow users to explore data using natural language. It orches

This project is a collection of educational resources and reference implementations for the Apache Flink stream processing framework. It provides a learning resource focused on mastering distributed stream processing through implementation guides, performance tuning tutorials, and practical examples. The repository features detailed walkthroughs for building real-time data pipelines using the DataStream and Table APIs. It includes specific integration examples for connecting Apache Flink with Kafka brokers and Elasticsearch indices, as well as reference implementations for real-time deduplica

Azure Docs is the official technical documentation repository for Microsoft Azure, the cloud computing platform. It provides comprehensive guidance on the full spectrum of Azure services, covering everything from core infrastructure components like virtual machines, Kubernetes clusters, and serverless computing to platform services for AI, machine learning, data analytics, and storage. The documentation details how to provision, manage, and govern cloud resources at scale, including policy enforcement, identity management, and cost optimization. The documentation distinguishes Azure through i

Boto3 is the AWS SDK for Python, providing a programmatic interface for managing and automating AWS cloud infrastructure and services. It serves as a cloud management API client and resource manager for provisioning, configuring, and scaling virtual servers, databases, and storage. The library enables the implementation of infrastructure-as-code through declarative templates and scripts, allowing for the deployment of identical resource stacks across multiple accounts and geographic regions. It also provides a framework for coordinating distributed workflows, serverless functions, and contain

jetson-inference is a set of libraries and tools for executing optimized deep learning models on embedded GPU hardware. Its primary purpose is to enable real-time computer vision and AI inference at the edge with low latency and high throughput. The project distinguishes itself through high-performance streaming analytics and the ability to execute concurrent AI pipelines on auto-grade silicon. It provides specialized support for multi-sensor stream processing, utilizing zero-copy data transport to load camera frames directly into GPU memory. The codebase covers a broad surface of capabiliti

WuKongIM est un serveur de messagerie instantanée distribué conçu pour le chat en temps réel et les notifications. Il fonctionne comme un cluster de communication décentralisé qui utilise un routeur de messages pub-sub pour distribuer les données aux utilisateurs individuels et aux canaux de groupe à grande échelle. Le système inclut un protocole de streaming de chat IA spécialisé pour fournir des réponses incrémentales à faible latence depuis des agents d'intelligence artificielle. Il dispose également d'une passerelle d'événements webhook qui transfère les changements de statut de communication et les événements de message aux applications métier externes via des callbacks. La plateforme fournit une infrastructure pour la communication de groupe à haute capacité, la synchronisation de messages multi-appareils et le suivi de conversation basé sur l'état. La sécurité est gérée via le chiffrement de la couche transport et l'accès aux canaux basé sur les permissions, tandis que la fiabilité du système est maintenue via le basculement automatisé, la reprise après sinistre et le monitoring de santé basé sur le heartbeat.

Gibberlink est un modem de données acoustiques et une couche de communication conçue pour que les agents d'IA échangent des informations via des signaux audio à haute densité. Il fournit un protocole qui permet aux grands modèles de langage de contourner le texte lisible par l'humain au profit d'un système de transfert de données basé sur le son. Le framework permet aux agents d'IA de s'identifier mutuellement et de négocier une transition de la conversation en langage naturel vers un lien de données sonores machine-à-machine. Ce changement de protocole augmente l'efficacité de la communication en passant de l'anglais à un flux sonore binaire optimisé une fois que les deux participants sont identifiés comme des entités IA. Le système couvre le pipeline complet de transmission de données basée sur l'audio, incluant la modulation d'ondes sonores, l'encodage d'informations numériques en formes d'ondes, et le décodage de signaux acoustiques en données structurées. Il maintient un pipeline de communication en mode double pour gérer à la fois la compréhension du langage naturel et la transmission de données brutes au niveau sonore.

Ce projet est un moteur de recommandation de produits en temps réel construit sur Apache Flink. Il fonctionne comme un pipeline d'analyse comportementale en flux qui traite les logs bruts pour déduire les intérêts des utilisateurs et les tendances de popularité des produits. Le système utilise un moteur de filtrage collaboratif pour calculer la similarité des articles via la similarité cosinus et les modèles d'interaction utilisateur partagés. Il emploie un pipeline de re-classement hybride qui combine des listes de popularité globale avec des profils utilisateur personnalisés pour trier les articles recommandés. L'architecture intègre un magasin utilisateur large colonne utilisant HBase pour les enregistrements comportementaux persistants et un cache supporté par Redis pour les listes de chaleur des articles en temps réel. Le pipeline inclut des capacités pour l'extraction d'intérêts comportementaux, l'analyse des intervalles d'interaction et un tableau de bord de performance pour surveiller les taux d'ingestion de logs.

Riemann est un moteur d'analyse en temps réel et un processeur de flux d'événements basé sur Clojure. Il fonctionne comme un pipeline de télémétrie réseau et un routeur d'événements extensible qui ingère, transforme et achemine les données d'événements provenant de systèmes distribués. Le système utilise un langage dédié (DSL) pour calculer des métriques et des modèles statistiques sur des flux continus, permettant l'analyse des tendances réseau et l'alerte en temps réel. Il prend en charge le chargement dynamique de plugins depuis le classpath et permet de recharger la configuration à chaud sans interrompre les flux d'événements actifs. Ses capacités incluent l'agrégation centralisée de télémétrie, le marquage de métadonnées d'événements et l'indexation d'événements avec état. Le système gère la répartition des flux d'événements par fractionnement, traitement par lots et filtrage, tout en assurant un transport réseau sécurisé via chiffrement et authentification.