6 dépôts
Execution of data analysis and filtering directly on remote endpoints to minimize network traffic.
Distinct from Data Processing: None of the candidates cover the concept of performing analysis on the endpoint to avoid transferring raw data to a server.
Explore 6 awesome GitHub repositories matching data & databases · Edge Data Processing. Refine with filters or upvote what's useful.
Netdata is a real-time infrastructure monitoring tool and multi-node observability platform. It functions as a high-resolution monitoring agent, log and metric aggregator, and time-series database designed to provide full-stack visibility into server health. The system is distinguished by its per-second metric sampling and zero-configuration auto-discovery, which allows for immediate infrastructure tracking upon installation. It utilizes edge-based machine learning and unsupervised models to detect system anomalies and abnormal metric patterns locally on each node. For distributed environment
Integrates directly with system journals and event logs to process and visualize data at the edge.
Fluent Bit est un collecteur de logs et de télémétrie unifié cloud-native conçu comme un pipeline de données efficace en ressources. Il ingère des logs, des métriques et des traces provenant de multiples sources, les traitant en temps réel avant d'acheminer les données vers des backends de stockage externes. Le projet fonctionne comme un processeur de flux en temps réel et un processeur de logs OpenTelemetry, capable de transformer et de filtrer les données en utilisant SQL et une logique conditionnelle. Il agit également comme un agent de traçage distribué capable d'échantillonner les traces pour réduire le volume de données tout en préservant les chemins de requête complets. Le système fournit une livraison de données fiable grâce à une mise en mémoire tampon basée sur le système de fichiers et une logique de réessai avec état pour éviter la perte de données lors des pannes. Son architecture modulaire prend en charge des plugins d'entrée et de sortie enfichables, un routage basé sur les métadonnées et la capacité d'étendre les fonctionnalités via des bibliothèques partagées. Le logiciel peut être déployé en tant que conteneur sur différentes architectures CPU et systèmes d'exploitation.
Transforms and filters collected log information at the edge before shipping it to final destinations.
Koloda est une bibliothèque d'interaction gestuelle iOS et un composant de vue SwiftUI utilisé pour créer des interfaces de cartes balayables (swipeable). Il fournit un composant de vue basé sur une pile qui gère les vues superposées, garantissant que seul l'élément le plus haut reste activement interactif. La bibliothèque permet la personnalisation de l'apparence des cartes, incluant la configuration des superpositions et des animations qui dictent comment les cartes d'arrière-plan se déplacent pendant un balayage. Elle gère le comportement de glisser et les directions de balayage, déclenchant une logique spécifique lorsque les cartes sont balayées, tapées ou totalement épuisées. Le composant couvre l'implémentation de transformations de vue pilotées par les gestes et le rendu de piles de cartes que les utilisateurs rejettent via un modèle d'interaction de sélection courant.
Processes critical data on local servers to reduce bandwidth costs and increase speed.
Fluvio est une plateforme de streaming d'événements distribuée et un moteur de streaming cloud-native conçu pour collecter, persister et répliquer des flux de données en temps réel à travers un cluster distribué. Il fonctionne comme un pipeline de données temps réel pour construire des workflows avec état qui ingèrent, enrichissent et exportent des données entre des sources et des destinations externes. La plateforme se distingue par son utilisation de WebAssembly pour exécuter des modules compilés pour des transformations et filtrages de données en ligne. Cela permet l'exécution d'une logique métier personnalisée pour remodeler l'information en mouvement sans nécessiter de redémarrage du cluster. Le système couvre un large éventail de capacités, incluant l'ingestion de données basée sur des connecteurs depuis des protocoles externes, un stockage immuable structuré en logs avec E/S zéro-copie, et une mise à l'échelle horizontale du cluster. Il prend en charge la création de pipelines complexes pilotés par les événements qui utilisent le traitement avec état, les agrégations par fenêtrage et la distribution de données basée sur les partitions. Le moteur peut être déployé comme un binaire léger sur diverses architectures système, y compris des appareils IoT ARM64 pour le traitement de données en périphérie (edge).
Executes data processing and transformation binaries on ARM64 and other IoT devices.
Side-Menu.Android est un composant d'interface utilisateur réutilisable pour les applications Android qui fournit un tiroir de navigation coulissant. Il est conçu pour aider les développeurs à organiser les sections de l'application et les options utilisateur dans un panneau structuré et masqué qui maintient une interface propre pour la zone de contenu principale. Le composant se distingue par sa présentation visuelle, qui suit les directives Material Design pour garantir une expérience utilisateur cohérente et intuitive. Il dispose d'une hiérarchie de menu pilotée par les données qui permet un regroupement logique des éléments de navigation, et il intègre des animations de révélation circulaire fluides pour fournir des transitions visuelles polies lorsque le menu est ouvert ou fermé. En encapsulant une logique de mise en page et d'interaction complexe dans une seule classe modulaire, la bibliothèque simplifie l'implémentation de la navigation sur plusieurs écrans. Elle prend en charge les transitions pilotées par les événements, permettant aux développeurs de découpler les interactions de menu des mises à jour de contenu pour maintenir une architecture d'application propre et réactive.
Executes data analysis and filtering directly on remote endpoints to minimize network traffic.
Velociraptor is a digital forensics and incident response platform, endpoint detection and response system, and visibility tool. It provides a query engine and remote forensic collector used to hunt for indicators of compromise and perform triage across a fleet of hosts. The system is distinguished by its specialized query language for interrogating host state and parsing binary files. It features a notebook environment that combines markdown documentation with executable query cells to standardize investigative workflows and enable collaborative reporting. The platform covers a wide range o
Executes data analysis directly on the endpoint to reduce network traffic and avoid transferring raw data.