Awesome GitHub RepositoriesRemote Data Streaming

Vaex is a high-performance Apache Arrow DataFrame library and out-of-core data processing engine designed to handle billion-row tabular datasets in Python. It functions as a lazy evaluation framework that defers computations and transformations until results are required, enabling the processing of datasets that exceed available system RAM by mapping files directly from disk. The project distinguishes itself as a tool for big data visualization and exploration, specifically integrated for use within interactive notebooks. It provides specialized capabilities for machine learning feature engin

Sofa-rpc est un framework d'appel de procédure distante (RPC) haute performance conçu pour construire des applications Java distribuées. Il fonctionne comme une boîte à outils pour gérer un service mesh distribué, fournissant une couche de communication gRPC et un système pour enregistrer et localiser des instances de service distantes. Le framework dispose d'une couche de sécurité réseau qui implémente le chiffrement TLS et des contrôles d'autorisation pour protéger les données transmises entre les services. Il utilise une couche de protocole enfichable pour prendre en charge plusieurs standards de communication, assurant une connectivité point à point flexible. La fiabilité et la gestion du trafic sont gérées via des disjoncteurs (circuit breakers), l'équilibrage de charge côté client et la surveillance de la santé des services. Le système inclut également des outils d'observabilité pour le traçage des requêtes distribuées et le streaming distant réactif pour augmenter l'efficacité des ressources. Le framework fournit des utilitaires pour la sérialisation de données JSON et gère la connectivité distante via le regroupement de connexions (connection pooling) et un registre de découverte de services.