Awesome GitHub RepositoriesRemote Data Streaming

Vaex is a high-performance Apache Arrow DataFrame library and out-of-core data processing engine designed to handle billion-row tabular datasets in Python. It functions as a lazy evaluation framework that defers computations and transformations until results are required, enabling the processing of datasets that exceed available system RAM by mapping files directly from disk. The project distinguishes itself as a tool for big data visualization and exploration, specifically integrated for use within interactive notebooks. It provides specialized capabilities for machine learning feature engin

Sofa-rpc ist ein hochperformantes Remote-Procedure-Call-Framework, das für den Aufbau verteilter Java-Anwendungen entwickelt wurde. Es fungiert als Toolkit für die Verwaltung eines verteilten Service-Meshs und bietet eine gRPC-Kommunikationsschicht sowie ein System zum Registrieren und Lokalisieren entfernter Service-Instanzen. Das Framework verfügt über eine Netzwerksicherheitsschicht, die TLS-Verschlüsselung und Autorisierungsprüfungen implementiert, um die zwischen Services übertragenen Daten zu schützen. Es nutzt eine steckbare Protokollschicht zur Unterstützung mehrerer Kommunikationsstandards, was eine flexible Punkt-zu-Punkt-Konnektivität gewährleistet. Zuverlässigkeit und Traffic-Management werden durch Circuit Breaker, clientseitiges Load Balancing und Service-Health-Monitoring gehandhabt. Das System enthält zudem Observability-Tools für verteiltes Request-Tracing und reaktives Remote-Streaming, um die Ressourceneffizienz zu steigern. Das Framework bietet Dienstprogramme für die JSON-Datenserialisierung und verwaltet die Remote-Konnektivität durch Connection-Pooling und eine Service-Discovery-Registry.