Awesome GitHub RepositoriesServer-Side Data Transformations

Redis is a high-performance in-memory key-value store that functions as a distributed cache, message broker, and NoSQL database. It provides sub-millisecond read and write access to data stored in RAM and can operate as a vector database for indexing high-dimensional embeddings. The system supports a wide range of data storage and synchronization primitives, including the management of strings, hashes, lists, sets, and JSON documents. It enables real-time data operations through atomic transactions, hybrid persistence using snapshots and append-only logs, and high-availability configurations

Sub-Store is a proxy subscription management server that aggregates multiple subscription links into a single unified stream for distribution to various clients. It functions as a transformation pipeline that filters, modifies, and reformats proxy node metadata. The system acts as a cross-platform format converter to ensure compatibility across diverse client applications. It includes an encryption decryption gateway that uses private keys to handle age-standard encrypted subscription content and a cache-layered aggregator to reduce external requests. The server provides capabilities for dyn

Fluvio ist eine verteilte Event-Streaming-Plattform und eine Cloud-native Streaming-Engine, die für das Sammeln, Persistieren und Replizieren von Echtzeit-Datenströmen über einen verteilten Cluster hinweg entwickelt wurde. Sie fungiert als Echtzeit-Datenpipeline für den Aufbau zustandsbehafteter Workflows, die Daten zwischen externen Quellen und Senken aufnehmen, anreichern und exportieren. Die Plattform zeichnet sich durch die Verwendung von WebAssembly zur Ausführung kompilierter Module für In-Line-Datentransformationen und -filterung aus. Dies ermöglicht die Ausführung benutzerdefinierter Geschäftslogik, um Informationen während der Übertragung umzuformen, ohne den Cluster neu starten zu müssen. Das System deckt ein breites Spektrum an Funktionen ab, einschließlich connector-basierter Datenaufnahme aus externen Protokollen, log-strukturierter unveränderlicher Speicherung mit Zero-Copy-IO und horizontaler Clusterskalierung. Es unterstützt die Erstellung komplexer ereignisgesteuerter Pipelines, die zustandsbehaftete Verarbeitung, fensterbasierte Aggregationen und partitionierte Datenverteilung nutzen. Die Engine kann als leichtgewichtiges Binärprogramm auf diversen Systemarchitekturen bereitgestellt werden, einschließlich ARM64-IoT-Geräten für die Datenverarbeitung am Edge.

V2RayAggregator ist ein Tool zum Sammeln, Filtern und Konvertieren von Netzwerk-Bypass-Nodes aus mehreren öffentlichen Quellen. Es fungiert als Proxy-Aggregator, der Shadowsocks-, Trojan- und Vmess-Nodes identifiziert und sammelt, um einen umfassenden Pool an Verbindungspunkten zu pflegen. Das Projekt zeichnet sich durch die Fähigkeit aus, Proxy-Listen in mehrere standardisierte Schemata zu transformieren, einschließlich Base64-, Mixed- und Clash-YAML-Formaten, was die Kompatibilität über verschiedene Client-Anwendungen hinweg sicherstellt. Es nutzt zudem einen Leistungsfilter, um durchschnittliche Verbindungsgeschwindigkeiten zu messen, wodurch die stabilsten Nodes identifiziert und gerankt werden können. Das System umfasst Funktionen zur Deduplizierung redundanter Einträge und zur Organisation von Proxys basierend auf ihrer Herkunft oder ihrem Anbietertyp. Es verwaltet die End-to-End-Pipeline vom automatisierten Scraping öffentlicher Endpunkte bis zum finalen Export sortierter Node-Listen.