Awesome GitHub RepositoriesMulti-Source Ingestion

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Falco is an eBPF runtime security monitor and cloud native detection engine that identifies abnormal behavior and security threats across hosts and containers. It functions as a Linux kernel event auditor, capturing system calls and kernel events in real-time to detect malicious activity. The system distinguishes itself through a rule-based threat detection model that evaluates system activity against a library of community-maintained rules and custom security definitions. It enriches raw kernel events with container and Kubernetes metadata to provide observability into isolated environments

Snowplow is a behavioral event data pipeline and customer data infrastructure designed to capture user interactions and transform them into structured events for real-time analysis and long-term storage. It functions as a customer data platform that gathers user signals and enriches them with metadata to create a unified view of customer behavior. The system operates as an event schema validation engine to enforce strict data contracts on incoming streams, preventing data corruption. It further serves as a real-time event router and an event-driven automation platform, triggering proactive bu

River ist ein Python-Framework für Online-Machine-Learning, das darauf ausgelegt ist, Modelle auf Streaming-Daten zu trainieren und zu evaluieren. Es ermöglicht inkrementelles Lernen durch die Aktualisierung von Modellparametern pro Beobachtung, wodurch das Speichern vollständiger Trainingsdatensätze im Arbeitsspeicher entfällt. Die Bibliothek zeichnet sich durch ein dediziertes System zur Erkennung von Concept Drift aus, das Änderungen in Datenverteilungen überwacht, um eine Modellanpassung auszulösen. Sie bietet zudem ein Framework für progressive Validierung, das den Echtzeit-Einsatz simuliert, indem Modelle an Stichproben getestet werden, bevor sie für das Training verwendet werden. Das System deckt ein breites Spektrum an Streaming-Funktionen ab, einschließlich Echtzeit-Feature-Engineering, Zeitreihenprognosen und Online-Anomalieerkennung. Es unterstützt unüberwachtes Lernen durch inkrementelles Clustering und Entscheidungsbäume sowie Ensemble-Aggregation und Bandit-Richtlinien für die Modellauswahl. Das Projekt enthält Dienstprogramme für das Streaming von Daten aus Quellen wie CSV-Dateien und APIs sowie Werkzeuge zur Berechnung laufender Statistiken und speichereffizienter Daten-Sketches.

Riona-AI-Agent ist ein LLM-Automatisierungsagent und Browser-Automatisierungsframework, das darauf ausgelegt ist, komplexe Workflows auszuführen, auf benutzerdefinierten Daten zu trainieren und KI-Inhalte zu generieren. Es fungiert als Social-Media-Automatisierungstool zur Planung von Inhalten, Verwaltung mehrerer Profile und Automatisierung von Engagement-Aktionen über soziale Plattformen hinweg. Das System enthält ein zentrales Monitoring-Dashboard zur Verfolgung des Live-Status, der Laufzeitzusammenfassungen und Aktivitätsprotokolle von KI-Agenten. Es nutzt Modelle des maschinellen Lernens, um visuelle Sicherheitsabfragen während automatisierter Browsing-Sitzungen zu identifizieren und zu umgehen. Die Fähigkeiten des Agenten decken die Social-Media-Automatisierung ab, einschließlich der Automatisierung repetitiver Interaktionen und der Planung von Beiträgen. Es unterstützt das Training von KI-Agenten durch die Aufnahme von Weblinks, Audio und Dokumenten, um die Wissensbasis und das Verhalten des Agenten anzupassen. Das Framework ist mit Node.js und TypeScript erstellt.