Awesome GitHub RepositoriesMulti-Source Ingestion

RisingWave is a cloud-native streaming database and real-time analytics engine that uses standard SQL to process continuous data streams. It functions as a streaming data lakehouse, combining the capabilities of a streaming SQL database with a platform that integrates streaming ingestion with open table formats. The system is distinguished by its use of the PostgreSQL wire protocol, allowing it to integrate with existing SQL tools and drivers. It employs a decoupled compute and storage architecture, persisting streaming state and materialized views in cloud object storage to enable independen

Falco is an eBPF runtime security monitor and cloud native detection engine that identifies abnormal behavior and security threats across hosts and containers. It functions as a Linux kernel event auditor, capturing system calls and kernel events in real-time to detect malicious activity. The system distinguishes itself through a rule-based threat detection model that evaluates system activity against a library of community-maintained rules and custom security definitions. It enriches raw kernel events with container and Kubernetes metadata to provide observability into isolated environments

Snowplow is a behavioral event data pipeline and customer data infrastructure designed to capture user interactions and transform them into structured events for real-time analysis and long-term storage. It functions as a customer data platform that gathers user signals and enriches them with metadata to create a unified view of customer behavior. The system operates as an event schema validation engine to enforce strict data contracts on incoming streams, preventing data corruption. It further serves as a real-time event router and an event-driven automation platform, triggering proactive bu

River هو إطار عمل Python للتعلم الآلي عبر الإنترنت، مصمم لتدريب وتقييم النماذج على بيانات البث. يتيح التعلم التزايدي عن طريق تحديث معلمات النموذج بملاحظة واحدة في كل مرة، مما يلغي الحاجة إلى تخزين مجموعات بيانات التدريب الكاملة في الذاكرة. تتميز المكتبة بنظام مخصص للكشف عن انحراف المفهوم (concept drift) الذي يراقب التغييرات في توزيعات البيانات لتحفيز تكيف النموذج. كما توفر إطار عمل للتحقق التدريجي يحاكي النشر في الوقت الفعلي عن طريق اختبار النماذج على عينات قبل استخدامها للتدريب. يغطي النظام مجموعة واسعة من إمكانات البث، بما في ذلك هندسة الميزات في الوقت الفعلي، والتنبؤ بالسلاسل الزمنية، واكتشاف الشذوذ عبر الإنترنت. ويدعم التعلم غير الخاضع للإشراف من خلال التجميع التزايدي وأشجار القرار، بالإضافة إلى تجميع النماذج وسياسات bandit لاختيار النموذج. يتضمن المشروع أدوات لاستيعاب بيانات البث من مصادر مثل ملفات CSV و APIs، بالإضافة إلى أدوات لحساب الإحصائيات الجارية ومخططات البيانات الموفرة للذاكرة.

Riona-AI-Agent هو وكيل أتمتة LLM وإطار عمل لأتمتة المتصفح مصمم لتنفيذ سير عمل معقد، والتدريب على بيانات مخصصة، وتوليد محتوى الذكاء الاصطناعي. يعمل كأداة لأتمتة وسائل التواصل الاجتماعي لجدولة المحتوى، وإدارة ملفات تعريف متعددة، وأتمتة إجراءات التفاعل عبر منصات التواصل الاجتماعي. يتضمن النظام لوحة تحكم مركزية للمراقبة لتتبع الحالة المباشرة، وملخصات وقت التشغيل، وسجلات نشاط وكلاء الذكاء الاصطناعي. يستخدم نماذج تعلم الآلة لتحديد وتجاوز تحديات الأمان المرئية أثناء جلسات التصفح المؤتمتة. تغطي قدرات الوكيل أتمتة وسائل التواصل الاجتماعي، بما في ذلك أتمتة التفاعلات المتكررة وجدولة المنشورات. يدعم تدريب وكلاء الذكاء الاصطناعي من خلال استيعاب روابط الويب، والصوت، والمستندات لتخصيص قاعدة معرفة الوكيل وسلوكه. تم بناء إطار العمل باستخدام Node.js و TypeScript.