10 مستودعات
Tools for managing and executing data-centric projects and workflows.
Distinguishing note: Focuses on project-level orchestration rather than individual record management.
Explore 10 awesome GitHub repositories matching data & databases · Data Project Management. Refine with filters or upvote what's useful.
This project is an AI agent orchestration platform that provides a visual environment for building, testing, and deploying complex automation workflows. It functions as a low-code development interface where users can chain discrete functional blocks into dependency-aware pipelines to integrate artificial intelligence with external data and services. The platform supports the creation of intelligent conversational agents, automated business processes, and multi-service API orchestrations within a unified workspace. The platform distinguishes itself through its event-driven integration engine,
Manages and executes data projects through programmatic interactions.
Hetty is an HTTP intercepting proxy and web security research toolkit used to capture, inspect, and modify traffic between a browser and a server. It functions as an HTTP request editor for creating and replaying manual requests to test server behavior and as a project-based traffic logger that isolates network logs across different security research engagements. The tool provides a request-response interception loop that pauses outgoing requests and incoming responses in transit, allowing for manual editing or cancellation. It includes a manual request replay engine to construct and transmit
Organizes traffic logs and configurations into project databases to separate security engagements.
Gyroflow is a gyroscope video stabilization software and IMU telemetry processor designed to remove camera shake from video files. It functions as a hardware-accelerated video renderer and lens calibration tool, utilizing embedded or external gyroscope and accelerometer data to perform pixel-level stabilization. The system is distinguished by its ability to integrate with professional non-linear video editing software via plugins, allowing stabilization to be applied directly to timelines without transcoding original footage. It supports diverse telemetry ingestion from camera brands, flight
Embeds stabilization and gyroscope data directly into the host project file to eliminate external sidecar files.
LXD is a unified platform for managing both system containers and virtual machines through a single REST API and command-line interface. It provides a programmatic HTTP interface for controlling the full lifecycle of instances, enabling automation and integration with external tools. The system runs unprivileged containers with per-instance UID/GID mappings, seccomp filters, and AppArmor profiles for kernel-level isolation, while supporting multiple storage backends including directory, Btrfs, LVM, ZFS, Ceph, LINSTOR, and TrueNAS through a unified driver interface. The platform distinguishes
Organizes instances, images, profiles, networks, and storage into separate projects for clean management.
dlt هي أداة لاستيعاب البيانات بلغة Python وإطار عمل لخط أنابيب ETL مصمم لجلب البيانات من مصادر متنوعة وحفظها في وجهات مهيكلة. تعمل كمحرك لاستنتاج المخطط (schema inference) يكتشف تلقائياً أنواع البيانات ويسطح هياكل JSON المتداخلة في جداول علائقية، ناقلاً البيانات من المصادر إلى بحيرات البيانات، أو المستودعات، أو قواعد بيانات المتجهات. يتميز المشروع بتوليد خط أنابيب مدعوم بالذكاء الاصطناعي، باستخدام نماذج لغات كبيرة لسقالات كود الاستخراج والموصلات لـ REST APIs. كما يدعم تخزين المتجهات متعدد الوسائط والتعبئة المتخصصة لقواعد بيانات المتجهات لدعم تطبيقات الذكاء الاصطناعي والتعلم الآلي. يغطي إطار العمل مجموعة واسعة من القدرات بما في ذلك تطور المخطط المؤتمت، وتحميل البيانات التزايدي عبر تتبع الحالة، والتحقق من جودة البيانات من خلال فرض عقود البيانات. يوفر أدوات لتطبيع البيانات العلائقية، وتحويلات ما قبل وما بعد التحميل، ومجموعة متنوعة من محولات الوجهة لقواعد بيانات SQL ومخازن الكائنات السحابية. تتم إدارة المراقبة من خلال لوحات معلومات تنفيذ خط الأنابيب، وتتبع نسب الأعمدة، والتحقق من إصدار المخطط باستخدام التجزئات القائمة على المحتوى.
Organizes multiple data resources into a single logical source for more efficient loading.
Buildbot هو إطار عمل للتكامل المستمر (CI) ومنسق بناء موزع يعتمد على Python. يعمل كمحرك لأتمتة البناء ينسق استرجاع الكود المصدري، وتنفيذ خطوات البناء، وإعداد التقارير عن النتائج من خلال وحدة تحكم مركزية وشبكة من وكلاء العمل عن بُعد. يتميز النظام ببنية قابلة للتوسيع تعتمد على الإضافات ونموذج توزيع رئيسي-تابع. يسمح بتعديل البناء ديناميكياً في وقت التشغيل ويدعم قاعدة بيانات خلفية قابلة للتوصيل لحفظ حالة النظام وبيانات البناء التاريخية. يغطي المشروع مجموعة واسعة من القدرات، بما في ذلك جدولة البناء الآلية وتنسيق خطوط الأنابيب، والتكامل مع أنظمة التحكم في الإصدار عبر الاستطلاع (Polling) وخطافات الويب (Webhooks)، وتوفير العمال عبر الخوادم الفعلية، وحاويات Docker، وعناقيد Kubernetes. كما يوفر مراقبة شاملة عبر تحليل سجلات البناء وتتبع الأداء، إلى جانب إدارة الأسرار الآمنة والمصادقة متعددة الموفرين. تتوفر السيطرة الإدارية من خلال واجهة ويب مخصصة وأدوات سطر أوامر للتحقق من التكوين وإدارة العمليات.
Organizes build workers into logical project groups to streamline the management of the system interface.
Kdenlive هو جناح تحرير فيديو غير خطي مفتوح المصدر مصمم لمرحلة ما بعد الإنتاج للفيديو الرقمي. مبني على إطار عمل MLT ويستخدم KDE Frameworks لواجهة المستخدم الخاصة به، ويوفر بيئة متعددة المسارات لتجميع المقاطع، وتطبيق الانتقالات، وعرض ملفات الفيديو النهائية. يتميز المحرر بمجموعة شاملة من أدوات الرسوم المتحركة والتأثيرات، بما في ذلك الرسوم المتحركة للمعلمات القائمة على الإطارات الرئيسية مع محرر منحنى مرئي لضبط الانتقالات بدقة. يدعم تعديلات مرئية متقدمة مثل إعادة تعيين سرعة المقطع، وإخفاء منطقة التأثير، ودمج رسومات المتجهات المتحركة من برمجيات خارجية. يغطي الجناح مجموعة واسعة من قدرات الإنتاج، بما في ذلك هندسة الصوت مع الخلط والتحريك القائم على المسار، وتصحيح الألوان وتدرجها، وأدوات النص لإنشاء الترجمة والنسخ من الكلام إلى نص. يتضمن أدوات إدارة المشاريع لتنظيم الأصول وتعريف البيانات الوصفية، بالإضافة إلى تحسينات الأداء مثل الوسائط الوكيلة وتوسيع دقة التشغيل. يدير البرنامج برامج ترميز وتنسيقات مختلفة لاستيراد وتصدير الوسائط، باستخدام عرض خلفي متعدد الخيوط لإنهاء المشاريع.
Embeds author and copyright information directly into multimedia project files.
Bagel هو نظام أصلي لتصحيح وفحص الشبكة مصمم لالتقاط ومراقبة حركة مرور HTTP من محاكيات iOS والأجهزة الفعلية. يعمل كفاحص لحركة مرور HTTP ومراقب قائم على الجهاز يقوم بتنظيم طلبات الشبكة الملتقطة حسب المشروع والجهاز. تتيح الأداة اعتراض طلبات الشبكة مباشرة داخل نظام التشغيل، مما يزيل الحاجة إلى تكوينات الوكيل اليدوية أو تثبيت شهادات أمان مخصصة. يوفر قدرات لتحليل حركة مرور الهاتف المحمول وتصحيح أخطاء الشبكة، بما في ذلك القدرة على تجميع الطلبات المعترضة في مجموعات مشاريع منطقية وتقسيم السجلات حسب معرفات الأجهزة الفريدة.
Groups intercepted network requests into logical project buckets for easier filtering and historical analysis.
Polyaxon is a Kubernetes-native machine learning orchestration platform and MLOps pipeline orchestrator. It serves as a control plane for managing distributed deep learning workloads, automated machine learning pipelines, and experiment tracking. The platform distinguishes itself through specialized services for distributed training management, including MPI-based coordination for PyTorch and TensorFlow. It provides an automated hyperparameter optimization service utilizing Bayesian, random, and grid search algorithms, alongside managed interactive AI workspaces for launching Jupyter notebook
Groups resources and users into projects or separate deployments to isolate workloads via Kubernetes namespaces.
DevLake is a DevOps data platform and analytics tool designed to orchestrate data pipelines that ingest, transform, and sync metadata from external development tools into a unified database. It functions as a system for collecting and normalizing data from source control, CI/CD pipelines, and issue trackers into a standardized schema to enable consistent software delivery analytics. The platform distinguishes itself by transforming tool-specific data into a common domain model, allowing for the calculation of engineering metrics via SQL. It provides specialized frameworks for measuring DORA m
Organizes data scopes from multiple tools into single logical projects for unified performance analysis.