10 dépôts
Tools for managing and executing data-centric projects and workflows.
Distinguishing note: Focuses on project-level orchestration rather than individual record management.
Explore 10 awesome GitHub repositories matching data & databases · Data Project Management. Refine with filters or upvote what's useful.
This project is an AI agent orchestration platform that provides a visual environment for building, testing, and deploying complex automation workflows. It functions as a low-code development interface where users can chain discrete functional blocks into dependency-aware pipelines to integrate artificial intelligence with external data and services. The platform supports the creation of intelligent conversational agents, automated business processes, and multi-service API orchestrations within a unified workspace. The platform distinguishes itself through its event-driven integration engine,
Manages and executes data projects through programmatic interactions.
Hetty is an HTTP intercepting proxy and web security research toolkit used to capture, inspect, and modify traffic between a browser and a server. It functions as an HTTP request editor for creating and replaying manual requests to test server behavior and as a project-based traffic logger that isolates network logs across different security research engagements. The tool provides a request-response interception loop that pauses outgoing requests and incoming responses in transit, allowing for manual editing or cancellation. It includes a manual request replay engine to construct and transmit
Organizes traffic logs and configurations into project databases to separate security engagements.
Gyroflow is a gyroscope video stabilization software and IMU telemetry processor designed to remove camera shake from video files. It functions as a hardware-accelerated video renderer and lens calibration tool, utilizing embedded or external gyroscope and accelerometer data to perform pixel-level stabilization. The system is distinguished by its ability to integrate with professional non-linear video editing software via plugins, allowing stabilization to be applied directly to timelines without transcoding original footage. It supports diverse telemetry ingestion from camera brands, flight
Embeds stabilization and gyroscope data directly into the host project file to eliminate external sidecar files.
LXD is a unified platform for managing both system containers and virtual machines through a single REST API and command-line interface. It provides a programmatic HTTP interface for controlling the full lifecycle of instances, enabling automation and integration with external tools. The system runs unprivileged containers with per-instance UID/GID mappings, seccomp filters, and AppArmor profiles for kernel-level isolation, while supporting multiple storage backends including directory, Btrfs, LVM, ZFS, Ceph, LINSTOR, and TrueNAS through a unified driver interface. The platform distinguishes
Organizes instances, images, profiles, networks, and storage into separate projects for clean management.
dlt est un outil d'ingestion de données Python et un framework de pipeline ETL conçu pour récupérer des données depuis diverses sources et les persister dans des destinations structurées. Il fonctionne comme un moteur d'inférence de schéma qui détecte automatiquement les types de données et aplatit les structures JSON imbriquées en tables relationnelles, déplaçant les données des sources vers des lakehouses, des entrepôts ou des bases de données vectorielles. Le projet se distingue par une génération de pipeline alimentée par l'IA, utilisant de grands modèles de langage pour échafauder le code d'extraction et les connecteurs pour les API REST. Il prend également en charge le stockage vectoriel multimodal et la population spécialisée de bases de données vectorielles pour prendre en charge les applications d'IA et de machine learning. Le framework couvre un large éventail de capacités, incluant l'évolution automatique du schéma, le chargement incrémentiel de données via le suivi d'état et la validation de la qualité des données par l'application de contrats de données. Il fournit des outils pour la normalisation des données relationnelles, les transformations pré- et post-chargement, et une variété d'adaptateurs de destination pour les bases de données SQL et les magasins d'objets cloud. L'observabilité est gérée via des tableaux de bord d'exécution de pipeline, le suivi de lignage des colonnes et la vérification de version de schéma utilisant des hachages basés sur le contenu.
Organizes multiple data resources into a single logical source for more efficient loading.
Buildbot est un framework d'intégration continue (CI) basé sur Python et un orchestrateur de build distribué. Il fonctionne comme un moteur d'automatisation de build qui coordonne la récupération du code source, l'exécution des étapes de build et le reporting des résultats via un contrôleur central et un réseau d'agents de travail distants. Le système se distingue par une architecture d'extensibilité basée sur des plugins et un modèle de distribution maître-esclave. Il permet la modification dynamique des builds au runtime et supporte un backend de base de données enfichable pour persister l'état du système et l'historique des builds. Le projet couvre un large éventail de capacités, incluant la planification automatisée des builds et l'orchestration de pipelines, l'intégration au contrôle de version via polling et webhooks, et le provisionnement de workers sur des serveurs physiques, des conteneurs Docker et des clusters Kubernetes. Il offre également une surveillance et une observabilité complètes via l'analyse des logs de build et le suivi des performances, ainsi qu'une gestion sécurisée des secrets et une authentification multi-fournisseur. Le contrôle administratif est disponible via une interface web dédiée et des outils en ligne de commande pour la validation de configuration et la gestion des processus.
Organizes build workers into logical project groups to streamline the management of the system interface.
Kdenlive est une suite de montage vidéo non linéaire open-source conçue pour la post-production vidéo numérique. Construite sur le framework MLT et utilisant les frameworks KDE pour son interface utilisateur, elle fournit un environnement multipiste pour assembler des clips, appliquer des transitions et rendre des fichiers vidéo finaux. L'éditeur se distingue par un ensemble complet d'outils d'animation et d'effets, y compris l'animation de paramètres basée sur des images clés avec un éditeur de courbe visuel pour le réglage fin des transitions. Il prend en charge des modifications visuelles avancées telles que le remappage de la vitesse des clips, le masquage de région d'effet et l'intégration de graphiques vectoriels animés provenant de logiciels externes. La suite couvre une large gamme de capacités de production, y compris l'ingénierie audio avec mixage et panoramique basés sur les pistes, la correction et l'étalonnage des couleurs, et des outils de texte pour la génération de sous-titres et la transcription parole-vers-texte. Elle inclut des utilitaires de gestion de projet pour l'organisation des actifs et la définition des métadonnées, ainsi que des optimisations de performance comme les médias proxy et la mise à l'échelle de la résolution de lecture. Le logiciel gère divers codecs et formats pour l'importation et l'exportation de médias, utilisant un rendu d'arrière-plan multithread pour finaliser les projets.
Embeds author and copyright information directly into multimedia project files.
Bagel is a native network debugging and inspection system designed to capture and monitor HTTP traffic from iOS simulators and physical hardware. It functions as an HTTP traffic inspector and device-based monitor that organizes captured network requests by project and device. The tool enables the interception of network requests directly within the operating system, removing the requirement for manual proxy configurations or the installation of custom security certificates. It provides capabilities for mobile traffic analysis and network debugging, including the ability to group intercepted
Groups intercepted network requests into logical project buckets for easier filtering and historical analysis.
Polyaxon is a Kubernetes-native machine learning orchestration platform and MLOps pipeline orchestrator. It serves as a control plane for managing distributed deep learning workloads, automated machine learning pipelines, and experiment tracking. The platform distinguishes itself through specialized services for distributed training management, including MPI-based coordination for PyTorch and TensorFlow. It provides an automated hyperparameter optimization service utilizing Bayesian, random, and grid search algorithms, alongside managed interactive AI workspaces for launching Jupyter notebook
Groups resources and users into projects or separate deployments to isolate workloads via Kubernetes namespaces.
DevLake is a DevOps data platform and analytics tool designed to orchestrate data pipelines that ingest, transform, and sync metadata from external development tools into a unified database. It functions as a system for collecting and normalizing data from source control, CI/CD pipelines, and issue trackers into a standardized schema to enable consistent software delivery analytics. The platform distinguishes itself by transforming tool-specific data into a common domain model, allowing for the calculation of engineering metrics via SQL. It provides specialized frameworks for measuring DORA m
Organizes data scopes from multiple tools into single logical projects for unified performance analysis.