10 Repos
Tools for managing and executing data-centric projects and workflows.
Distinguishing note: Focuses on project-level orchestration rather than individual record management.
Explore 10 awesome GitHub repositories matching data & databases · Data Project Management. Refine with filters or upvote what's useful.
This project is an AI agent orchestration platform that provides a visual environment for building, testing, and deploying complex automation workflows. It functions as a low-code development interface where users can chain discrete functional blocks into dependency-aware pipelines to integrate artificial intelligence with external data and services. The platform supports the creation of intelligent conversational agents, automated business processes, and multi-service API orchestrations within a unified workspace. The platform distinguishes itself through its event-driven integration engine,
Manages and executes data projects through programmatic interactions.
Hetty is an HTTP intercepting proxy and web security research toolkit used to capture, inspect, and modify traffic between a browser and a server. It functions as an HTTP request editor for creating and replaying manual requests to test server behavior and as a project-based traffic logger that isolates network logs across different security research engagements. The tool provides a request-response interception loop that pauses outgoing requests and incoming responses in transit, allowing for manual editing or cancellation. It includes a manual request replay engine to construct and transmit
Organizes traffic logs and configurations into project databases to separate security engagements.
Gyroflow is a gyroscope video stabilization software and IMU telemetry processor designed to remove camera shake from video files. It functions as a hardware-accelerated video renderer and lens calibration tool, utilizing embedded or external gyroscope and accelerometer data to perform pixel-level stabilization. The system is distinguished by its ability to integrate with professional non-linear video editing software via plugins, allowing stabilization to be applied directly to timelines without transcoding original footage. It supports diverse telemetry ingestion from camera brands, flight
Embeds stabilization and gyroscope data directly into the host project file to eliminate external sidecar files.
LXD is a unified platform for managing both system containers and virtual machines through a single REST API and command-line interface. It provides a programmatic HTTP interface for controlling the full lifecycle of instances, enabling automation and integration with external tools. The system runs unprivileged containers with per-instance UID/GID mappings, seccomp filters, and AppArmor profiles for kernel-level isolation, while supporting multiple storage backends including directory, Btrfs, LVM, ZFS, Ceph, LINSTOR, and TrueNAS through a unified driver interface. The platform distinguishes
Organizes instances, images, profiles, networks, and storage into separate projects for clean management.
dlt ist ein Python-Tool zur Datenaufnahme und ein ETL-Pipeline-Framework, das darauf ausgelegt ist, Daten aus verschiedenen Quellen abzurufen und in strukturierten Zielen zu speichern. Es fungiert als Schema-Inferenz-Engine, die automatisch Datentypen erkennt und verschachtelte JSON-Strukturen in relationale Tabellen flacht, wobei Daten von Quellen in Lakehouses, Warehouses oder Vektordatenbanken verschoben werden. Das Projekt zeichnet sich durch KI-gestützte Pipeline-Generierung aus, die Large Language Models nutzt, um Extraktionscode und Konnektoren für REST-APIs zu erstellen. Es unterstützt zudem multimodale Vektorspeicherung und die spezialisierte Befüllung von Vektordatenbanken zur Unterstützung von KI- und Machine-Learning-Anwendungen. Das Framework deckt ein breites Spektrum an Funktionen ab, einschließlich automatisierter Schema-Evolution, inkrementellem Datenladen mittels Statusverfolgung und Datenqualitätsvalidierung durch die Durchsetzung von Datenverträgen. Es bietet Tools für relationale Datennormalisierung, Pre- und Post-Load-Transformationen sowie eine Vielzahl von Ziel-Adaptern für SQL-Datenbanken und Cloud-Objektspeicher. Die Observability wird durch Pipeline-Ausführungs-Dashboards, Spalten-Lineage-Tracking und Schema-Versionsverifizierung mittels inhaltsbasierter Hashes gehandhabt.
Organizes multiple data resources into a single logical source for more efficient loading.
Buildbot ist ein auf Python basierendes Continuous-Integration-Framework und ein verteilter Build-Orchestrator. Es fungiert als Build-Automatisierungs-Engine, die das Abrufen von Quellcode, die Ausführung von Build-Schritten und die Berichterstattung über Ergebnisse über einen zentralen Controller und ein Netzwerk aus Remote-Worker-Agents koordiniert. Das System zeichnet sich durch eine plugin-basierte Erweiterbarkeitsarchitektur und ein Master-Worker-Verteilungsmodell aus. Es ermöglicht dynamische Build-Anpassungen zur Laufzeit und unterstützt ein austauschbares Datenbank-Backend zur Persistierung des Systemzustands und historischer Build-Daten. Das Projekt deckt ein breites Spektrum an Funktionen ab, darunter automatisierte Build-Planung und Pipeline-Orchestrierung, Versionskontrollintegration via Polling und Webhooks sowie die Bereitstellung von Workern auf physischen Servern, Docker-Containern und Kubernetes-Clustern. Zudem bietet es umfassende Überwachung und Observability durch Build-Log-Analyse und Performance-Tracking sowie sicheres Secret-Management und Multi-Provider-Authentifizierung. Die administrative Steuerung erfolgt über eine dedizierte Weboberfläche und Befehlszeilenwerkzeuge zur Konfigurationsvalidierung und Prozessverwaltung.
Organizes build workers into logical project groups to streamline the management of the system interface.
Kdenlive ist eine Open-Source-Suite für nicht-linearen Videoschnitt, die für die digitale Videopostproduktion entwickelt wurde. Basierend auf dem MLT Framework und unter Verwendung der KDE Frameworks für die Benutzeroberfläche bietet sie eine Multi-Track-Umgebung zum Zusammenstellen von Clips, Anwenden von Übergängen und Rendern finaler Videodateien. Der Editor zeichnet sich durch eine umfassende Palette an Animations- und Effekt-Tools aus, einschließlich Keyframe-basierter Parameteranimation mit einem visuellen Kurveneditor zur Feinabstimmung von Übergängen. Er unterstützt fortgeschrittene visuelle Modifikationen wie Clip-Speed-Remapping, Effekt-Region-Maskierung und die Integration animierter Vektorgrafiken aus externer Software. Die Suite deckt ein breites Spektrum an Produktionsfunktionen ab, einschließlich Audio-Engineering mit Track-basiertem Mixing und Panning, Farbkorrektur und -grading sowie Text-Tools für die Untertitelgenerierung und Speech-to-Text-Transkription. Sie enthält Projektmanagement-Hilfsmittel zur Asset-Organisation und Metadatendefinition sowie Performance-Optimierungen wie Proxy-Medien und Skalierung der Wiedergabeauflösung. Die Software verwaltet verschiedene Codecs und Formate für den Medienimport und -export und nutzt multithreaded Hintergrund-Rendering zur Finalisierung von Projekten.
Embeds author and copyright information directly into multimedia project files.
Bagel ist ein natives Netzwerk-Debugging- und Inspektionssystem, das entwickelt wurde, um HTTP-Traffic von iOS-Simulatoren und physischer Hardware zu erfassen und zu überwachen. Es fungiert als HTTP-Traffic-Inspektor und gerätebasierter Monitor, der erfasste Netzwerkanfragen nach Projekt und Gerät organisiert. Das Tool ermöglicht das Abfangen von Netzwerkanfragen direkt innerhalb des Betriebssystems, wodurch die Notwendigkeit für manuelle Proxy-Konfigurationen oder die Installation benutzerdefinierter Sicherheitszertifikate entfällt. Es bietet Funktionen für die Analyse mobiler Netzwerke und das Netzwerk-Debugging, einschließlich der Möglichkeit, abgefangene Anfragen in logische Projekt-Buckets zu gruppieren und Logs nach eindeutigen Gerätekennungen zu segmentieren.
Groups intercepted network requests into logical project buckets for easier filtering and historical analysis.
Polyaxon is a Kubernetes-native machine learning orchestration platform and MLOps pipeline orchestrator. It serves as a control plane for managing distributed deep learning workloads, automated machine learning pipelines, and experiment tracking. The platform distinguishes itself through specialized services for distributed training management, including MPI-based coordination for PyTorch and TensorFlow. It provides an automated hyperparameter optimization service utilizing Bayesian, random, and grid search algorithms, alongside managed interactive AI workspaces for launching Jupyter notebook
Groups resources and users into projects or separate deployments to isolate workloads via Kubernetes namespaces.
DevLake is a DevOps data platform and analytics tool designed to orchestrate data pipelines that ingest, transform, and sync metadata from external development tools into a unified database. It functions as a system for collecting and normalizing data from source control, CI/CD pipelines, and issue trackers into a standardized schema to enable consistent software delivery analytics. The platform distinguishes itself by transforming tool-specific data into a common domain model, allowing for the calculation of engineering metrics via SQL. It provides specialized frameworks for measuring DORA m
Organizes data scopes from multiple tools into single logical projects for unified performance analysis.