10 repository-uri
Tools for managing and executing data-centric projects and workflows.
Distinguishing note: Focuses on project-level orchestration rather than individual record management.
Explore 10 awesome GitHub repositories matching data & databases · Data Project Management. Refine with filters or upvote what's useful.
This project is an AI agent orchestration platform that provides a visual environment for building, testing, and deploying complex automation workflows. It functions as a low-code development interface where users can chain discrete functional blocks into dependency-aware pipelines to integrate artificial intelligence with external data and services. The platform supports the creation of intelligent conversational agents, automated business processes, and multi-service API orchestrations within a unified workspace. The platform distinguishes itself through its event-driven integration engine,
Manages and executes data projects through programmatic interactions.
Hetty is an HTTP intercepting proxy and web security research toolkit used to capture, inspect, and modify traffic between a browser and a server. It functions as an HTTP request editor for creating and replaying manual requests to test server behavior and as a project-based traffic logger that isolates network logs across different security research engagements. The tool provides a request-response interception loop that pauses outgoing requests and incoming responses in transit, allowing for manual editing or cancellation. It includes a manual request replay engine to construct and transmit
Organizes traffic logs and configurations into project databases to separate security engagements.
Gyroflow is a gyroscope video stabilization software and IMU telemetry processor designed to remove camera shake from video files. It functions as a hardware-accelerated video renderer and lens calibration tool, utilizing embedded or external gyroscope and accelerometer data to perform pixel-level stabilization. The system is distinguished by its ability to integrate with professional non-linear video editing software via plugins, allowing stabilization to be applied directly to timelines without transcoding original footage. It supports diverse telemetry ingestion from camera brands, flight
Embeds stabilization and gyroscope data directly into the host project file to eliminate external sidecar files.
LXD is a unified platform for managing both system containers and virtual machines through a single REST API and command-line interface. It provides a programmatic HTTP interface for controlling the full lifecycle of instances, enabling automation and integration with external tools. The system runs unprivileged containers with per-instance UID/GID mappings, seccomp filters, and AppArmor profiles for kernel-level isolation, while supporting multiple storage backends including directory, Btrfs, LVM, ZFS, Ceph, LINSTOR, and TrueNAS through a unified driver interface. The platform distinguishes
Organizes instances, images, profiles, networks, and storage into separate projects for clean management.
dlt este un instrument de ingestie a datelor Python și un framework de pipeline ETL conceput pentru a prelua date din surse diverse și a le persista în destinații structurate. Funcționează ca un motor de inferență a schemei care detectează automat tipurile de date și aplatizează structurile JSON imbricate în tabele relaționale, mutând datele din surse către lakehouse-uri, depozite de date sau baze de date vectoriale. Proiectul se distinge prin generarea de pipeline-uri bazată pe AI, utilizând modele lingvistice mari pentru a crea codul de extracție și conectorii pentru API-urile REST. De asemenea, suportă stocarea vectorială multimodală și popularea specializată a bazelor de date vectoriale pentru a susține aplicațiile AI și machine learning. Framework-ul acoperă o gamă largă de capabilități, inclusiv evoluția automată a schemei, încărcarea incrementală a datelor prin urmărirea stării și validarea calității datelor prin aplicarea contractelor de date. Oferă instrumente pentru normalizarea datelor relaționale, transformări pre- și post-încărcare și o varietate de adaptoare de destinație pentru baze de date SQL și stocare de obiecte în cloud. Observabilitatea este gestionată prin dashboard-uri de execuție a pipeline-ului, urmărirea lineage-ului coloanelor și verificarea versiunii schemei folosind hash-uri bazate pe conținut.
Organizes multiple data resources into a single logical source for more efficient loading.
Buildbot este un framework de integrare continuă (CI) bazat pe Python și un orchestrator distribuit de build-uri. Acesta funcționează ca un motor de automatizare a build-urilor care coordonează preluarea codului sursă, execuția etapelor de build și raportarea rezultatelor printr-un controller central și o rețea de agenți worker la distanță. Sistemul se distinge printr-o arhitectură de extensibilitate bazată pe plugin-uri și un model de distribuție master-worker. Permite modificarea dinamică a build-urilor la runtime și suportă un backend de bază de date pluggable pentru persistența stării sistemului și a datelor istorice de build. Proiectul acoperă o gamă largă de capabilități, inclusiv programarea automatizată a build-urilor și orchestrarea pipeline-urilor, integrarea cu controlul versiunilor prin polling și webhooks, și provizionarea de workeri pe servere fizice, containere Docker și clustere Kubernetes. Oferă, de asemenea, monitorizare și observabilitate cuprinzătoare prin analiza log-urilor de build și urmărirea performanței, alături de gestionarea securizată a secretelor și autentificare multi-provider. Controlul administrativ este disponibil printr-o interfață web dedicată și instrumente CLI pentru validarea configurației și gestionarea proceselor.
Organizes build workers into logical project groups to streamline the management of the system interface.
Kdenlive este o suită de editare video non-liniară open-source concepută pentru post-producția video digitală. Construită pe MLT Framework și utilizând KDE Frameworks pentru interfața sa de utilizator, oferă un mediu multi-track pentru asamblarea clipurilor, aplicarea tranzițiilor și randarea fișierelor video finale. Editorul se distinge printr-un set cuprinzător de instrumente de animație și efecte, incluzând animația parametrilor bazată pe keyframe-uri cu un editor vizual de curbe pentru reglarea fină a tranzițiilor. Suportă modificări vizuale avansate precum remapparea vitezei clipului, mascarea regiunilor de efect și integrarea graficelor vectoriale animate din software extern. Suita acoperă o gamă largă de capabilități de producție, incluzând ingineria audio cu mixare și panning pe track-uri, corecția și gradarea culorilor, precum și instrumente de text pentru generarea de subtitrări și transcrierea vorbirii în text. Include utilitare de gestionare a proiectelor pentru organizarea activelor și definirea metadatelor, precum și optimizări de performanță precum proxy media și scalarea rezoluției de redare. Software-ul gestionează diverse codecuri și formate pentru importul și exportul media, utilizând randarea multithreaded în fundal pentru a finaliza proiectele.
Embeds author and copyright information directly into multimedia project files.
Bagel este un sistem nativ de debugging și inspecție a rețelei conceput pentru a captura și monitoriza traficul HTTP din simulatoarele iOS și hardware-ul fizic. Funcționează ca un inspector de trafic HTTP și monitor bazat pe dispozitiv care organizează cererile de rețea capturate pe proiect și dispozitiv. Instrumentul permite interceptarea cererilor de rețea direct în sistemul de operare, eliminând necesitatea configurațiilor manuale de proxy sau instalarea de certificate de securitate custom. Oferă capabilități pentru analiza traficului mobil și debugging-ul rețelei, inclusiv posibilitatea de a grupa cererile interceptate în bucket-uri logice de proiect și de a segmenta log-urile după identificatori unici de dispozitiv.
Groups intercepted network requests into logical project buckets for easier filtering and historical analysis.
Polyaxon is a Kubernetes-native machine learning orchestration platform and MLOps pipeline orchestrator. It serves as a control plane for managing distributed deep learning workloads, automated machine learning pipelines, and experiment tracking. The platform distinguishes itself through specialized services for distributed training management, including MPI-based coordination for PyTorch and TensorFlow. It provides an automated hyperparameter optimization service utilizing Bayesian, random, and grid search algorithms, alongside managed interactive AI workspaces for launching Jupyter notebook
Groups resources and users into projects or separate deployments to isolate workloads via Kubernetes namespaces.
DevLake is a DevOps data platform and analytics tool designed to orchestrate data pipelines that ingest, transform, and sync metadata from external development tools into a unified database. It functions as a system for collecting and normalizing data from source control, CI/CD pipelines, and issue trackers into a standardized schema to enable consistent software delivery analytics. The platform distinguishes itself by transforming tool-specific data into a common domain model, allowing for the calculation of engineering metrics via SQL. It provides specialized frameworks for measuring DORA m
Organizes data scopes from multiple tools into single logical projects for unified performance analysis.