2 Repos
Awesome GitHub RepositoriesDataset Registries
Centralized systems for cataloging datasets with support for lazy initialization and programmatic filtering.
Distinct from Lazy Store Registries: None of the candidates focus on the specific registry pattern for data engineering datasets; they focus on general state or permission centralization.
Explore 2 awesome GitHub repositories matching data & databases · Dataset Registries. Refine with filters or upvote what's useful.
Awesome Dataset Registries GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- kedro-org/kedro
kedro-org/kedro
10,889Auf GitHub ansehenKedro is a data science pipeline framework and orchestration tool designed to build reproducible and modular data engineering workflows. It functions as an MLOps project template and Python data workflow tool that enforces software engineering best practices to move projects from prototype to production. The system distinguishes itself through a centralized data catalog manager that abstracts data access and versioning across various file formats and cloud storage systems. It further separates processing logic from data access via a lazy-loading data registry and provides a standardized proje
Maintains a centralized registry of datasets supporting lazy initialization and pattern matching factories.
Python - transformerlab/transformerlab-app
transformerlab/transformerlab-app
5,103Auf GitHub ansehenTransformerLab ist eine MLOps-Orchestrierungsplattform und Forschungsumgebung, die für das Training, Fine-Tuning und die Evaluierung von Large Language Models entwickelt wurde. Sie dient als zentralisierte Steuerungsebene für das Management von Machine-Learning-Jobs und die Koordination verteilter GPU-Rechenleistung über hybride Cloud- und On-Premise-Anbieter hinweg. Die Plattform zeichnet sich durch agentengesteuerte Modelloptimierung aus und nutzt KI-Assistenten, um Metriken zu analysieren und automatisch Hyperparameter-Experimente vorzuschlagen und in die Warteschlange einzureihen. Sie bietet eine Remote-Entwicklungsumgebung, die es Benutzern ermöglicht, interaktive Notebooks, Code-Editoren und Secure-Shell-Sitzungen direkt auf Remote-Rechenknoten zu starten. Das System deckt ein breites Spektrum an Machine-Learning-Workflow-Funktionen ab, einschließlich verteilter Aufgabenkoordination, automatisierter Hyperparameter-Sweeps und umfassendem Experiment-Tracking. Es verfügt über integrierte Registries für die Versionierung von Datensätzen und Modell-Artefakten sowie Tools für die Evaluierung der Modell-Performance und das Deployment von Inference-Servern. Ein Command-Line-Interface wird für die Plattformsteuerung, das Job-Monitoring sowie die Verwaltung der Installation und Updates der lokalen Serverinstanz bereitgestellt.
Provides a centralized registry for cataloging, editing, and managing different versions of datasets.
Python
