1 Repo
Awesome GitHub RepositoriesML Platform Integrations
Connectivity plugins and endpoint overrides for integrating versioned data with machine learning platforms.
Distinguishing note: None of the candidates cover the specific use case of overriding S3 endpoints for ML platform data management.
Explore 1 awesome GitHub repository matching artificial intelligence & ml · ML Platform Integrations. Refine with filters or upvote what's useful.
Awesome ML Platform Integrations GitHub Repositories
Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
- treeverse/lakefs
treeverse/lakeFS
5,406Auf GitHub ansehenlakeFS ist ein Data-Lake-Versionierungssystem, das Git-ähnliche Branching- und Commit-Funktionen für große Datensätze in Objektspeichern bietet. Es fungiert als Versionskontrollschicht und ermöglicht die Erstellung unveränderlicher Snapshots, atomarer Commits und Zero-Copy-Branching, um isolierte Umgebungen für Datenexperimente zu schaffen, ohne physische Dateien zu duplizieren. Das System dient als S3-kompatibles Storage-Gateway und Iceberg-REST-Katalog, wodurch Standard-Cloud-Storage-Protokolle und kompatible Clients versionierte Tabellen verwalten können. Es fungiert als Data-Quality-Gatekeeper, indem es ein eventgesteuertes Hook-System nutzt, um Datensätze gegen Governance-Richtlinien zu validieren, bevor Änderungen in die Produktion gemergt werden. Die Plattform deckt umfassende Funktionen für Data-Governance ab, einschließlich Pull-Request-Kollaboration, rollenbasierter Zugriffskontrolle und Data-Lineage-Tracking. Sie bietet Integrationen für Workflow-Orchestrierung, Machine-Learning-Pipelines und verschiedene Big-Data-Compute-Engines und unterstützt Multi-Cloud-Storage-Konnektivität sowie Identitätssynchronisation via SSO und SCIM. Die Software kann mittels Binärdateien, Containern oder Helm-Charts für die Bereitstellung auf Kubernetes installiert werden.
Connects machine learning workflows to a versioned data lake by overriding S3 endpoints for Amazon SageMaker.
Go
