2 repositorios
Capabilities for uploading files and objects to cloud-based object storage systems.
Distinguishing note: The candidates focus on specific patterns like sidecars or clipboard pasting, whereas this is a fundamental object storage operation.
Explore 2 awesome GitHub repositories matching data & databases · Object Storage Uploads. Refine with filters or upvote what's useful.
lakeFS es un sistema de versionado de lagos de datos que proporciona ramificaciones (branching) y commits similares a Git para grandes conjuntos de datos almacenados en almacenamiento de objetos. Funciona como una capa de control de versiones, permitiendo la creación de instantáneas inmutables, commits atómicos y ramificaciones de copia cero para crear entornos aislados para la experimentación de datos sin duplicar archivos físicos. El sistema sirve como una puerta de enlace de almacenamiento compatible con S3 y un catálogo REST de Iceberg, permitiendo que los protocolos de almacenamiento en la nube estándar y los clientes compatibles gestionen tablas versionadas. Actúa como un guardián de calidad de datos mediante el uso de un sistema de hooks basado en eventos para validar conjuntos de datos contra políticas de gobernanza antes de que los cambios se fusionen en producción. La plataforma cubre amplias capacidades para la gobernanza de datos, incluyendo colaboración mediante pull requests, control de acceso basado en roles y seguimiento del linaje de datos. Proporciona integración para la orquestación de flujos de trabajo, pipelines de aprendizaje automático y varios motores de cómputo de big data, soportando conectividad de almacenamiento multi-nube y sincronización de identidad mediante SSO y SCIM. El software se puede instalar utilizando binarios, contenedores o Helm charts para su despliegue en Kubernetes.
Provides the ability to write data to specific paths within a versioned branch in object storage.
Tusd is a server implementation of the open protocol for resumable file uploads over HTTP. It functions as a gateway that streams incoming data directly to local disk or remote object storage backends, ensuring that large files can be processed without exhausting system memory. The server is designed as a modular package that can be embedded directly into existing applications, allowing developers to integrate file transfer capabilities without requiring external service dependencies. It maintains persistent state for all active transfers, enabling clients to pause and resume uploads from the
Supports saving uploaded files directly to remote object storage services to improve scalability and availability.