9 Repos
Interfaces and utilities for managing remote object storage and file systems.
Distinguishing note: None of the candidates matched; this focuses on cloud-native object storage management.
Explore 9 awesome GitHub repositories matching data & databases · Cloud Storage Services. Refine with filters or upvote what's useful.
Puter is a browser-based desktop environment and cloud-native development platform that provides a virtualized graphical workspace. It enables developers to build and deploy full-stack web applications by integrating cloud storage, authentication, and serverless backend logic directly into the browser, eliminating the need for traditional server infrastructure. The platform distinguishes itself through a unified cloud storage layer and a distributed network runtime that facilitates peer-to-peer communication and cross-origin resource fetching. It features a sophisticated cross-window orchestr
Provides cloud storage and object management capabilities for persistent data storage.
Prefect is a workflow orchestration platform designed to define, schedule, and monitor complex data pipelines as Python code. It functions as a container-native engine that wraps individual tasks in isolated environments, ensuring consistent dependencies and resource allocation across diverse infrastructure. By utilizing a state-machine-based orchestration model, the system tracks execution progress through discrete transitions and persistent event logs to maintain reliable and observable task processing. The platform distinguishes itself through a decoupled worker-API architecture, which sep
Provides interfaces for managing remote object storage containers and data persistence.
Dask ist ein Framework für paralleles Rechnen und ein verteilter Task-Scheduler, der darauf ausgelegt ist, Python-Data-Science-Workflows von einzelnen Maschinen auf große Cluster zu skalieren. Es fungiert als Cluster-Ressourcenmanager, der die Berechnungslogik orchestriert, indem Aufgaben und deren Abhängigkeiten als gerichtete azyklische Graphen dargestellt werden. Diese Architektur ermöglicht es dem System, die Verteilung von Workloads auf verfügbare Hardware zu automatisieren und gleichzeitig komplexe Ausführungsanforderungen zu verwalten. Das Projekt zeichnet sich durch eine Lazy-Evaluation-Engine aus, die Datenoperationen verzögert, bis sie explizit angefordert werden, was eine globale Graphoptimierung und effiziente Ressourcenzuweisung ermöglicht. Es integriert speicherbewusstes Data-Spilling, um Systemabstürze bei der Verarbeitung von Datensätzen zu verhindern, die den verfügbaren Speicher überschreiten, und nutzt Task-Graph-Fusion, um Sequenzen von Operationen in einzelne Ausführungsschritte zu kombinieren, wodurch Scheduling-Overhead und Inter-Node-Kommunikation minimiert werden. Die Plattform bietet eine umfassende Oberfläche für die Datenanalyse im großen Maßstab, einschließlich Unterstützung für verteiltes maschinelles Lernen, Integration in das Hochleistungsrechnen und parallele Datenverarbeitung. Sie bietet umfangreiche Werkzeuge für das Cluster-Lebenszyklusmanagement, Performance-Profiling und die Echtzeitüberwachung der Aufgabenausführung. Benutzer können diese Umgebungen über verschiedene Infrastrukturen hinweg bereitstellen, einschließlich lokaler Hardware, Cloud-Anbietern, containerisierten Systemen und Hochleistungsrechner-Clustern.
Connects to remote object storage services to read and write data directly from distributed computing nodes.
GitLens is a Git extension for VS Code that brings inline blame annotations, CodeLens authorship information, and an interactive commit graph directly into the editor. It provides a visual timeline of repository history with color-coded branch relationships, search, and filtering, alongside file-level annotations that show who last changed each line and why. The extension also functions as a cross-provider pull request manager, integrating with GitHub, GitLab, Bitbucket, and Azure DevOps to centralize PR and issue tracking within the IDE. What distinguishes GitLens is its AI-powered Git assis
Stores and shares work-in-progress code changes as encrypted cloud patches with access control.
Lets-chat is a self-hosted team communication platform and XMPP chat server designed for private messaging. It provides a containerized communication environment for small teams to exchange messages and files, featuring a programmable REST API for automating conversations and managing messages from external tools. The platform functions as an XMPP gateway and server, ensuring interoperability with other compliant messaging clients. It distinguishes itself by supporting enterprise identity management, allowing administrators to verify user identities through local accounts or external director
Offloads uploaded files to remote cloud services via specialized storage plugins.
CubeFS ist ein verteiltes Cloud-Speichersystem, das für die Verwaltung von Datei- und Objektspeichern über Rechenzentren und hybride Clouds hinweg entwickelt wurde. Es fungiert als mandantenfähiges verteiltes Dateisystem und Objektspeicher, der Daten im Exabyte-Maßstab verarbeiten kann und eine verteilte Architektur zur Speicherung unstrukturierter Inhalte nutzt. Das System zeichnet sich durch eine Multi-Protokoll-Schnittstellenebene aus, die den gleichzeitigen Datenzugriff über S3-, POSIX- und HDFS-Schnittstellen ermöglicht. Es verwendet eine entkoppelte Compute-Storage-Architektur, um Verarbeitung und Persistenz unabhängig voneinander zu skalieren, und implementiert fein abgestimmte Isolationsrichtlinien, um Ressourcen und Daten zwischen verschiedenen Mandanten zu trennen. Die Zuverlässigkeit wird durch konfigurierbare Redundanzstrategien verwaltet, einschließlich Multi-Replica-Mirroring und Erasure Coding. Die Plattform beinhaltet ein Multi-Tier-Caching-System zur Beschleunigung des Datenzugriffs und integriert sich via Container Storage Interface-Treiber in Kubernetes, um die Bereitstellung persistenter Volumes zu automatisieren.
Delivers high-concurrency, low-latency cloud disk services for databases and middleware.
This repository is a comprehensive sample library providing reference implementations for automating tasks and extending functionality across Google Workspace applications. It serves as a collection of code examples and templates for building workspace automation scripts, custom add-ons, and integrated productivity tools. The project distinguishes itself by providing specialized examples for integrating large language models into productivity tools for content generation and data analysis. It also includes reference implementations for creating conversational chat apps, interactive cards, and
Manipulates information across spreadsheets, email, and cloud storage using built-in service objects.
Fog ist ein Ruby-Cloud-Infrastruktur-SDK, das eine standardisierte Schnittstelle zur Verwaltung von Compute-, Storage- und Netzwerkressourcen über mehrere Cloud-Anbieter hinweg bereitstellt. Es nutzt eine Multi-Cloud-Abstraktionsschicht, um generische Ressourcenanfragen in anbieterspezifische API-Aufrufe zu übersetzen und die Infrastruktursteuerung durch einen konsistenten Satz von Ruby-Objekten zu vereinheitlichen. Das Projekt enthält ein Cloud-API-Mocking-Framework, das Anbieterantworten und Ressourcenverhalten im Speicher simuliert. Dies ermöglicht das Testen von Infrastruktur-Integrationslogik, ohne tatsächliche Netzwerkanfragen zu stellen oder Anbieterkosten zu verursachen. Das SDK deckt mehrere Kernfunktionsbereiche ab, einschließlich Virtual-Machine-Management, Server-Bereitstellung und Remote-Befehlsausführung. Es bietet Tools für Cloud-Storage-Operationen und Metadateninspektion sowie die Verwaltung von DNS-Zonen und Content-Delivery-Network-Distributionen.
Offers a unified Ruby API for managing remote object storage and local filesystems.
Baserow is a self-hosted, no-code relational database platform built on PostgreSQL. It provides a spreadsheet-like interface for structuring and managing data without writing code, while exposing all database resources via a REST API to support headless architectures. The platform distinguishes itself by integrating large language models and embedding servers to power AI assistants and automated data generation. It further extends its utility as a no-code application builder, allowing users to create custom internal portals, dashboards, and business tools using visual logic and managed data.
Interfaces with remote object storage and database services to manage application state and simplify migrations.