13 Repos
Abstracts file operations across local and remote storage backends.
Distinguishing note: Focuses on the abstraction layer for file systems.
Explore 13 awesome GitHub repositories matching data & databases · Virtual File System Layers. Refine with filters or upvote what's useful.
Nextcloud ist eine selbst gehostete Plattform für privaten Cloud-Speicher, Dateisynchronisierung und kollaborative Team-Arbeitsbereiche. Sie bietet eine umfassende Suite von Tools für die Dokumentenbearbeitung, Groupware-Dienste wie Kalender und Kontakte sowie eine sichere Datenverwaltung, während sichergestellt wird, dass Benutzer die volle Kontrolle über ihre Infrastruktur und Datensouveränität behalten. Die Plattform zeichnet sich durch eine dezentrale, föderierte Architektur aus, die es unabhängigen Serverinstanzen ermöglicht, Daten sicher zu teilen und über ein Netzwerk hinweg zusammenzuarbeiten. Sie verfügt über ein hochmodulares Plugin-Ökosystem, das es Administratoren ermöglicht, Anwendungen von Drittanbietern über eine zentrale Registrierung dynamisch zu laden, zu aktivieren und zu verwalten. Diese Erweiterbarkeit wird durch eine ereignisgesteuerte Workflow-Engine und Hintergrund-Jobverarbeitung unterstützt, die wiederkehrende Aufgaben automatisieren und externe Dienste ohne manuelles Eingreifen integrieren. Über die Kernfunktionen für Speicher und Zusammenarbeit hinaus umfasst das System robuste administrative Funktionen zur Verwaltung von Benutzerkonten, Systemzustand und regulatorischer Compliance. Es bietet umfangreiche Befehlszeilentools für Serverwartung, Konfiguration und Leistungsüberwachung sowie Unterstützung für die Integration von Machine-Learning-Diensten zur Bewältigung von Aufgaben wie Sprachübersetzung und Spracherkennung. Die Software wird als selbst gehostete Umgebung unter Linux bereitgestellt und erfordert Standard-Webserver-, Datenbank- und Laufzeitkonfigurationen für den Betrieb.
Abstracts file operations through a unified interface that manages local storage, remote synchronization, and custom mimetype handling.
Cryptomator is a client-side cloud encryption tool and cross-platform vault manager. It provides a transparent encryption layer that encrypts files and folder structures locally before they are uploaded to a cloud storage provider. The software creates virtual encrypted drives that mount encrypted vaults, allowing users to interact with their data as if it were on a physical disk. It supports the management of multiple independent encrypted containers, each protected by a unique password. The project covers data privacy through directory structure obfuscation and filename encryption to hide
Implements a virtual file system layer to intercept OS calls for transparent on-the-fly encryption and decryption.
sql.js is a serverless, in-memory SQL database engine that ports SQLite to WebAssembly for use within a web browser. It provides a JavaScript interface to initialize relational databases, execute SQL queries, and manage structured data without requiring a backend server. The project enables the import and export of database states using typed arrays, allowing in-memory data to be persisted as files. It supports high-precision integer retrieval via BigInt and utilizes prepared statements to increase execution speed and security. The engine includes capabilities for client-side data management
Implements a virtual file system layer to simulate disk operations within the browser's memory.
Online IDE powered by Visual Studio Code ⚡️
Provides a writable, in-memory filesystem that mirrors a real disk for sandboxed execution.
Quasar is an encrypted TCP-based remote administration tool for Windows that combines command-and-control capabilities with credential extraction, keystroke logging, file and registry management, desktop monitoring, and SOCKS5 reverse proxy tunneling. It operates through a modular framework where individual capabilities are loaded as plugins communicating over an encrypted command channel. The tool distinguishes itself by integrating credential recovery from browsers and FTP clients, keystroke capture with full Unicode support, and a SOCKS5 reverse proxy for routing network traffic through th
Provides a virtual file system interface over the encrypted channel for remote file operations.
Read the Docs is an automated documentation hosting platform that transforms source files from version control into published websites. It functions as a documentation pipeline that updates content automatically on every commit to keep technical manuals in sync with software releases. The platform provides specialized hosting for static site documentation and integrates as a CI/CD pipeline for documentation workflows. It utilizes a webhook-driven build system to trigger documentation rebuilds automatically by listening for push events from remote version control systems. The service supports
Abstracts the retrieval and extraction of source files from diverse remote repositories into local build environments.
js-ipfs is an HTTP client library that connects to any IPFS daemon, enabling JavaScript applications to interact with the InterPlanetary File System. It provides a promise-based asynchronous API for managing content-addressed storage, where all data is identified by cryptographic hashes (CIDs) for immutable references and deduplication. The library communicates with a remote IPFS node through HTTP requests, supporting cancellation of in-flight operations via standard AbortController signals. The library offers a comprehensive set of capabilities for working with IPFS, including adding and ret
Provides a virtual filesystem layer over content-addressed storage with standard file operations.
Spatie's Laravel Medialibrary is a plugin for the Laravel framework that attaches uploaded files to Eloquent models and organizes them into named collections for retrieval. It functions as both a file attachment system and an image manipulation library, allowing developers to associate files with database records through a dedicated media collection interface. The library groups related files under named collections so each model can hold multiple distinct sets of media, and it resizes, crops, or applies filters to images on the fly without altering the original file. It also generates derive
Stores files on configurable disks via Laravel's filesystem for transparent switching between storage backends.
VFSForGit is a virtualization layer and enterprise scaling solution for Git. It enables the management of massive codebases by downloading repository objects on demand, allowing users to interact with extreme-scale repositories without requiring a full local clone. The project optimizes performance by limiting the scope of Git commands to files currently accessed by the user. It utilizes a virtual file system projection to present a complete directory tree while keeping file data remote until it is specifically requested. The system employs virtualization techniques including deferred conten
Implements a virtualization layer that downloads Git repository objects on demand to handle massive codebases.
GDAL ist eine MIT-lizenzierte Open-Source-Übersetzerbibliothek, die ein einheitliches abstraktes Datenmodell für das Lesen und Schreiben von Geodaten-Raster- und Vektordaten über Hunderte von Dateiformaten hinweg bereitstellt. Sie dient als grundlegende Geodaten-Übersetzungsbibliothek und ermöglicht den Zugriff auf diverse Geodatenformate über eine einzige, konsistente Schnittstelle. Die Bibliothek macht ihre Kernfunktionalität über Befehlszeilen-Dienstprogramme zugänglich, die es Benutzern ermöglichen, Geodaten zwischen Formaten zu übersetzen, zu konvertieren und zu verarbeiten. Eine Koordinatentransformations-Engine übernimmt Konvertierungen zwischen räumlichen Referenzsystemen, während ein Format-Treiber-Plugin-System die formatspezifische Lese- und Schreiblogik zur Laufzeit lädt. Die virtuelle Dateisystemschicht bietet einheitlichen I/O-Zugriff über lokale Dateien, HTTP, Cloud-Speicher und komprimierte Archive, und ein Raster-Block-Cache verwaltet das In-Memory-Tile-Caching, um I/O-Operationen zu reduzieren. GDAL unterstützt das Lesen und Schreiben sowohl von Raster- als auch von Vektor-Geodaten, wobei die Vektor-Feature-Iteration Features einzeln streamt, ohne ganze Datensätze in den Speicher zu laden. Das Projekt ermöglicht die geodatenbasierte Interoperabilität zwischen Formaten durch die Unterstützung des Datenaustauschs zwischen verschiedenen Geodaten-Software-Ökosystemen mittels ihrer umfangreichen Formatunterstützung.
Provides a uniform I/O interface over local files, HTTP, cloud storage, and compressed archives.
Absurd-sql is a browser-based SQL database that runs SQLite for query processing and local storage. It provides a system for saving relational data locally in the browser to ensure persistence across page refreshes and restarts. The project implements an IndexedDB persistence layer that stores SQLite database blocks within the browser. This approach avoids loading entire database images into memory, enabling the storage of structured relational data locally to maintain functionality during offline use.
Provides a virtual file system layer that intercepts SQLite I/O calls and redirects them to browser storage.
Codebox ist eine browserbasierte integrierte Entwicklungsumgebung, die zum Schreiben und Ausführen von Quellcode in Cloud- und Desktop-Umgebungen verwendet wird. Sie fungiert als Node.js-Laufzeitumgebung, die es ermöglicht, JavaScript- und Node.js-Code direkt in einem Webbrowser auszuführen. Das Projekt ist eine plattformübergreifende IDE mit nativer Unterstützung für die Offline-Nutzung. Sie nutzt eine modulare Plugin-Architektur, die das Hinzufügen benutzerdefinierter Drittanbieter-Funktionalitäten und Erweiterungen zum Editor ermöglicht. Die Umgebung enthält Tools für das Codebase-Management, eine integrierte Dateisystemschicht und ein Command-Line-Interface für das Workspace-Management und die Identitätskonfiguration.
Provides a unified virtual file system layer to manage source files across diverse storage backends.
Dieses Projekt ist ein Remote-Development-Extension-Pack und eine Infrastruktur für das Bootstrapping isolierter Toolchains und Runtimes. Es ermöglicht ein System zum Öffnen von Ordnern und Ausführen von Code über SSH-Hosts, Docker-Container und das Windows Subsystem for Linux (WSL). Das System nutzt eine Client-Server-Split-Architektur, um die Benutzeroberfläche vom Extension-Host und den Language-Servern zu trennen. Es bietet eine sichere Verbindungsschicht für SSH-Remote-Editing, eine Brücke für WSL-Integration und ein Remote-Port-Forwarding-Tool, um Netzwerkverkehr von Remote-Umgebungen auf eine lokale Maschine zu tunneln. Das Projekt deckt ein breites Spektrum an Remote-Funktionen ab, einschließlich Container-Lifecycle-Management, Cloud-Umgebungs-Provisioning und Remote-Code-Debugging. Es unterstützt umgebungsspezifische Konfiguration durch Dotfile-Synchronisierung, Host-spezifische Einstellungen und Remote-Extension-Management, um konsistente Entwicklungsumgebungen über verschiedene Maschinen hinweg sicherzustellen. Sicherheit und Zugriff werden durch SSH-Authentifizierung, Agent-Key-Forwarding und die Synchronisierung von Git-Credentials zwischen Host- und Subsystem-Umgebungen verwaltet.
Abstracts file operations across local and remote storage backends to allow seamless editing of remote files.