awesome-repositories.com
Blog
awesome-repositories.com

Descubre los mejores repositorios open-source con nuestra búsqueda potenciada por IA.

ExplorarBúsquedas curadasAlternativas open-sourceSoftware autohospedableBlogMapa del sitio
ProyectoAcerca deCómo clasificamosPrensaServidor MCP
Aviso legalPrivacidadTérminos
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

14 repositorios

Awesome GitHub RepositoriesStorage File Readers

Utilities for reading files from local or cloud storage.

Distinguishing note: Focuses on parallel file reading with column pruning support.

Explore 14 awesome GitHub repositories matching data & databases · Storage File Readers. Refine with filters or upvote what's useful.

Awesome Storage File Readers GitHub Repositories

Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
  • ray-project/rayAvatar de ray-project

    ray-project/ray

    42,895Ver en GitHub↗

    Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f

    Ingests files from local or cloud storage in various formats with support for column pruning and parallel processing.

    Pythondata-sciencedeep-learningdeployment
    Ver en GitHub↗42,895
  • claude-code-best/claude-codeAvatar de claude-code-best

    claude-code-best/claude-code

    20,272Ver en GitHub↗

    Claude Code is a command-line interface and multi-agent orchestration framework designed for autonomous software engineering. It enables AI agents to perform codebase modifications, debugging, and Git workflow management while coordinating multiple specialized agents to decompose and execute complex engineering tasks in parallel. The system distinguishes itself through a high degree of isolation and safety, utilizing Git worktrees to create independent working directories for concurrent agents and implementing a tiered permission system that combines user rules, project policies, and OS-level

    Reads text, images, and PDFs using token-budget compression and paginated loading to optimize LLM context.

    TypeScript
    Ver en GitHub↗20,272
  • dask/daskAvatar de dask

    dask/dask

    13,746Ver en GitHub↗

    Dask es un framework de computación paralela y un programador de tareas distribuido diseñado para escalar flujos de trabajo de ciencia de datos en Python desde máquinas individuales hasta grandes clústeres. Funciona como un gestor de recursos de clúster que orquesta la lógica computacional representando las tareas y sus dependencias como grafos acíclicos dirigidos. Esta arquitectura permite al sistema automatizar la distribución de cargas de trabajo a través del hardware disponible mientras gestiona requisitos de ejecución complejos. El proyecto se distingue por un motor de evaluación perezosa que difiere las operaciones de datos hasta que se solicitan explícitamente, permitiendo la optimización global del grafo y una asignación eficiente de recursos. Incorpora el volcado de datos consciente de la memoria para evitar fallos del sistema al procesar conjuntos de datos que exceden la memoria disponible, y utiliza la fusión de grafos de tareas para combinar secuencias de operaciones en pasos de ejecución únicos, minimizando la sobrecarga de programación y la comunicación entre nodos. La plataforma proporciona una superficie de capacidades integral para el análisis de datos a gran escala, incluyendo soporte para aprendizaje automático distribuido, integración de computación de alto rendimiento y procesamiento de datos en paralelo. Ofrece herramientas extensas para la gestión del ciclo de vida del clúster, perfilado de rendimiento y monitoreo en tiempo real de la ejecución de tareas. Los usuarios pueden desplegar estos entornos en diversas infraestructuras, incluyendo hardware local, proveedores de nube, sistemas en contenedores y clústeres de computación de alto rendimiento.

    Bypasses database query layers by reading underlying storage files directly from distributed file systems.

    Pythondasknumpypandas
    Ver en GitHub↗13,746
  • tdlib/tdAvatar de tdlib

    tdlib/td

    8,506Ver en GitHub↗

    This project is a cross-platform messaging SDK and client development library used to build custom Telegram applications. It functions as a comprehensive framework that manages network encryption, local data storage, and API communication, providing a C-compatible JSON interface that allows integration with any programming language. The library distinguishes itself by providing a full database manager for encrypted local caching and synchronized state, alongside a dedicated bot framework for creating interactive bots with business account integration. It enables the implementation of speciali

    Retrieves specific segments of files from local storage to enable media streaming.

    C++cross-platformlibrarytelegram
    Ver en GitHub↗8,506
  • piglei/one-python-craftsmanAvatar de piglei

    piglei/one-python-craftsman

    7,211Ver en GitHub↗

    This project is a comprehensive Python coding guide and software engineering resource focused on professional development practices. It provides a detailed collection of idiomatic techniques, design patterns, and architectural strategies to improve code quality and maintainability. The guide emphasizes advanced design patterns such as dependency injection, data-driven design, and the application of SOLID principles for object-oriented design. It distinguishes itself by covering sophisticated structural strategies, including class-based decorators, the separation of interfaces from implementat

    Implements memory-efficient file reading by processing large files in fixed-size chunks.

    articlesbookpython
    Ver en GitHub↗7,211
  • rust-lang/rfcsAvatar de rust-lang

    rust-lang/rfcs

    6,406Ver en GitHub↗

    The Rust RFCs repository is the formal home for the Rust language evolution process, housing the structured design documents and community review mechanisms that govern changes to the Rust programming language, its compiler, and its standard library. It defines the complete lifecycle for proposing, discussing, and implementing substantial changes through RFC documents, from initial submission and community feedback through final comment periods and sub-team sign-offs. The repository codifies the governance and collaboration processes that shape Rust's development, including mechanisms for com

    Defines the fundamental read operation for I/O streams in Rust's standard library.

    Markdownrfcrfc-processrust
    Ver en GitHub↗6,406
  • astrada/google-drive-ocamlfuseAvatar de astrada

    astrada/google-drive-ocamlfuse

    5,944Ver en GitHub↗

    google-drive-ocamlfuse is a FUSE-based filesystem that mounts a Google Drive account as a local directory, enabling standard file operations on cloud files. It bridges POSIX filesystem calls to the Google Drive API, allowing users to read, write, and manage files through their operating system's native file manager or command line. The project distinguishes itself through support for multiple simultaneous Google Drive accounts, each mounted as an independent local directory with separate authentication and cache state. It handles Google Docs, Sheets, and Slides by exporting them as read-only

    Prefetches sequential file chunks into a local buffer to smooth latency during large file reads.

    OCamlfilesystemfusegoogle-drive
    Ver en GitHub↗5,944
  • paradigmxyz/rethAvatar de paradigmxyz

    paradigmxyz/reth

    5,652Ver en GitHub↗

    Reth is a modular, high-performance Ethereum execution layer client written in Rust. It serves as a full Ethereum node that syncs, validates, and serves blockchain data, functioning as an archive node implementation, a high-throughput RPC node server, and a snapshot sync tool. The project is built around a modular component architecture that allows assembling custom node behavior by swapping independent Rust crates for consensus, execution, mempool, and networking. The client distinguishes itself through a staged sync pipeline that downloads headers and bodies online before processing the res

    Syncs RLP-encoded blocks from one or more files into the local chain state.

    Rust
    Ver en GitHub↗5,652
  • vanilagy/mediabunnyAvatar de Vanilagy

    Vanilagy/mediabunny

    5,254Ver en GitHub↗

    This is a cross-platform media processing library that reads, writes, encodes, and decodes media in both browser and server environments. It supports common container formats including ISOBMFF, Matroska, Ogg, MPEG-TS, and HLS, and handles codec operations through a combination of WebCodecs API and WebAssembly-based encoders. Media is processed in streaming pipelines that maintain constant memory usage and automatically apply backpressure from output speed to all upstream components. The library distinguishes itself through a plugin-based codec registration system that allows extending support

    Reads media from files, URLs, or custom sources lazily with minimal memory overhead.

    TypeScriptaudiodecodingdemuxing
    Ver en GitHub↗5,254
  • syedhali/ezaudioAvatar de syedhali

    syedhali/EZAudio

    4,991Ver en GitHub↗

    EZAudio es una librería de audio para plataformas Apple que proporciona interfaces estandarizadas para la captura de micrófono, reproducción de archivos y salida de hardware. Funciona como un procesador de audio de baja latencia y un framework de visualización diseñado para manipular buffers de audio y enrutar señales con un retraso mínimo. El proyecto cuenta con un renderizador de formas de onda acelerado por hardware para dibujar amplitudes de audio en tiempo real y gráficos dinámicos. También incluye un analizador de Transformada Rápida de Fourier que convierte muestras de audio del dominio del tiempo en datos del dominio de la frecuencia para el análisis espectral. La librería cubre una amplia gama de capacidades, incluyendo la grabación de audio digital en disco y la gestión de la reproducción de archivos de audio con controles de búsqueda y volumen. Admite el procesamiento de audio en tiempo real mediante el encadenamiento de efectos de audio y el enrutamiento de la entrada del micrófono directamente a la salida de hardware.

    Supports loading audio files from storage and seeking through the data to extract specific segments.

    Objective-C
    Ver en GitHub↗4,991
  • martanne/visAvatar de martanne

    martanne/vis

    4,634Ver en GitHub↗

    Vis es un editor de texto modal basado en terminal que utiliza atajos de teclado de vi y un sistema de expresiones regulares estructurales. Funciona como un entorno programable donde Lua se utiliza para la configuración, mapeos de teclas personalizados y desarrollo de plugins. El editor se distingue por un sistema de resaltado de sintaxis basado en gramáticas de expresión de análisis (PEG) y un motor de coincidencia de patrones que trata el texto como una estructura para operaciones complejas de búsqueda y reemplazo. También se integra directamente con el shell del sistema, permitiendo a los usuarios enviar rangos de texto a comandos externos y capturar la salida resultante. El proyecto proporciona amplias capacidades para la manipulación de texto, incluyendo el uso de múltiples cursores y selecciones, un grafo dirigido para el historial de deshacer y rehacer no lineal, y una interfaz de múltiples ventanas renderizada mediante secuencias de escape VT-100. Los usuarios pueden definir movimientos y operadores personalizados a través de la API de scripting integrada. La aplicación se puede compilar en un único binario vinculado estáticamente para mayor portabilidad.

    Reads file content into memory using standard read calls or memory-mapped loading for efficiency.

    C
    Ver en GitHub↗4,634
  • eunomia-bpf/bpf-developer-tutorialAvatar de eunomia-bpf

    eunomia-bpf/bpf-developer-tutorial

    4,145Ver en GitHub↗

    Este proyecto es un recurso educativo que proporciona un tutorial de desarrollo integral para escribir y cargar programas eBPF utilizando C, Go y Rust dentro del kernel de Linux. Sirve como una guía técnica para desarrollar lógica personalizada para ejecutar directamente en el kernel. Los materiales cubren dominios especializados incluyendo observabilidad y rastreo del kernel, implementación de seguridad para detección de intrusiones e ingeniería de red de alto rendimiento para filtrado de paquetes y balanceo de carga. También incluye manuales dedicados para el rastreo del kernel de Linux y el uso de kprobes, uprobes y tracepoints. El proyecto abarca una amplia gama de áreas de capacidad, como instrumentación del kernel, monitoreo y observabilidad del sistema, análisis de red y aplicación de seguridad. Además, se extiende a la depuración a nivel de hardware para GPUs y controladores, así como a la manipulación de sistemas de bajo nivel y gestión de recursos.

    Replaces text in file read buffers before it reaches userspace to spoof data.

    Cbpfebpfexamples
    Ver en GitHub↗4,145
  • velocidex/velociraptorAvatar de Velocidex

    Velocidex/velociraptor

    3,769Ver en GitHub↗

    Velociraptor is a digital forensics and incident response platform, endpoint detection and response system, and visibility tool. It provides a query engine and remote forensic collector used to hunt for indicators of compromise and perform triage across a fleet of hosts. The system is distinguished by its specialized query language for interrogating host state and parsing binary files. It features a notebook environment that combines markdown documentation with executable query cells to standardize investigative workflows and enable collaborative reporting. The platform covers a wide range o

    Enables reading specific files from nested containers using a defined path and member identifier.

    Godigital-forensicsendpoint-discoveryendpoint-protection
    Ver en GitHub↗3,769
  • gpac/gpacAvatar de gpac

    gpac/gpac

    3,205Ver en GitHub↗

    GPAC is an open-source multimedia framework built around a pluggable filter graph pipeline, where modular processing units called filters connect into a directed graph to handle media workflows. At its core, the framework centers all media packaging and manipulation on the ISO Base Media File Format (ISOBMFF), with specialized tools for reading, writing, fragmenting, and encrypting MP4 and related containers. It also provides a declarative scene graph composition system for describing interactive multimedia scenes using MPEG-4 BIFS, X3D, SVG, or VRML syntax, alongside a hardware-accelerated re

    Provides a filter for reading NHML-formatted media files.

    Catsc3broadcastcenc
    Ver en GitHub↗3,205
  1. Home
  2. Data & Databases
  3. Storage File Readers

Explorar subetiquetas

  • Partial File Reading7 sub-etiquetasCapabilities for reading specific byte ranges or segments of a file from storage. **Distinct from Storage File Readers:** Distinct from Storage File Readers: focuses on reading arbitrary segments for streaming rather than parallel reading or column pruning.