14 repositorios
Utilities for reading files from local or cloud storage.
Distinguishing note: Focuses on parallel file reading with column pruning support.
Explore 14 awesome GitHub repositories matching data & databases · Storage File Readers. Refine with filters or upvote what's useful.
Ray is a distributed computing framework designed to scale Python and Java applications across clusters by abstracting task scheduling and resource management. It functions as a resource-aware execution engine that manages task dependencies, placement, and fault tolerance across networked compute nodes. At its core, the system provides a stateful actor model, allowing developers to define classes that run in dedicated processes to maintain and mutate internal state across remote method calls. The framework distinguishes itself through a robust cross-language interoperability layer, enabling f
Ingests files from local or cloud storage in various formats with support for column pruning and parallel processing.
Claude Code is a command-line interface and multi-agent orchestration framework designed for autonomous software engineering. It enables AI agents to perform codebase modifications, debugging, and Git workflow management while coordinating multiple specialized agents to decompose and execute complex engineering tasks in parallel. The system distinguishes itself through a high degree of isolation and safety, utilizing Git worktrees to create independent working directories for concurrent agents and implementing a tiered permission system that combines user rules, project policies, and OS-level
Reads text, images, and PDFs using token-budget compression and paginated loading to optimize LLM context.
Dask es un framework de computación paralela y un programador de tareas distribuido diseñado para escalar flujos de trabajo de ciencia de datos en Python desde máquinas individuales hasta grandes clústeres. Funciona como un gestor de recursos de clúster que orquesta la lógica computacional representando las tareas y sus dependencias como grafos acíclicos dirigidos. Esta arquitectura permite al sistema automatizar la distribución de cargas de trabajo a través del hardware disponible mientras gestiona requisitos de ejecución complejos. El proyecto se distingue por un motor de evaluación perezosa que difiere las operaciones de datos hasta que se solicitan explícitamente, permitiendo la optimización global del grafo y una asignación eficiente de recursos. Incorpora el volcado de datos consciente de la memoria para evitar fallos del sistema al procesar conjuntos de datos que exceden la memoria disponible, y utiliza la fusión de grafos de tareas para combinar secuencias de operaciones en pasos de ejecución únicos, minimizando la sobrecarga de programación y la comunicación entre nodos. La plataforma proporciona una superficie de capacidades integral para el análisis de datos a gran escala, incluyendo soporte para aprendizaje automático distribuido, integración de computación de alto rendimiento y procesamiento de datos en paralelo. Ofrece herramientas extensas para la gestión del ciclo de vida del clúster, perfilado de rendimiento y monitoreo en tiempo real de la ejecución de tareas. Los usuarios pueden desplegar estos entornos en diversas infraestructuras, incluyendo hardware local, proveedores de nube, sistemas en contenedores y clústeres de computación de alto rendimiento.
Bypasses database query layers by reading underlying storage files directly from distributed file systems.
This project is a cross-platform messaging SDK and client development library used to build custom Telegram applications. It functions as a comprehensive framework that manages network encryption, local data storage, and API communication, providing a C-compatible JSON interface that allows integration with any programming language. The library distinguishes itself by providing a full database manager for encrypted local caching and synchronized state, alongside a dedicated bot framework for creating interactive bots with business account integration. It enables the implementation of speciali
Retrieves specific segments of files from local storage to enable media streaming.
This project is a comprehensive Python coding guide and software engineering resource focused on professional development practices. It provides a detailed collection of idiomatic techniques, design patterns, and architectural strategies to improve code quality and maintainability. The guide emphasizes advanced design patterns such as dependency injection, data-driven design, and the application of SOLID principles for object-oriented design. It distinguishes itself by covering sophisticated structural strategies, including class-based decorators, the separation of interfaces from implementat
Implements memory-efficient file reading by processing large files in fixed-size chunks.
The Rust RFCs repository is the formal home for the Rust language evolution process, housing the structured design documents and community review mechanisms that govern changes to the Rust programming language, its compiler, and its standard library. It defines the complete lifecycle for proposing, discussing, and implementing substantial changes through RFC documents, from initial submission and community feedback through final comment periods and sub-team sign-offs. The repository codifies the governance and collaboration processes that shape Rust's development, including mechanisms for com
Defines the fundamental read operation for I/O streams in Rust's standard library.
google-drive-ocamlfuse is a FUSE-based filesystem that mounts a Google Drive account as a local directory, enabling standard file operations on cloud files. It bridges POSIX filesystem calls to the Google Drive API, allowing users to read, write, and manage files through their operating system's native file manager or command line. The project distinguishes itself through support for multiple simultaneous Google Drive accounts, each mounted as an independent local directory with separate authentication and cache state. It handles Google Docs, Sheets, and Slides by exporting them as read-only
Prefetches sequential file chunks into a local buffer to smooth latency during large file reads.
Reth is a modular, high-performance Ethereum execution layer client written in Rust. It serves as a full Ethereum node that syncs, validates, and serves blockchain data, functioning as an archive node implementation, a high-throughput RPC node server, and a snapshot sync tool. The project is built around a modular component architecture that allows assembling custom node behavior by swapping independent Rust crates for consensus, execution, mempool, and networking. The client distinguishes itself through a staged sync pipeline that downloads headers and bodies online before processing the res
Syncs RLP-encoded blocks from one or more files into the local chain state.
This is a cross-platform media processing library that reads, writes, encodes, and decodes media in both browser and server environments. It supports common container formats including ISOBMFF, Matroska, Ogg, MPEG-TS, and HLS, and handles codec operations through a combination of WebCodecs API and WebAssembly-based encoders. Media is processed in streaming pipelines that maintain constant memory usage and automatically apply backpressure from output speed to all upstream components. The library distinguishes itself through a plugin-based codec registration system that allows extending support
Reads media from files, URLs, or custom sources lazily with minimal memory overhead.
EZAudio es una librería de audio para plataformas Apple que proporciona interfaces estandarizadas para la captura de micrófono, reproducción de archivos y salida de hardware. Funciona como un procesador de audio de baja latencia y un framework de visualización diseñado para manipular buffers de audio y enrutar señales con un retraso mínimo. El proyecto cuenta con un renderizador de formas de onda acelerado por hardware para dibujar amplitudes de audio en tiempo real y gráficos dinámicos. También incluye un analizador de Transformada Rápida de Fourier que convierte muestras de audio del dominio del tiempo en datos del dominio de la frecuencia para el análisis espectral. La librería cubre una amplia gama de capacidades, incluyendo la grabación de audio digital en disco y la gestión de la reproducción de archivos de audio con controles de búsqueda y volumen. Admite el procesamiento de audio en tiempo real mediante el encadenamiento de efectos de audio y el enrutamiento de la entrada del micrófono directamente a la salida de hardware.
Supports loading audio files from storage and seeking through the data to extract specific segments.
Vis es un editor de texto modal basado en terminal que utiliza atajos de teclado de vi y un sistema de expresiones regulares estructurales. Funciona como un entorno programable donde Lua se utiliza para la configuración, mapeos de teclas personalizados y desarrollo de plugins. El editor se distingue por un sistema de resaltado de sintaxis basado en gramáticas de expresión de análisis (PEG) y un motor de coincidencia de patrones que trata el texto como una estructura para operaciones complejas de búsqueda y reemplazo. También se integra directamente con el shell del sistema, permitiendo a los usuarios enviar rangos de texto a comandos externos y capturar la salida resultante. El proyecto proporciona amplias capacidades para la manipulación de texto, incluyendo el uso de múltiples cursores y selecciones, un grafo dirigido para el historial de deshacer y rehacer no lineal, y una interfaz de múltiples ventanas renderizada mediante secuencias de escape VT-100. Los usuarios pueden definir movimientos y operadores personalizados a través de la API de scripting integrada. La aplicación se puede compilar en un único binario vinculado estáticamente para mayor portabilidad.
Reads file content into memory using standard read calls or memory-mapped loading for efficiency.
Este proyecto es un recurso educativo que proporciona un tutorial de desarrollo integral para escribir y cargar programas eBPF utilizando C, Go y Rust dentro del kernel de Linux. Sirve como una guía técnica para desarrollar lógica personalizada para ejecutar directamente en el kernel. Los materiales cubren dominios especializados incluyendo observabilidad y rastreo del kernel, implementación de seguridad para detección de intrusiones e ingeniería de red de alto rendimiento para filtrado de paquetes y balanceo de carga. También incluye manuales dedicados para el rastreo del kernel de Linux y el uso de kprobes, uprobes y tracepoints. El proyecto abarca una amplia gama de áreas de capacidad, como instrumentación del kernel, monitoreo y observabilidad del sistema, análisis de red y aplicación de seguridad. Además, se extiende a la depuración a nivel de hardware para GPUs y controladores, así como a la manipulación de sistemas de bajo nivel y gestión de recursos.
Replaces text in file read buffers before it reaches userspace to spoof data.
Velociraptor is a digital forensics and incident response platform, endpoint detection and response system, and visibility tool. It provides a query engine and remote forensic collector used to hunt for indicators of compromise and perform triage across a fleet of hosts. The system is distinguished by its specialized query language for interrogating host state and parsing binary files. It features a notebook environment that combines markdown documentation with executable query cells to standardize investigative workflows and enable collaborative reporting. The platform covers a wide range o
Enables reading specific files from nested containers using a defined path and member identifier.
GPAC is an open-source multimedia framework built around a pluggable filter graph pipeline, where modular processing units called filters connect into a directed graph to handle media workflows. At its core, the framework centers all media packaging and manipulation on the ISO Base Media File Format (ISOBMFF), with specialized tools for reading, writing, fragmenting, and encrypting MP4 and related containers. It also provides a declarative scene graph composition system for describing interactive multimedia scenes using MPEG-4 BIFS, X3D, SVG, or VRML syntax, alongside a hardware-accelerated re
Provides a filter for reading NHML-formatted media files.