7 repositorios
Sequential processing of text data to minimize memory consumption by avoiding loading entire files.
Distinct from Event-Based Stream Processing: The candidates provided are for event-based data streams, remote process stdin, or VCS commits, not general sequential text highlighting.
Explore 7 awesome GitHub repositories matching software engineering & architecture · Stream-Based Text Processing. Refine with filters or upvote what's useful.
PHP-Console-Highlighter es un resaltador de sintaxis y formateador de código de consola diseñado para aplicar codificación de colores al código fuente PHP para su visualización en entornos de terminal. Funciona como una utilidad para transformar texto PHP plano en código visualmente estructurado para interfaces de línea de comandos. La herramienta permite la revisión de código basada en terminal y proporciona una salida formateada para herramientas de análisis estático de PHP y aplicaciones de línea de comandos. Utiliza tokenización basada en regex y mapeo de colores de secuencias ANSI para traducir tokens de sintaxis en texto coloreado.
Processes input strings sequentially to apply highlighting without loading the entire file into memory.
Spark es un conjunto de utilidades de línea de comandos diseñadas para renderizar datasets numéricos como gráficos visuales compactos utilizando caracteres Unicode. Funciona como un visualizador de datos de terminal y herramienta de gráficos que convierte secuencias de números en líneas de tendencia visuales dentro de un entorno de shell. La herramienta genera gráficos sparkline mapeando rangos de valores numéricos a caracteres de bloque Unicode específicos. Utiliza escalado de valores lineal para normalizar los números de entrada para que quepan dentro de las alturas de caracteres disponibles y procesa los datos secuencialmente desde el flujo de entrada estándar para producir una salida visual en tiempo real. Estas capacidades permiten la visualización de datos en terminal para monitorear métricas del sistema e incorporar gráficos visuales en informes de scripts de shell.
Processes numeric input sequentially from the standard input stream to minimize memory consumption.
htmlparser2 es una colección de herramientas para el análisis de marcado de alto rendimiento, manipulación de DOM y procesamiento de flujos incremental. Funciona como un analizador de HTML y XML que convierte cadenas de marcado en árboles de objetos estructurados, junto con un analizador de marcado de flujo diseñado para el procesamiento eficiente en memoria de documentos grandes. El proyecto incluye una biblioteca de manipulación de DOM para consultar, modificar y serializar árboles de modelos de objetos de documentos. También proporciona un analizador de feeds web para extraer metadatos estructurados y entradas de feeds RSS, RDF y Atom. La biblioteca cubre amplias capacidades en el análisis de datos, incluyendo la conversión de documentos a árboles DOM y la ejecución de flujos de trabajo de web scraping. Estas herramientas permiten la búsqueda y modificación de estructuras de documentos analizados antes de que se conviertan de nuevo en cadenas.
Consumes markup data incrementally through a writable interface to process large documents without full memory loading.
JSON-java es una biblioteca de Java para analizar y generar texto JSON y mapearlo a objetos y colecciones de Java. Funciona como un framework de serialización para convertir instancias de clase y estructuras de datos en cadenas JSON estandarizadas. El proyecto incluye una implementación de puntero JSON para recuperar valores específicos de documentos utilizando representaciones de cadena o fragmentos de URI. También proporciona un convertidor para traducir estructuras de datos entre JSON y XML, así como un traductor para transformar datos entre JSON y formatos web como cabeceras HTTP, cookies y listas delimitadas por comas. La biblioteca cubre capacidades amplias para el procesamiento de JSON, incluyendo serialización y deserialización de objetos. Soporta el análisis flexible de texto JSON en objetos y la generación de documentos JSON estandarizados.
Processes large JSON documents using input and output streams to minimize memory usage.
This project is a collection of Go libraries designed to reduce the size of multiple web formats while preserving functional integrity. It serves as a high-performance text processor and multi-format asset compressor for shrinking HTML, CSS, JavaScript, JSON, SVG, and XML files by removing redundant characters. The tool is designed for both static batch processing and real-time use. It includes middleware capabilities to intercept and minify web responses on the fly based on MIME types or file extensions, allowing for content compression during active data streams. The processing suite cover
Implements stream-based text processing using reader and writer interfaces to maintain a low memory footprint for large assets.
Flex es un generador de escáneres y generador de analizadores léxicos que transforma definiciones de expresiones regulares en software capaz de convertir texto de entrada en tokens. Genera principalmente código fuente en C y C++ para su uso en el desarrollo de compiladores e intérpretes. La herramienta proporciona un generador específico para producir implementaciones de escáner orientadas a objetos como clases, permitiendo que las herramientas de análisis léxico se integren directamente en proyectos de software en C++. También incluye una cadena de herramientas de compilación cruzada para construir implementaciones de escáner para plataformas de destino diferentes a la máquina anfitriona. El proyecto cubre capacidades funcionales para el seguimiento de columnas de entrada para soportar informes de error precisos y gestión de archivos de respaldo para evitar colisiones de nombres.
Implements memory chunking to minimize system calls while processing input text streams.
TinyOBJLoader is a single-header C++ library designed for parsing Wavefront OBJ files. It functions as a stream-based text parser that extracts vertex, normal, and texture data into structured arrays for use in graphics and physics engines. The project distinguishes itself as a high-performance geometry loader that utilizes multi-threading to distribute the processing of large-scale 3D environments across multiple CPU cores. It includes a mesh triangulator that converts complex polygons into triangles to ensure compatibility with standard graphics hardware. The library supports a variety of
Reads raw text input sequentially to minimize memory overhead when converting files into structured vertex arrays.