7 dépôts
Sequential processing of text data to minimize memory consumption by avoiding loading entire files.
Distinct from Event-Based Stream Processing: The candidates provided are for event-based data streams, remote process stdin, or VCS commits, not general sequential text highlighting.
Explore 7 awesome GitHub repositories matching software engineering & architecture · Stream-Based Text Processing. Refine with filters or upvote what's useful.
PHP-Console-Highlighter est un surligneur de syntaxe et un formateur de code console conçu pour appliquer un codage couleur au code source PHP pour un affichage dans des environnements de terminal. Il fonctionne comme un utilitaire pour transformer du texte PHP brut en code visuellement structuré pour les interfaces en ligne de commande. L'outil permet la revue de code basée sur le terminal et fournit une sortie formatée pour les outils d'analyse statique PHP et les applications en ligne de commande. Il utilise la tokenisation basée sur regex et le mapping de couleurs de séquence ANSI pour traduire les jetons de syntaxe en texte coloré.
Processes input strings sequentially to apply highlighting without loading the entire file into memory.
Spark est une suite d'utilitaires en ligne de commande conçus pour rendre des jeux de données numériques sous forme de graphiques compacts utilisant des caractères Unicode. Il fonctionne comme un visualiseur de données de terminal et un outil de création de graphiques qui convertit des séquences de nombres en lignes de tendance visuelles au sein d'un environnement shell. L'outil génère des graphiques sparkline en mappant les plages de valeurs numériques à des caractères de bloc Unicode spécifiques. Il utilise une mise à l'échelle linéaire des valeurs pour normaliser les nombres d'entrée afin qu'ils s'adaptent aux hauteurs de caractères disponibles et traite les données séquentiellement à partir du flux d'entrée standard pour produire une sortie visuelle en temps réel. Ces capacités permettent la visualisation de données dans le terminal pour surveiller les métriques système et intégrer des graphiques visuels dans les rapports de scripts shell.
Processes numeric input sequentially from the standard input stream to minimize memory consumption.
htmlparser2 est une collection d'outils pour le parsing de balisage haute performance, la manipulation DOM et le traitement de flux incrémental. Il fonctionne comme un parseur HTML et XML qui convertit les chaînes de balisage en arbres d'objets structurés, aux côtés d'un parseur de balisage en flux conçu pour le traitement efficace en mémoire de grands documents. Le projet inclut une bibliothèque de manipulation DOM pour interroger, modifier et sérialiser des arbres de modèle objet de document. Il fournit également un parseur de flux web pour extraire des métadonnées structurées et des entrées à partir de flux RSS, RDF et Atom. La bibliothèque couvre de vastes capacités en parsing de données, incluant la conversion de documents en arbres DOM et l'exécution de workflows de web scraping. Ces outils permettent la recherche et la modification de structures de documents parsées avant qu'elles ne soient reconverties en chaînes.
Consumes markup data incrementally through a writable interface to process large documents without full memory loading.
JSON-java est une bibliothèque Java pour analyser et générer du texte JSON et le mapper vers des objets et collections Java. Elle fonctionne comme un framework de sérialisation pour convertir des instances de classe et des structures de données en chaînes JSON standardisées. Le projet inclut une implémentation de pointeur JSON pour récupérer des valeurs spécifiques à partir de documents en utilisant des représentations de chaîne ou de fragment d'URI. Il fournit également un convertisseur pour traduire des structures de données entre JSON et XML, ainsi qu'un traducteur pour transformer des données entre JSON et des formats web tels que les en-têtes HTTP, les cookies et les listes délimitées par des virgules. La bibliothèque couvre de larges capacités pour le traitement JSON, incluant la sérialisation et la désérialisation d'objets. Elle prend en charge l'analyse flexible de texte JSON en objets et la génération de documents JSON standardisés.
Processes large JSON documents using input and output streams to minimize memory usage.
This project is a collection of Go libraries designed to reduce the size of multiple web formats while preserving functional integrity. It serves as a high-performance text processor and multi-format asset compressor for shrinking HTML, CSS, JavaScript, JSON, SVG, and XML files by removing redundant characters. The tool is designed for both static batch processing and real-time use. It includes middleware capabilities to intercept and minify web responses on the fly based on MIME types or file extensions, allowing for content compression during active data streams. The processing suite cover
Implements stream-based text processing using reader and writer interfaces to maintain a low memory footprint for large assets.
Flex est un générateur de scanners et un générateur d'analyseurs lexicaux qui transforme les définitions d'expressions régulières en logiciels capables de convertir du texte d'entrée en jetons (tokens). Il génère principalement du code source C et C++ pour une utilisation dans le développement de compilateurs et d'interpréteurs. L'outil fournit un générateur spécifique pour produire des implémentations de scanners orientées objet sous forme de classes, permettant aux outils d'analyse lexicale de s'intégrer directement dans les projets logiciels C++. Il inclut également une chaîne d'outils de compilation croisée pour construire des implémentations de scanners pour des plateformes cibles différentes de la machine hôte. Le projet couvre des capacités fonctionnelles pour le suivi des colonnes d'entrée afin de prendre en charge des rapports d'erreurs précis et la gestion des fichiers de sauvegarde pour éviter les collisions de noms.
Implements memory chunking to minimize system calls while processing input text streams.
TinyOBJLoader is a single-header C++ library designed for parsing Wavefront OBJ files. It functions as a stream-based text parser that extracts vertex, normal, and texture data into structured arrays for use in graphics and physics engines. The project distinguishes itself as a high-performance geometry loader that utilizes multi-threading to distribute the processing of large-scale 3D environments across multiple CPU cores. It includes a mesh triangulator that converts complex polygons into triangles to ensure compatibility with standard graphics hardware. The library supports a variety of
Reads raw text input sequentially to minimize memory overhead when converting files into structured vertex arrays.