7 Repos
Sequential processing of text data to minimize memory consumption by avoiding loading entire files.
Distinct from Event-Based Stream Processing: The candidates provided are for event-based data streams, remote process stdin, or VCS commits, not general sequential text highlighting.
Explore 7 awesome GitHub repositories matching software engineering & architecture · Stream-Based Text Processing. Refine with filters or upvote what's useful.
PHP-Console-Highlighter ist ein Syntax-Highlighter und Konsolen-Code-Formatter, der entwickelt wurde, um PHP-Quellcode für die Anzeige in Terminalumgebungen farblich zu kodieren. Er fungiert als Utility, um einfachen PHP-Text in visuell strukturierten Code für Kommandozeilen-Interfaces zu transformieren. Das Tool ermöglicht terminalbasiertes Code-Review und bietet formatierte Ausgaben für PHP-Statik-Analyse-Tools und Kommandozeilenanwendungen. Es nutzt Regex-basiertes Tokenizing und ANSI-Sequenz-Farbmapping, um Syntax-Token in farbigen Text zu übersetzen.
Processes input strings sequentially to apply highlighting without loading the entire file into memory.
Spark ist eine Suite von Kommandozeilen-Dienstprogrammen, die darauf ausgelegt sind, numerische Datensätze als kompakte visuelle Graphen unter Verwendung von Unicode-Zeichen darzustellen. Es fungiert als Terminal-Datenvisualisierer und Charting-Tool, das Zahlenfolgen in visuelle Trendlinien innerhalb einer Shell-Umgebung umwandelt. Das Tool generiert Sparkline-Graphen, indem es numerische Wertebereiche auf spezifische Unicode-Blockzeichen abbildet. Es nutzt lineare Werteskalierung, um Eingabezahlen zu normalisieren, damit sie in die verfügbaren Zeichenhöhen passen, und verarbeitet Daten sequentiell aus dem Standard-Input-Stream, um eine visuelle Echtzeitausgabe zu erzeugen. Diese Funktionen ermöglichen die Terminal-Datenvisualisierung zur Überwachung von Systemmetriken und zur Einbindung visueller Graphen in Shell-Skript-Berichte.
Processes numeric input sequentially from the standard input stream to minimize memory consumption.
htmlparser2 is a collection of tools for high-performance markup parsing, DOM manipulation, and incremental stream processing. It functions as an HTML and XML parser that converts markup strings into structured object trees, alongside a streaming markup parser designed for memory-efficient processing of large documents. The project includes a DOM manipulation library for querying, modifying, and serializing document object model trees. It also provides a web feed parser to extract structured metadata and entries from RSS, RDF, and Atom feeds. The library covers broad capabilities in data par
Consumes markup data incrementally through a writable interface to process large documents without full memory loading.
JSON-java ist eine Java-Bibliothek zum Parsen und Generieren von JSON-Text und dessen Mapping auf Java-Objekte und -Sammlungen. Sie fungiert als Serialisierungs-Framework zur Umwandlung von Klasseninstanzen und Datenstrukturen in standardisierte JSON-Strings. Das Projekt enthält eine JSON-Pointer-Implementierung zum Abrufen spezifischer Werte aus Dokumenten unter Verwendung von String- oder URI-Fragment-Repräsentationen. Es bietet zudem einen Konverter zur Übersetzung von Datenstrukturen zwischen JSON und XML sowie einen Übersetzer zur Transformation von Daten zwischen JSON und Webformaten wie HTTP-Headern, Cookies und kommagetrennten Listen. Die Bibliothek deckt breite Funktionen für die JSON-Verarbeitung ab, einschließlich Objekt-Serialisierung und -Deserialisierung. Sie unterstützt flexibles Parsen von JSON-Text in Objekte und die Generierung standardisierter JSON-Dokumente.
Processes large JSON documents using input and output streams to minimize memory usage.
This project is a collection of Go libraries designed to reduce the size of multiple web formats while preserving functional integrity. It serves as a high-performance text processor and multi-format asset compressor for shrinking HTML, CSS, JavaScript, JSON, SVG, and XML files by removing redundant characters. The tool is designed for both static batch processing and real-time use. It includes middleware capabilities to intercept and minify web responses on the fly based on MIME types or file extensions, allowing for content compression during active data streams. The processing suite cover
Implements stream-based text processing using reader and writer interfaces to maintain a low memory footprint for large assets.
Flex ist ein Scanner-Generator und lexikalischer Analysator-Generator, der reguläre Ausdrucksdefinitionen in Software umwandelt, die Eingabetext in Tokens konvertieren kann. Er generiert primär C- und C++-Quellcode für die Entwicklung von Compilern und Interpretern. Das Tool bietet einen spezifischen Generator zur Erzeugung objektorientierter Scanner-Implementierungen als Klassen, was es ermöglicht, lexikalische Analysetools direkt in C++-Softwareprojekte zu integrieren. Es enthält zudem eine Cross-Compilation-Toolchain, um Scanner-Implementierungen für Zielplattformen zu erstellen, die sich vom Host-Rechner unterscheiden. Das Projekt deckt funktionale Fähigkeiten für das Spalten-Tracking bei Eingaben zur Unterstützung präziser Fehlerberichterstattung sowie die Verwaltung von Backup-Dateien zur Vermeidung von Namenskollisionen ab.
Implements memory chunking to minimize system calls while processing input text streams.
TinyOBJLoader is a single-header C++ library designed for parsing Wavefront OBJ files. It functions as a stream-based text parser that extracts vertex, normal, and texture data into structured arrays for use in graphics and physics engines. The project distinguishes itself as a high-performance geometry loader that utilizes multi-threading to distribute the processing of large-scale 3D environments across multiple CPU cores. It includes a mesh triangulator that converts complex polygons into triangles to ensure compatibility with standard graphics hardware. The library supports a variety of
Reads raw text input sequentially to minimize memory overhead when converting files into structured vertex arrays.