Awesome GitHub RepositoriesText Processing

ripgrep is a command-line utility designed for searching through large file trees and source code repositories. It functions as a recursive text processor that traverses directories to locate and display matching patterns, serving as a high-performance alternative to traditional search tools. The tool distinguishes itself through a focus on execution speed and intelligent file handling. It utilizes a finite automata-based regular expression engine to ensure linear time complexity and employs hardware-level acceleration for literal byte sequence scanning. By integrating with version control sy

Nanoid is a library for generating unique, fixed-length identifiers designed for distributed systems and database indexing. It produces compact, URL-safe strings by mapping random byte values to a custom character set, allowing for consistent memory allocation and predictable indexing performance across independent nodes without the need for central coordination. The library distinguishes itself by utilizing system-level, cryptographically secure entropy sources to ensure that every generated identifier is statistically unpredictable. This approach provides resistance against collision attack

Colly is a web scraping framework and concurrent crawler written in Go. It provides a system for traversing web pages, following links, and extracting structured data from HTML and XML documents. The framework includes a distributed scraping engine designed to spread data collection tasks across multiple instances to increase throughput. It ensures compliance with website owner policies by automatically reading and respecting robots.txt files. The system manages request lifecycles through domain-based rate limiting, concurrency controls, and session management via a stateful cookie jar. It s

goquery is a Go HTML parsing library and CSS selector engine used to isolate and retrieve specific text or attributes from HTML documents. It functions as an HTML DOM manipulator that converts raw HTML strings into a structured tree for programmatic navigation and search. The library provides a fluent interface for chaining selection and filtering operations and utilizes a wrapper-based abstraction to simplify data extraction and manipulation of nodes. It employs an iterator-based processing mechanism to apply operations to every node within a matched selection. Its primary capabilities cove

Bleve is a search indexing engine library written in Go, designed to provide full-text search and document retrieval capabilities for embedded application data. It functions as a framework for indexing structured or unstructured information, allowing developers to build searchable collections that support complex query logic and data analysis. The engine distinguishes itself through a pluggable analysis pipeline that normalizes text before indexing, alongside support for vector similarity search to identify semantically related content. It utilizes finite-state transducer automata for efficie

ripgrep-all is a command-line utility that extends ripgrep to perform regular expression searches across binary files, compressed archives, and media formats. It functions as a universal text extractor that converts non-plain-text formats, such as PDFs, E-books, and Office documents, into searchable text. The tool uses a system of adapters to transform binary data into plain text and utilizes a local database to cache these extracted versions, accelerating repeated search operations. It identifies file types by analyzing header magic bytes rather than relying on file extensions. The project

YYText is an iOS rich text framework used for rendering and editing complex attributed text. It features an asynchronous text rendering engine that calculates layout on background threads to maintain interface performance, alongside an attributed text serializer for converting rich text structures into storable formats. The framework provides specialized tools for non-rectangular text layout, allowing text to wrap around custom container paths and exclusion shapes. It also supports advanced typography requirements, including vertical text formatting for East Asian languages and the applicatio

This project is a POSIX shell toolset providing utilities for parsing, formatting, interpreting, and validating shell scripts. It includes a parser that converts Bash and Zsh source code into structured syntax trees, a formatter for standardizing script layout, and a runtime interpreter for executing shell commands and script logic. The toolset supports dialect-aware parsing to handle multiple shell language specifications. It provides capabilities for static analysis, allowing shell source code to be converted into structured data for external manipulation or validation against specific dial

i18next is a JavaScript localization library and internationalization framework used to translate application text into multiple languages. It functions as a dynamic translation manager that handles translation resources, language detection, and the mapping of unique keys to localized strings. The system features a pluralization and interpolation engine that applies language-specific grammatical rules for numeric counts and injects dynamic variables into strings. It utilizes a plugin-based backend architecture to load and cache translation namespaces from various sources, including remote ser

Grex is a regular expression generator and Rust pattern library that synthesizes a single regular expression from a set of provided text test cases. It functions as a command-line tool and a library, utilizing a Rust-based engine to analyze commonalities across input strings to create matching patterns. The project distinguishes itself through Unicode-aware grapheme processing, ensuring consistent matching across diverse character sets and non-ASCII text. It also provides Python bindings to make its core Rust logic available within Python environments. The system covers pattern generalizatio

Peco is an interactive text filter and fuzzy finder for the terminal. It serves as a terminal user interface selection tool that filters standard input in real-time using fuzzy matching and regular expressions. The tool preserves and renders ANSI color escape sequences from piped input streams while performing matching logic on plain-text versions. It supports multi-stage filtering, allowing users to freeze result sets to create a new base for subsequent refinements. Capability areas include advanced search filtering with negative matching, multi-item selection, and the ability to pipe selec

DTCoreText is an iOS rich text engine and attributed string converter designed to render formatted HTML content natively. It transforms HTML strings into native text styles and layouts, allowing applications to display rich text without the overhead of a web view. The project functions as a CoreText HTML renderer that integrates HTML strings with the CoreText framework for high-performance rendering. It provides a lightweight alternative for displaying rich text within native application labels and text views. The engine includes an HTML-to-attributed string parser and a native text layout e

FlashText is a dictionary-based text processor and keyword extraction library designed for high-performance string searching and programmatic content replacement. It provides specialized utilities to identify and retrieve predefined terms from text or swap specific terms with replacement strings across large volumes of data. The project utilizes an Aho-Corasick string search implementation to enable multiple-pattern matching. This approach allows for single-pass text scanning and linear-time complexity search, ensuring processing time depends on the length of the input text rather than the si

Blackfriday este o bibliotecă Go pentru parsarea și conversia textului Markdown în HTML, LaTeX și alte formate structurate. Funcționează ca un procesor Markdown extensibil care transformă sintaxa în limbaje de marcare țintă. Proiectul se distinge prin arhitectura sa de randare pluggable, care permite producerea de diverse ținte de ieșire, cum ar fi stiluri de mesaje Slack, Confluence Wiki Markup și GitHub Flavored Markdown. Suportă extensii de sintaxă personalizate, inclusiv liste de definiții, note de subsol, autolink-uri și tăieri (strikethroughs). Procesorul include utilitare pentru generarea automată a cuprinsului și identificatori de ancoră siguri pentru URL-uri pentru titluri. De asemenea, dispune de un instrument de îmbunătățire a tipografiei care înlocuiește punctuația standard cu ghilimele curbe și linii profesionale. Sistemul oferă capabilități pentru producția completă de pagini web și generarea profesională de documente LaTeX.

PhoneNumberKit este un framework Swift pentru parsarea, formatarea și validarea numerelor de telefon internaționale conform standardelor globale de numerotare. Acesta oferă un sistem de tabele de căutare, parsere structurale și instrumente de validare pentru a gestiona complexitatea numerotării telefonice internaționale. Biblioteca convertește șirurile brute în obiecte structurate care conțin coduri de țară și numere naționale. Aceasta traduce codurile de apelare internaționale în nume complete de țări și verifică dacă șirurile numerelor de telefon sunt logic posibile și conforme cu planurile de numerotare regionale specifice. Proiectul include utilitare pentru transformarea cifrelor brute în layout-uri internaționale sau naționale standardizate. De asemenea, oferă capabilități pentru mascarea input-ului utilizatorului în timp real și afișarea placeholder-elor și a steagurilor specifice regiunii pe măsură ce utilizatorul tastează.

python-pinyin este o bibliotecă Python pentru transliterarea caracterelor chinezești simplificate și tradiționale în pinyin fonetic. Funcționează ca un sistem de transliterare care convertește textul, suportând în același timp sandhi-ul tonurilor și oferind utilitare pentru a transforma pinyin-ul între diferite formate, cum ar fi tonuri numerice, semne de accent sau inițiale fonetice. Biblioteca dispune de un resolver de caractere polifonice care analizează contextul cuvintelor din jur pentru a selecta pronunția corectă pentru caracterele cu sunete multiple. Include, de asemenea, un sistem de dicționar personalizabil care permite extinderea rezultatelor implicite de transliterare folosind mapări fonetice personalizate la nivel de caracter unic sau frază. Setul de instrumente acoperă operațiuni lingvistice mai largi, inclusiv extragerea componentelor fonetice precum inițialele și finalele, aplicarea diverselor stiluri fonetice și gestionarea caracterelor neconvertibile. Aceste capabilități sunt accesibile atât ca bibliotecă, cât și prin interfețe CLI pentru conversia textului și traducerea formatului tonurilor.

Chroma este un highlighter de sintaxă scris în Go care convertește codul sursă brut în text colorat sau HTML. Identifică limbajele de programare și token-urile folosind lexere specifice limbajului pentru a produce o ieșire evidențiată pentru diverse medii. Proiectul utilizează un sistem de colorizare bazat pe teme care decuplează tipurile de token-uri de culorile finale printr-un strat intermediar de mapare a stilurilor. Acest lucru permite teme de cod personalizate prin maparea categoriilor specifice de token-uri la culori de prim-plan și fundal. Sistemul acoperă identificarea limbajului, formatarea textului în terminal pentru vizualizatoare compatibile ANSI și prezentarea codului web prin generarea HTML cu numerotarea liniilor și clase CSS. Include, de asemenea, o interfață de linie de comandă pentru colorizarea fișierelor direct în terminal.

Goldmark este un parser și renderer de Markdown scris în Go, care convertește textul Markdown în HTML sau XHTML. Acesta implementează specificația CommonMark pentru a asigura un comportament de parsare consistent. Proiectul utilizează un registru modular de extensii, permițând adăugarea de sintaxe personalizate, cum ar fi tabele, liste de sarcini și note de subsol. Include, de asemenea, suport specializat pentru limbile CJK pentru a gestiona regulile specifice de rupere a liniilor și de accentuare pentru caracterele chinezești, japoneze și coreene. Biblioteca parsează textul într-un arbore sintactic abstract (AST) pentru analiza și modificarea programatică a documentelor. Capabilitățile sale includ link-area automată a URL-urilor și adreselor de e-mail, formatarea punctuației tipografice și atribuirea de atribute personalizate elementelor.

This is a TOML parser and serializer for the Go language. It serves as a data serialization library and configuration file mapper that encodes and decodes data between Go structures and the TOML configuration format. The library provides interfaces for custom type marshaling, allowing for specialized logic when parsing or serializing specific data types. It transforms structured objects into deterministic TOML documents for storage or transmission. The project covers a broad range of data processing capabilities, including structured value encoding, TOML data generation, and metadata inspect

go-humanize este o bibliotecă Go pentru convertirea numerelor brute, a dimensiunilor de octeți și a duratelor în șiruri de caractere în limbaj natural, pentru a îmbunătăți lizibilitatea pentru oameni. Proiectul oferă formatori specializați pentru dimensiunile de octeți folosind standardele SI sau IEC și un formator de timp relativ care transformă duratele în descrieri precum „acum trei zile”. Include, de asemenea, un formator de unități SI pentru convertirea valorilor numerice către și dinspre prefixele și simbolurile Sistemului Internațional de Unități. Dincolo de unitățile tehnice, biblioteca include utilitare în limba engleză pentru pluralizarea substantivelor, generarea numerelor ordinale și unirea listelor de cuvinte cu conjuncții gramaticale. Instrumentele numerice suplimentare gestionează separatoarele de mii, precizia zecimală și sufixele pentru numere mari.