Awesome GitHub RepositoriesString Tokenization

Cleave.js is a JavaScript library that applies real-time visual formatting to form fields as users type. It provides specialized utilities to enforce visual patterns for credit cards, phone numbers, dates, times, and large numerals. The library includes predefined formatting rules for common data types, such as detecting credit card issuers to apply correct spacing and managing country-specific regional patterns for international phone numbers. It also supports large numeral grouping using Western, Indian, and Chinese numbering systems. Users can define custom input patterns using specific b

Compromise is a natural language processing library and rule-based engine designed for English text manipulation, analysis, and parsing. It provides a toolkit for tokenizing text, identifying parts of speech, and performing linguistic analysis to achieve semantic understanding of unstructured strings. The project distinguishes itself through its ability to programmatically transform grammar, such as modifying verb tenses, noun plurality, and adjective forms. It also functions as a named entity recognizer capable of extracting people, places, organizations, dates, and contact information from

This project is a regular expression lexer library and lexical analysis engine used to break input strings into typed token streams. It serves as a foundational component for constructing compilers or interpreters by identifying and categorizing substrings into discrete tokens. The library provides a token stream navigator featuring a cursor-based interface. This allows for sequential traversal of tokenized input and non-destructive lookahead, enabling the inspection of future tokens without advancing the internal position pointer. It includes specific support for recursive descent parsing t

Natural is a natural language processing library for Node.js that provides tools for text analysis, tokenization, and phonetic matching. It functions as a collection of specialized toolsets for word stemming, string similarity quantification, and pattern-based text classification. The library includes a phonetic sound analyzer that converts words into phonetic representations to identify matches based on sound rather than literal spelling. It also features a text classification engine that assigns categories to text inputs using trained models and pattern recognition. Additional capabilities

Fuzzywuzzy is a Python library and text processing utility designed to calculate similarity scores between strings. It functions as a text similarity scoring engine and an approximate string matching tool used to identify the closest textual matches within a list of candidate strings. The library provides a suite of tools for measuring the degree of similarity between pieces of text, accounting for typos and formatting differences. These capabilities include extracting the best match from a candidate list and performing fuzzy string matching through various scoring methods. The toolset cover

This repository contains the HTML specification, which defines the core standards for web page structuring, content organization, and document rendering. It establishes the fundamental algorithms for state-machine-based tokenization, tree construction for the document object model, and origin-based security isolation. The specification provides a framework for defining custom elements with independent lifecycles and registries. It also details the requirements for cross-document communication, session history management, and the synchronization of interface properties with content attributes.

path-to-regexp es un comparador de rutas HTTP y generador de expresiones regulares que transforma cadenas de ruta parametrizadas en expresiones regulares para comparar direcciones web. Funciona como un analizador de rutas de URL y compilador de patrones, permitiendo la conversión de plantillas de ruta legibles por humanos en expresiones funcionales para el enrutamiento. El proyecto proporciona capacidades para extraer parámetros con nombre y comodines de las URL según patrones de ruta definidos. También maneja el proceso inverso de generación de rutas dinámicas, transformando pares clave-valor en cadenas de ruta formateadas mediante la inyección de valores en marcadores de posición de parámetros definidos. La librería cubre una gama más amplia de utilidades de enrutamiento, incluido el análisis de rutas basado en tokens y la capacidad de definir delimitadores de parámetros personalizados. También admite la comparación controlada por anclaje para determinar si una expresión regular debe coincidir desde el principio o el final de una cadena de entrada.

This project is a PHP implementation of a CSS selector engine that transforms CSS selector strings into compatible XPath expressions for locating elements within documents. It serves as a converter and expression generator that maps CSS selection logic to the XPath query language. The library processes selectors through a pipeline involving lexer-based tokenization and recursive descent parsing to create an abstract syntax tree. It utilizes pattern-matching logic to handle child and sibling relationships, translating CSS pseudo-classes and selectors into functional XPath logic. These capabil

JSON5 is a parser and serializer for a human-readable configuration format that extends JSON. It serves as a JavaScript-based data parser that allows for a more flexible version of the JSON specification to simplify manual editing of data files. The project provides capabilities to support comments, trailing commas, and multi-line strings. It includes utilities to convert this extended syntax into standard JSON for compatibility with tools requiring strict specifications. The library covers data serialization, string parsing, and structural syntax validation. It also provides integration for

js-yaml is a JavaScript library providing a programmatic interface for parsing and dumping YAML data. It functions as a parser and serializer that converts YAML strings into JavaScript objects and transforms JavaScript objects back into YAML format. The library includes a command-line interface for parsing or dumping YAML data via direct input or data pipes. It also features an abstract syntax tree transformer to modify the structure of data during serialization. The project provides capabilities for multi-document processing and the definition of custom schemas and tags to handle specialize

Rainmeter is a Windows desktop widget engine that renders customizable skins and interactive widgets directly on the desktop, supporting live data feeds and user interaction. It functions as a desktop customization platform and skin authoring framework, allowing users to create widgets by defining data sources and visual elements with full style and layout control. The engine includes a Lua scripting runtime for extending widget functionality with custom logic and data processing, and provides a plugin SDK with a C/C++ API for building native plugins that add new data sources or rendering capa

This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation

sds es una biblioteca de cadenas dinámicas en C que proporciona un envoltorio de gestión de memoria para cadenas asignadas en el heap. Implementa un almacenamiento seguro para datos binarios (binary-safe) mediante el seguimiento explícito de la longitud de la cadena, lo que permite manejar caracteres nulos dentro de los datos. La biblioteca destaca por su arquitectura de memoria, que utiliza punteros a funciones intercambiables para la asignación y liberación, permitiendo la integración de gestores de memoria personalizados. Utiliza el seguimiento de longitud almacenado en la cabecera para obtener la longitud en tiempo constante y mantiene un relleno de búfer terminado en nulo para garantizar la compatibilidad con las funciones estándar de cadenas en C. El kit de herramientas cubre una amplia gama de capacidades de manipulación de cadenas, incluyendo concatenación, tokenización, unión y extracción de rangos. También ofrece utilidades para la mutación de búferes in-place, como recorte y ajuste, e incluye alternativas optimizadas de formato de cadenas frente a las funciones print estándar.

Globalize es una librería de internacionalización para JavaScript y un motor de localización Unicode CLDR. Proporciona un kit de herramientas para formatear fechas, números y monedas utilizando el Unicode Common Locale Data Repository y las zonas horarias de IANA. El proyecto cuenta con un compilador de localización en tiempo de compilación que precompila reglas en formateadores estáticos para reducir la sobrecarga en tiempo de ejecución y el tamaño del bundle. Incluye un sistema para analizar y formatear cadenas complejas utilizando la sintaxis ICU MessageFormat, admitiendo variables, pluralización e inflexiones de género. La librería cubre una amplia superficie de capacidades de localización, incluyendo el análisis bidireccional de fechas y horas, la tokenización de números y monedas, y el formato de tiempo relativo. Gestiona la carga de datos locales, la configuración de idioma en toda la aplicación y las cadenas de herencia de mensajes para resolver claves de traducción faltantes.

cxxopts es un analizador de línea de comandos C++ de solo cabecera utilizado para definir opciones requeridas, valores predeterminados y argumentos posicionales para aplicaciones de consola. Funciona como una utilidad ligera para analizar argumentos de línea de comandos en valores tipados utilizando banderas cortas y largas, y generando automáticamente mensajes de ayuda y documentación formateados. La biblioteca proporciona capacidades para la especificación de argumentos, permitiendo la definición de descripciones de opciones, tipos y banderas booleanas. Admite la recopilación de opciones de múltiples valores en contenedores, la gestión de valores predeterminados para opciones omitidas y la asignación de argumentos sin bandera a nombres específicos según su secuencia. La herramienta incluye validación para las especificaciones de opciones e identifica argumentos no reconocidos. Maneja los errores a través de excepciones tipadas durante la fase de análisis.

gray-matter es una librería para separar, analizar y serializar datos de configuración estructurados dentro de documentos basados en texto. Funciona como un extractor de metadatos de documentos que aísla bloques estructurados del cuerpo principal de un archivo y una librería de serialización que convierte objetos de datos de nuevo en cadenas formateadas. El proyecto soporta la extracción de bloques de metadatos YAML, JSON y TOML desde el inicio de cadenas o archivos. Incluye mecanismos para identificar la presencia de metadatos y determinar el lenguaje de formato específico utilizado basándose en los caracteres que siguen al delimitador de apertura. El sistema es extensible a través de un motor de análisis basado en plugins y registro de analizadores personalizados, permitiendo lógica definida por el usuario para manejar lenguajes de metadatos no estándar. Sus capacidades cubren la identificación de lenguajes de metadatos, extracción de metadatos de archivos y serialización simétrica para reconstruir formatos de documentos originales.

sqlparse es una biblioteca de Python para el análisis y manipulación programática de sentencias SQL. Proporciona un analizador no validador que descompone el texto SQL en tokens y una utilidad para dividir cadenas que contienen múltiples consultas en sentencias individuales. El proyecto incluye un formateador de código que reorganiza las sentencias SQL utilizando sangría consistente y mayúsculas en palabras clave. También proporciona mecanismos para automatizar este proceso de formateo y linting a través de hooks de control de versiones para mantener la consistencia del código.

TransformerLens is a library for mechanistic interpretability research designed to reverse engineer the learned algorithms within large language models. It provides a standardized framework for wrapping diverse transformer architectures, allowing researchers to extract, manipulate, and analyze internal activations and weights through a consistent interface. The project distinguishes itself through a comprehensive system of activation hooks that can capture, patch, and ablate internal tensors during the forward pass. It includes specialized utilities for decomposing fused projections, material