Awesome GitHub RepositoriesString Tokenization

Cleave.js is a JavaScript library that applies real-time visual formatting to form fields as users type. It provides specialized utilities to enforce visual patterns for credit cards, phone numbers, dates, times, and large numerals. The library includes predefined formatting rules for common data types, such as detecting credit card issuers to apply correct spacing and managing country-specific regional patterns for international phone numbers. It also supports large numeral grouping using Western, Indian, and Chinese numbering systems. Users can define custom input patterns using specific b

Compromise is a natural language processing library and rule-based engine designed for English text manipulation, analysis, and parsing. It provides a toolkit for tokenizing text, identifying parts of speech, and performing linguistic analysis to achieve semantic understanding of unstructured strings. The project distinguishes itself through its ability to programmatically transform grammar, such as modifying verb tenses, noun plurality, and adjective forms. It also functions as a named entity recognizer capable of extracting people, places, organizations, dates, and contact information from

This project is a regular expression lexer library and lexical analysis engine used to break input strings into typed token streams. It serves as a foundational component for constructing compilers or interpreters by identifying and categorizing substrings into discrete tokens. The library provides a token stream navigator featuring a cursor-based interface. This allows for sequential traversal of tokenized input and non-destructive lookahead, enabling the inspection of future tokens without advancing the internal position pointer. It includes specific support for recursive descent parsing t

Natural is a natural language processing library for Node.js that provides tools for text analysis, tokenization, and phonetic matching. It functions as a collection of specialized toolsets for word stemming, string similarity quantification, and pattern-based text classification. The library includes a phonetic sound analyzer that converts words into phonetic representations to identify matches based on sound rather than literal spelling. It also features a text classification engine that assigns categories to text inputs using trained models and pattern recognition. Additional capabilities

Fuzzywuzzy is a Python library and text processing utility designed to calculate similarity scores between strings. It functions as a text similarity scoring engine and an approximate string matching tool used to identify the closest textual matches within a list of candidate strings. The library provides a suite of tools for measuring the degree of similarity between pieces of text, accounting for typos and formatting differences. These capabilities include extracting the best match from a candidate list and performing fuzzy string matching through various scoring methods. The toolset cover

This repository contains the HTML specification, which defines the core standards for web page structuring, content organization, and document rendering. It establishes the fundamental algorithms for state-machine-based tokenization, tree construction for the document object model, and origin-based security isolation. The specification provides a framework for defining custom elements with independent lifecycles and registries. It also details the requirements for cross-document communication, session history management, and the synchronization of interface properties with content attributes.

path-to-regexp एक HTTP रूट मैचर और रेगुलर एक्सप्रेशन जनरेटर है जो वेब पतों से मिलान करने के लिए पैरामीटराइज़्ड पाथ स्ट्रिंग्स को रेगुलर एक्सप्रेशंस में बदलता है। यह एक URL रूट पार्सर और पैटर्न कंपाइलर के रूप में कार्य करता है, जो रूटिंग के लिए मानव-पठनीय पाथ टेम्प्लेट्स को कार्यात्मक एक्सप्रेशंस में बदलने में सक्षम बनाता है। यह प्रोजेक्ट परिभाषित पाथ पैटर्न्स के आधार पर URLs से नामित पैरामीटर्स और वाइल्डकार्ड्स निकालने के लिए क्षमताएं प्रदान करता है। यह डायनामिक पाथ जनरेशन की रिवर्स प्रक्रिया को भी संभालता है, जो परिभाषित पैरामीटर प्लेसहोल्डर्स में मानों को इंजेक्ट करके की-वैल्यू पेयर्स को फॉर्मेट किए गए पाथ स्ट्रिंग्स में बदलता है। यह लाइब्रेरी टोकन-आधारित पाथ पार्सिंग और कस्टम पैरामीटर डेलिमिटर्स को परिभाषित करने की क्षमता सहित रूटिंग यूटिलिटीज़ की एक विस्तृत श्रृंखला को कवर करती है। यह यह निर्धारित करने के लिए एंकर-नियंत्रित मिलान को भी सपोर्ट करती है कि क्या एक रेगुलर एक्सप्रेशन को इनपुट स्ट्रिंग की शुरुआत या अंत से मेल खाना चाहिए।

This project is a PHP implementation of a CSS selector engine that transforms CSS selector strings into compatible XPath expressions for locating elements within documents. It serves as a converter and expression generator that maps CSS selection logic to the XPath query language. The library processes selectors through a pipeline involving lexer-based tokenization and recursive descent parsing to create an abstract syntax tree. It utilizes pattern-matching logic to handle child and sibling relationships, translating CSS pseudo-classes and selectors into functional XPath logic. These capabil

JSON5 is a parser and serializer for a human-readable configuration format that extends JSON. It serves as a JavaScript-based data parser that allows for a more flexible version of the JSON specification to simplify manual editing of data files. The project provides capabilities to support comments, trailing commas, and multi-line strings. It includes utilities to convert this extended syntax into standard JSON for compatibility with tools requiring strict specifications. The library covers data serialization, string parsing, and structural syntax validation. It also provides integration for

js-yaml is a JavaScript library providing a programmatic interface for parsing and dumping YAML data. It functions as a parser and serializer that converts YAML strings into JavaScript objects and transforms JavaScript objects back into YAML format. The library includes a command-line interface for parsing or dumping YAML data via direct input or data pipes. It also features an abstract syntax tree transformer to modify the structure of data during serialization. The project provides capabilities for multi-document processing and the definition of custom schemas and tags to handle specialize

Rainmeter is a Windows desktop widget engine that renders customizable skins and interactive widgets directly on the desktop, supporting live data feeds and user interaction. It functions as a desktop customization platform and skin authoring framework, allowing users to create widgets by defining data sources and visual elements with full style and layout control. The engine includes a Lua scripting runtime for extending widget functionality with custom logic and data processing, and provides a plugin SDK with a C/C++ API for building native plugins that add new data sources or rendering capa

This is an open-source, crowd-sourced wiki textbook that teaches Linux system programming in C. It covers the core operating system concepts of process management through the fork-exec-wait model, dynamic memory allocation using implicit free list heap allocators, inode-based file systems, inter-process communication via pipes and shared memory, POSIX threads with synchronization primitives, signal-based asynchronous notification, virtual memory with page table translation, and runtime diagnostics using Valgrind and GDB. The textbook distinguishes itself by providing practical, implementation

sds एक C डायनामिक स्ट्रिंग लाइब्रेरी है जो हीप-एलोकेटेड स्ट्रिंग्स के लिए मेमोरी मैनेजमेंट रैपर प्रदान करती है। यह स्ट्रिंग की लंबाई को स्पष्ट रूप से ट्रैक करके बाइनरी-सेफ स्टोरेज लागू करती है, जिससे लाइब्रेरी डेटा के भीतर नल (null) कैरेक्टर को संभालने में सक्षम होती है। यह लाइब्रेरी एक ऐसी मेमोरी आर्किटेक्चर के माध्यम से खुद को अलग करती है जो एलोकेशन और फ्रीिंग के लिए इंटरचेंजेबल फंक्शन पॉइंटर्स का उपयोग करती है, जिससे कस्टम मेमोरी मैनेजरों का एकीकरण संभव हो जाता है। यह निरंतर-समय (constant-time) में लंबाई पुनर्प्राप्ति प्रदान करने के लिए हेडर-स्टोर्ड लेंथ ट्रैकिंग का उपयोग करती है और मानक C स्ट्रिंग फ़ंक्शंस के साथ संगतता सुनिश्चित करने के लिए नल-टर्मिनेटेड बफ़र पैडिंग बनाए रखती है। यह टूलकिट स्ट्रिंग हेरफेर (manipulation) क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है, जिसमें कॉनकैटिनेशन, टोकनाइज़ेशन, जॉइनिंग और रेंज एक्सट्रैक्शन शामिल हैं। यह इन-प्लेस बफ़र म्यूटेशन के लिए उपयोगिताएँ भी प्रदान करती है, जैसे कि ट्रिमिंग और क्रॉपिंग, और इसमें मानक प्रिंट फ़ंक्शंस के लिए ऑप्टिमाइज़्ड स्ट्रिंग फ़ॉर्मेटिंग विकल्प शामिल हैं।

Globalize is a JavaScript internationalization library and Unicode CLDR localization engine. It provides a toolkit for formatting dates, numbers, and currencies using the Unicode Common Locale Data Repository and IANA time zones. The project features a build-time localization compiler that precompiles rules into static formatters to reduce runtime overhead and bundle size. It includes a system for parsing and formatting complex strings using the ICU MessageFormat syntax, supporting variables, pluralization, and gender inflections. The library covers a broad surface of localization capabiliti

cxxopts is a header-only C++ command line parser used to define required options, default values, and positional arguments for console applications. It functions as a lightweight utility for parsing command line arguments into typed values using short and long flags and automatically generating formatted help messages and documentation. The library provides capabilities for argument specification, allowing the definition of option descriptions, types, and boolean flags. It supports multi-value option collection into containers, default value management for omitted options, and the mapping of

gray-matter टेक्स्ट-आधारित दस्तावेजों के भीतर संरचित कॉन्फ़िगरेशन डेटा को अलग करने, पार्स करने और सीरियलाइज़ करने के लिए एक लाइब्रेरी है। यह एक डॉक्यूमेंट मेटाडेटा एक्सट्रैक्टर के रूप में कार्य करता है जो फाइल के मुख्य भाग से संरचित ब्लॉकों को अलग करता है, और एक सीरियलाइजेशन लाइब्रेरी के रूप में जो डेटा ऑब्जेक्ट्स को वापस स्वरूपित स्ट्रिंग्स में परिवर्तित करता है। यह प्रोजेक्ट स्ट्रिंग्स या फाइलों की शुरुआत से YAML, JSON और TOML मेटाडेटा ब्लॉकों के निष्कर्षण का समर्थन करता है। इसमें मेटाडेटा की उपस्थिति की पहचान करने और शुरुआती डेलिमिटर के बाद के वर्णों के आधार पर उपयोग की जाने वाली विशिष्ट स्वरूपण भाषा निर्धारित करने के लिए तंत्र शामिल हैं। सिस्टम एक प्लग-इन आधारित पार्सिंग इंजन और कस्टम पार्सर पंजीकरण के माध्यम से विस्तार योग्य है, जो गैर-मानक मेटाडेटा भाषाओं को संभालने के लिए उपयोगकर्ता-परिभाषित लॉजिक की अनुमति देता है। इसकी क्षमताएं मेटाडेटा भाषा पहचान, फाइल मेटाडेटा निष्कर्षण और मूल दस्तावेज़ प्रारूपों को पुनर्निर्माण करने के लिए सममित सीरियलाइजेशन को कवर करती हैं।

sqlparse is a Python library for the programmatic analysis and manipulation of SQL statements. It provides a non-validating parser that breaks down SQL text into tokens and a utility to divide strings containing multiple queries into individual statements. The project includes a code formatter that reorganizes SQL statements using consistent indentation and keyword casing. It also provides mechanisms for automating this formatting and linting process through version control hooks to maintain code consistency.

TransformerLens is a library for mechanistic interpretability research designed to reverse engineer the learned algorithms within large language models. It provides a standardized framework for wrapping diverse transformer architectures, allowing researchers to extract, manipulate, and analyze internal activations and weights through a consistent interface. The project distinguishes itself through a comprehensive system of activation hooks that can capture, patch, and ablate internal tensors during the forward pass. It includes specialized utilities for decomposing fused projections, material