Awesome GitHub RepositoriesText Processing

ripgrep is a command-line utility designed for searching through large file trees and source code repositories. It functions as a recursive text processor that traverses directories to locate and display matching patterns, serving as a high-performance alternative to traditional search tools. The tool distinguishes itself through a focus on execution speed and intelligent file handling. It utilizes a finite automata-based regular expression engine to ensure linear time complexity and employs hardware-level acceleration for literal byte sequence scanning. By integrating with version control sy

Nanoid is a library for generating unique, fixed-length identifiers designed for distributed systems and database indexing. It produces compact, URL-safe strings by mapping random byte values to a custom character set, allowing for consistent memory allocation and predictable indexing performance across independent nodes without the need for central coordination. The library distinguishes itself by utilizing system-level, cryptographically secure entropy sources to ensure that every generated identifier is statistically unpredictable. This approach provides resistance against collision attack

Colly is a web scraping framework and concurrent crawler written in Go. It provides a system for traversing web pages, following links, and extracting structured data from HTML and XML documents. The framework includes a distributed scraping engine designed to spread data collection tasks across multiple instances to increase throughput. It ensures compliance with website owner policies by automatically reading and respecting robots.txt files. The system manages request lifecycles through domain-based rate limiting, concurrency controls, and session management via a stateful cookie jar. It s

goquery is a Go HTML parsing library and CSS selector engine used to isolate and retrieve specific text or attributes from HTML documents. It functions as an HTML DOM manipulator that converts raw HTML strings into a structured tree for programmatic navigation and search. The library provides a fluent interface for chaining selection and filtering operations and utilizes a wrapper-based abstraction to simplify data extraction and manipulation of nodes. It employs an iterator-based processing mechanism to apply operations to every node within a matched selection. Its primary capabilities cove

Bleve is a search indexing engine library written in Go, designed to provide full-text search and document retrieval capabilities for embedded application data. It functions as a framework for indexing structured or unstructured information, allowing developers to build searchable collections that support complex query logic and data analysis. The engine distinguishes itself through a pluggable analysis pipeline that normalizes text before indexing, alongside support for vector similarity search to identify semantically related content. It utilizes finite-state transducer automata for efficie

ripgrep-all is a command-line utility that extends ripgrep to perform regular expression searches across binary files, compressed archives, and media formats. It functions as a universal text extractor that converts non-plain-text formats, such as PDFs, E-books, and Office documents, into searchable text. The tool uses a system of adapters to transform binary data into plain text and utilizes a local database to cache these extracted versions, accelerating repeated search operations. It identifies file types by analyzing header magic bytes rather than relying on file extensions. The project

YYText is an iOS rich text framework used for rendering and editing complex attributed text. It features an asynchronous text rendering engine that calculates layout on background threads to maintain interface performance, alongside an attributed text serializer for converting rich text structures into storable formats. The framework provides specialized tools for non-rectangular text layout, allowing text to wrap around custom container paths and exclusion shapes. It also supports advanced typography requirements, including vertical text formatting for East Asian languages and the applicatio

This project is a POSIX shell toolset providing utilities for parsing, formatting, interpreting, and validating shell scripts. It includes a parser that converts Bash and Zsh source code into structured syntax trees, a formatter for standardizing script layout, and a runtime interpreter for executing shell commands and script logic. The toolset supports dialect-aware parsing to handle multiple shell language specifications. It provides capabilities for static analysis, allowing shell source code to be converted into structured data for external manipulation or validation against specific dial

i18next is a JavaScript localization library and internationalization framework used to translate application text into multiple languages. It functions as a dynamic translation manager that handles translation resources, language detection, and the mapping of unique keys to localized strings. The system features a pluralization and interpolation engine that applies language-specific grammatical rules for numeric counts and injects dynamic variables into strings. It utilizes a plugin-based backend architecture to load and cache translation namespaces from various sources, including remote ser

Grex is a regular expression generator and Rust pattern library that synthesizes a single regular expression from a set of provided text test cases. It functions as a command-line tool and a library, utilizing a Rust-based engine to analyze commonalities across input strings to create matching patterns. The project distinguishes itself through Unicode-aware grapheme processing, ensuring consistent matching across diverse character sets and non-ASCII text. It also provides Python bindings to make its core Rust logic available within Python environments. The system covers pattern generalizatio

Peco is an interactive text filter and fuzzy finder for the terminal. It serves as a terminal user interface selection tool that filters standard input in real-time using fuzzy matching and regular expressions. The tool preserves and renders ANSI color escape sequences from piped input streams while performing matching logic on plain-text versions. It supports multi-stage filtering, allowing users to freeze result sets to create a new base for subsequent refinements. Capability areas include advanced search filtering with negative matching, multi-item selection, and the ability to pipe selec

DTCoreText is an iOS rich text engine and attributed string converter designed to render formatted HTML content natively. It transforms HTML strings into native text styles and layouts, allowing applications to display rich text without the overhead of a web view. The project functions as a CoreText HTML renderer that integrates HTML strings with the CoreText framework for high-performance rendering. It provides a lightweight alternative for displaying rich text within native application labels and text views. The engine includes an HTML-to-attributed string parser and a native text layout e

FlashText هو معالج نصوص قائم على القاموس ومكتبة لاستخراج الكلمات الرئيسية مصممة للبحث عن السلاسل النصية عالي الأداء والاستبدال البرمجي للمحتوى. يوفر أدوات مساعدة متخصصة لتحديد واسترجاع مصطلحات محددة مسبقاً من النص أو استبدال مصطلحات معينة بسلاسل استبدال عبر أحجام كبيرة من البيانات. يستخدم المشروع تنفيذ بحث السلاسل Aho-Corasick لتمكين مطابقة الأنماط المتعددة. يسمح هذا النهج بمسح النص في تمريرة واحدة وتعقيد زمني خطي للبحث، مما يضمن اعتماد وقت المعالجة على طول النص المدخل بدلاً من حجم قاموس الكلمات الرئيسية. تغطي المكتبة إدارة قاموس الكلمات الرئيسية للحفاظ على قوائم المصطلحات المستهدفة وتوفر سير عمل لكل من استبدال النص المؤتمت واستخراج الكلمات الرئيسية. تسمح هذه الإمكانيات بالتعديل المنهجي واسترجاع المصطلحات المحددة مسبقاً داخل مجموعات بيانات ضخمة.

Blackfriday هي مكتبة Go لتحليل وتحويل نص Markdown إلى HTML و LaTeX وتنسيقات مهيكلة أخرى. تعمل كمعالج Markdown قابل للتوسيع يحول الصيغة إلى لغات ترميز مستهدفة. يتميز المشروع ببنية عرض قابلة للتوصيل، والتي تسمح بإنتاج أهداف إخراج متنوعة مثل أنماط رسائل Slack، و Confluence Wiki Markup، و GitHub Flavored Markdown. يدعم إضافات الصيغة المخصصة بما في ذلك قوائم التعريف، والحواشي السفلية، والروابط التلقائية، والخطوط المشطوبة. يتضمن المعالج أدوات لتوليد جداول المحتويات التلقائية ومعرفات الارتساء الآمنة للروابط للعناوين. كما يتميز بأداة تحسين الطباعة التي تستبدل علامات الترقيم القياسية بعلامات اقتباس منحنية وشرطات احترافية. يوفر النظام قدرات لإنتاج صفحات الويب الكاملة وتوليد مستندات LaTeX احترافية.

PhoneNumberKit هو إطار عمل Swift لتحليل وتنسيق والتحقق من صحة أرقام الهواتف الدولية وفقاً لمعايير الترقيم العالمية. يوفر نظاماً من جداول البحث، والمحللات الهيكلية، وأدوات التحقق للتعامل مع تعقيدات ترقيم الهواتف الدولية. تحول المكتبة السلاسل الخام إلى كائنات منظمة تحتوي على رموز البلدان والأرقام الوطنية. تترجم رموز الاتصال الدولية إلى أسماء بلدان كاملة وتتحقق مما إذا كانت سلاسل أرقام الهواتف ممكنة منطقياً وتتوافق مع خطط ترقيم إقليمية محددة. يتضمن المشروع أدوات لتحويل الأرقام الخام إلى تخطيطات دولية أو وطنية موحدة. كما يوفر قدرات لإخفاء إدخال المستخدم في الوقت الفعلي وعرض العناصر النائبة والأعلام الخاصة بالمنطقة أثناء كتابة المستخدم.

python-pinyin هي مكتبة Python لتحويل الأحرف الصينية المبسطة والتقليدية إلى نظام pinyin الصوتي. تعمل كنظام تحويل يقوم بتحويل النص مع دعم نغمات sandhi وتوفير أدوات لتحويل pinyin بين تنسيقات مختلفة، مثل النغمات الرقمية، أو علامات التشكيل، أو الأحرف الأولى الصوتية. تتميز المكتبة بمحلل أحرف متعدد الأصوات يحلل سياق الكلمة المحيطة لاختيار النطق الصحيح للأحرف ذات الأصوات المتعددة. كما تتضمن نظام قاموس قابلاً للتخصيص يسمح بتوسيع نتائج التحويل الافتراضية باستخدام تعيينات صوتية مخصصة للأحرف الفردية والعبارات. تغطي مجموعة الأدوات عمليات لغوية أوسع بما في ذلك استخراج المكونات الصوتية مثل الأحرف الأولى والأخيرة، وتطبيق أنماط صوتية مختلفة، والتعامل مع الأحرف غير القابلة للتحويل. هذه القدرات متاحة كمكتبة وعبر واجهات سطر الأوامر لتحويل النص وترجمة تنسيق النغمات.

Chroma is a syntax highlighter written in Go that converts raw source code into colorized text or HTML. It identifies programming languages and tokens using language-specific lexers to produce highlighted output for various environments. The project utilizes a theme-driven colorization system that decouples token types from final colors through an intermediate style mapping layer. This allows for custom code theming by mapping specific token categories to foreground and background colors. The system covers language identification, terminal text formatting for ANSI-compatible viewers, and web

Goldmark هو محلل ومُصيّر (renderer) لـ Markdown مكتوب بلغة Go يقوم بتحويل نصوص Markdown إلى HTML أو XHTML. يطبق مواصفات CommonMark لضمان سلوك تحليل متسق. يستخدم المشروع سجل إضافات نمطي، مما يسمح بإضافة صيغ مخصصة مثل الجداول وقوائم المهام والحواشي. كما يتضمن دعماً متخصصاً للغات CJK للتعامل مع قواعد كسر الأسطر والتشديد الخاصة باللغات الصينية واليابانية والكورية. تقوم المكتبة بتحليل النص إلى شجرة بناء جملة مجردة (AST) لتحليل المستندات برمجياً وتعديلها. تشمل قدراتها الربط التلقائي لعناوين URL والبريد الإلكتروني، وتنسيق علامات الترقيم الطباعية، وتعيين سمات مخصصة للعناصر.

This is a TOML parser and serializer for the Go language. It serves as a data serialization library and configuration file mapper that encodes and decodes data between Go structures and the TOML configuration format. The library provides interfaces for custom type marshaling, allowing for specialized logic when parsing or serializing specific data types. It transforms structured objects into deterministic TOML documents for storage or transmission. The project covers a broad range of data processing capabilities, including structured value encoding, TOML data generation, and metadata inspect

go-humanize هي مكتبة Go لتحويل الأرقام الخام، وأحجام البايت، والمدد الزمنية إلى سلاسل نصية بلغة طبيعية لتحسين قابلية القراءة البشرية. يوفر المشروع منسقات متخصصة لأحجام البايت باستخدام معايير SI أو IEC، ومنسقاً للوقت النسبي يحول المدد الزمنية إلى أوصاف مثل "قبل ثلاثة أيام". كما يتضمن منسقاً لوحدات SI لتحويل القيم الرقمية من وإلى بادئات ورموز النظام الدولي للوحدات. بعيداً عن الوحدات التقنية، تتضمن المكتبة أدوات للغة الطبيعية الإنجليزية لجمع الأسماء، وتوليد الأرقام الترتيبية، وربط قوائم الكلمات بحروف العطف النحوية. كما تتعامل أدوات رقمية إضافية مع فواصل الآلاف، ودقة الكسور العشرية، ولاحقات الأرقام الكبيرة.