2 مستودعات
Awesome GitHub RepositoriesMultilingual Text Processing
Handling language-specific tokenization, stemming, and normalization for search indexing across different languages.
Distinct from Language Variant Support: None of the candidates cover general natural language processing for search; they focus on programming language syntax or infrastructure SDKs.
Explore 2 awesome GitHub repositories matching data & databases · Multilingual Text Processing. Refine with filters or upvote what's useful.
Awesome Multilingual Text Processing GitHub Repositories
اعثر على أفضل المستودعات باستخدام الذكاء الاصطناعي.سنبحث عن أفضل المستودعات المطابقة باستخدام الذكاء الاصطناعي.
- olivernn/lunr.js
olivernn/lunr.js
9,203عرض على GitHublunr.js is a JavaScript full-text search library and client-side search engine. It creates in-memory search indexes for fast keyword retrieval and ranked document matching within browser or Node.js environments. The library utilizes a JSON serializable search index, allowing the search structure to be converted to and from JSON for storage and distribution of pre-built search data. This enables search functionality for static websites by indexing content into portable files. The system supports advanced querying capabilities, including fuzzy text matching to account for typos, field-scoped i
Provides specialized processing for different languages to handle stemming and normalization during indexing and search.
JavaScript - apache/lucene-solr
apache/lucene-solr
4,357عرض على GitHubهذا المشروع عبارة عن محرك بحث نصي كامل وبنية تحتية للبحث المؤسسي مصممة لفهرسة واسترجاع مجموعات كبيرة من المستندات. يوفر إطار عمل شاملاً لاكتشاف المعلومات باستخدام نتائج مرتبة وتحليل لغوي. يدمج النظام بحث التشابه المتجهي عالي الأبعاد للاسترجاع الدلالي إلى جانب قدرات البحث النصي الكامل التقليدية. يتميز بدعم استرجاع البيانات الجغرافية المكانية، ومعالجة النصوص متعددة اللغات، وسير عمل اقتراحات البحث الذي يتضمن إكمال الاستعلام المتسامح مع الأخطاء الإملائية والتدقيق الإملائي. تغطي المنصة مجموعة واسعة من قدرات البحث والفهرسة، بما في ذلك تنفيذ الاستعلامات المعقدة، وتجميع عدد الأوجه، وتجميع النتائج. يتعامل النظام مع تحليل النصوص من خلال التجزئة والتطبيع، مع تقديم أدوات متخصصة لربط المستندات، وإبراز نتائج البحث، والتسجيل المخصص بناءً على الحداثة والمسافة. تتوفر واجهة بحث بلغة Python لكشف وظائف الفهرسة والاستعلام لبيئات البرمجة الخارجية.
Handles language-specific tokenization, stemming, and normalization to ensure accurate search results across different languages.
backendinformation-retrievaljava
