2 repositorios
Handling language-specific tokenization, stemming, and normalization for search indexing across different languages.
Distinct from Language Variant Support: None of the candidates cover general natural language processing for search; they focus on programming language syntax or infrastructure SDKs.
Explore 2 awesome GitHub repositories matching data & databases · Multilingual Text Processing. Refine with filters or upvote what's useful.
lunr.js is a JavaScript full-text search library and client-side search engine. It creates in-memory search indexes for fast keyword retrieval and ranked document matching within browser or Node.js environments. The library utilizes a JSON serializable search index, allowing the search structure to be converted to and from JSON for storage and distribution of pre-built search data. This enables search functionality for static websites by indexing content into portable files. The system supports advanced querying capabilities, including fuzzy text matching to account for typos, field-scoped i
Provides specialized processing for different languages to handle stemming and normalization during indexing and search.
Este proyecto es un motor de búsqueda de texto completo y una infraestructura de búsqueda empresarial diseñada para indexar y recuperar grandes conjuntos de documentos. Proporciona un framework integral para el descubrimiento de información mediante resultados clasificados y análisis lingüístico. El sistema integra búsqueda de similitud vectorial de alta dimensión para la recuperación semántica junto con capacidades tradicionales de texto completo. Se distingue por su soporte para la recuperación de datos geoespaciales, procesamiento de texto multilingüe y un flujo de trabajo de sugerencias de búsqueda que incluye autocompletado tolerante a errores tipográficos y corrección ortográfica. La plataforma cubre una amplia gama de capacidades de búsqueda e indexación, incluyendo la ejecución de consultas complejas, agregación de conteo de facetas y agrupación de resultados. Maneja el análisis de texto mediante tokenización y normalización, a la vez que ofrece herramientas especializadas para la unión de documentos, resaltado de coincidencias de búsqueda y puntuación personalizada basada en la actualidad y la distancia. Está disponible una interfaz de búsqueda en Python para exponer la funcionalidad de indexación y consulta a entornos de programación externos.
Handles language-specific tokenization, stemming, and normalization to ensure accurate search results across different languages.