awesome-repositories.com
Blog
MCP
awesome-repositories.com

Descubre los mejores repositorios open-source con nuestra búsqueda potenciada por IA.

ExplorarBúsquedas curadasAlternativas open-sourceSoftware autohospedableBlogMapa del sitio
ProyectoServidor MCPAcerca deCómo clasificamosPrensa
Aviso legalPrivacidadTérminos
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

1 repositorio

Awesome GitHub RepositoriesTokenization Testing

Utilities to evaluate how text analyzers break down raw text into tokens before indexing.

Distinct from Tokenization Pipelines: Focuses on testing the analyzer's output for correctness, while the parent refers to the operational pipelines themselves.

Explore 1 awesome GitHub repository matching artificial intelligence & ml · Tokenization Testing. Refine with filters or upvote what's useful.

Awesome Tokenization Testing GitHub Repositories

Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
  • zombodb/zombodbAvatar de zombodb

    zombodb/zombodb

    4,730Ver en GitHub↗

    Zombodb es una extensión de base de datos e indexador de datos relacionales que integra PostgreSQL con Elasticsearch. Proporciona una interfaz de búsqueda SQL, permitiendo a los usuarios ejecutar consultas de búsqueda complejas y agregaciones utilizando funciones y sintaxis SQL estándar en lugar de APIs JSON nativas. El proyecto sincroniza datos relacionales de PostgreSQL a un motor de búsqueda remoto para habilitar la búsqueda de texto completo y analítica de alto rendimiento. El sistema se distingue por tender un puente entre estructuras relacionales y capacidades de motores de búsqueda, específicamente mediante la integración de búsqueda geoespacial para tipos de geometría y geografía. Implementa una capa de mapeo de consultas SQL-a-JSON que permite un análisis de texto avanzado —incluyendo coincidencia difusa, búsquedas de proximidad y puntuación de relevancia— directamente dentro de un entorno relacional. El proyecto cubre áreas de capacidad amplias, incluyendo la gestión del ciclo de vida de índices, sincronización automatizada de datos relacionales y agregaciones analíticas complejas. Soporta indexación espacial para consultas basadas en ubicación, tuberías de análisis de texto personalizadas y herramientas de monitoreo para auditar estadísticas de índices y salud del clúster. La seguridad se maneja mediante conexiones cifradas entre la base de datos y el motor de búsqueda usando TLS.

    Evaluates how custom analysis pipelines and tokenizers process text before it is applied to a search index.

    PLpgSQL
    Ver en GitHub↗4,730
  1. Home
  2. Artificial Intelligence & ML
  3. Natural Language Processing
  4. Text Tokenization
  5. Tokenization Pipelines
  6. Tokenization Testing