awesome-repositories.com
Blog
MCP
awesome-repositories.com

Entdecke die besten Open-Source-Repositories mit KI-gestützter Suche.

EntdeckenKuratierte SuchenOpen-Source-AlternativenSelf-hosted SoftwareBlogSitemap
ProjektMCP-ServerÜber unsRanking-MethodikPresse
RechtlichesDatenschutzAGB
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

1 Repo

Awesome GitHub RepositoriesTokenization Testing

Utilities to evaluate how text analyzers break down raw text into tokens before indexing.

Distinct from Tokenization Pipelines: Focuses on testing the analyzer's output for correctness, while the parent refers to the operational pipelines themselves.

Explore 1 awesome GitHub repository matching artificial intelligence & ml · Tokenization Testing. Refine with filters or upvote what's useful.

Awesome Tokenization Testing GitHub Repositories

Finde die besten Repos mit KI.Wir suchen mit KI nach den am besten passenden Repositories.
  • zombodb/zombodbAvatar von zombodb

    zombodb/zombodb

    4,730Auf GitHub ansehen↗

    Zombodb ist eine Datenbankerweiterung und ein relationaler Daten-Indexer, der PostgreSQL mit Elasticsearch integriert. Er bietet eine SQL-Suchschnittstelle, die es Benutzern ermöglicht, komplexe Suchanfragen und Aggregationen unter Verwendung von Standard-SQL-Funktionen und -Syntax anstelle nativer JSON-APIs auszuführen. Das Projekt synchronisiert relationale Daten von PostgreSQL mit einer Remote-Suchmaschine, um leistungsstarke Volltextsuche und Analysen zu ermöglichen. Das System zeichnet sich dadurch aus, dass es relationale Strukturen mit Suchmaschinenfunktionen verbindet, insbesondere durch die Integration der Georaumsuche für Geometrie- und Geografietypen. Es implementiert eine SQL-zu-JSON-Abfrage-Mapping-Schicht, die fortgeschrittene Textanalysen – einschließlich Fuzzy-Matching, Proximity-Suchen und Relevanz-Scoring – direkt in einer relationalen Umgebung ermöglicht. Das Projekt deckt breite Funktionsbereiche ab, einschließlich Index-Lebenszyklusmanagement, automatisierter relationaler Datensynchronisation und komplexer analytischer Aggregationen. Es unterstützt räumliche Indizierung für standortbasierte Abfragen, benutzerdefinierte Textanalyse-Pipelines und Überwachungstools zur Prüfung von Indexstatistiken und Cluster-Gesundheit. Die Sicherheit wird durch verschlüsselte Verbindungen zwischen der Datenbank und der Suchmaschine mittels TLS gewährleistet.

    Evaluates how custom analysis pipelines and tokenizers process text before it is applied to a search index.

    PLpgSQL
    Auf GitHub ansehen↗4,730
  1. Home
  2. Artificial Intelligence & ML
  3. Natural Language Processing
  4. Text Tokenization
  5. Tokenization Pipelines
  6. Tokenization Testing