Awesome GitHub RepositoriesTokenization Pipelines

lunr.js is a JavaScript full-text search library and client-side search engine. It creates in-memory search indexes for fast keyword retrieval and ranked document matching within browser or Node.js environments. The library utilizes a JSON serializable search index, allowing the search structure to be converted to and from JSON for storage and distribution of pre-built search data. This enables search functionality for static websites by indexing content into portable files. The system supports advanced querying capabilities, including fuzzy text matching to account for typos, field-scoped i

Vespa is a distributed search engine, vector database, and machine learning ranking engine. It serves as an AI search platform designed to handle large-scale document indexing and complex query processing across a cluster of nodes, combining keyword retrieval with high-dimensional embedding storage for semantic similarity search. The platform distinguishes itself by integrating machine learning models directly into the search pipeline to perform real-time inference and ranking. It converts these models into ranking expressions to score and order results based on relevance, while providing a s

Zombodb est une extension de base de données et un indexeur de données relationnelles qui intègre PostgreSQL avec Elasticsearch. Il fournit une interface de recherche SQL, permettant aux utilisateurs d'exécuter des requêtes de recherche complexes et des agrégations en utilisant des fonctions et une syntaxe SQL standard au lieu d'API JSON natives. Le projet synchronise les données relationnelles de PostgreSQL vers un moteur de recherche distant pour permettre une recherche plein texte et des analyses haute performance. Le système se distingue en reliant les structures relationnelles aux capacités des moteurs de recherche, spécifiquement via l'intégration de recherche géospatiale pour les types géométriques et géographiques. Il implémente une couche de mappage de requête SQL-vers-JSON qui permet une analyse de texte avancée — incluant la correspondance floue, les recherches de proximité et le scoring de pertinence — directement dans un environnement relationnel. Le projet couvre de larges domaines de capacités incluant la gestion du cycle de vie des index, la synchronisation automatisée des données relationnelles et des agrégations analytiques complexes. Il prend en charge l'indexation spatiale pour les requêtes basées sur la localisation, des pipelines d'analyse de texte personnalisés et des outils de surveillance pour auditer les statistiques d'index et la santé du cluster. La sécurité est gérée via des connexions chiffrées entre la base de données et le moteur de recherche utilisant TLS.

WhisperSpeech est un synthétiseur vocal multilingue et un système de synthèse vocale (TTS) neuronal. Il fonctionne en inversant l'architecture du modèle Whisper pour convertir du texte en audio synthétique haute fidélité. Le système permet le clonage vocal en utilisant des fichiers audio de référence pour imiter des locuteurs spécifiques. Il prend en charge la production vocale multilingue, ce qui inclut la capacité de générer de l'audio dans différentes langues et de gérer le changement de langue au sein d'une même phrase. Le projet couvre un large éventail de capacités vocales, incluant la génération de synthèse vocale et la préparation de jeux de données vocaux. Il intègre des outils pour transcrire la parole en texte, extraire des jetons acoustiques et détecter l'activité vocale.

Bark Voice Cloning est un moteur de synthèse texte-parole conçu pour générer un audio au son naturel et répliquer des caractéristiques vocales spécifiques. Le système utilise un modèle autorégressif basé sur transformer pour convertir le texte écrit en parole haute fidélité, prenant en charge la sortie multilingue et une livraison expressive. Le projet se distingue par le clonage de voix zero-shot, qui extrait les embeddings d'identité du locuteur à partir de courts échantillons audio pour conditionner le modèle génératif sans nécessiter de réglage fin étendu. Il fournit également des flux de travail spécialisés pour la conversion d'identité vocale, permettant aux utilisateurs de transformer le locuteur d'un enregistrement existant tout en préservant la livraison émotionnelle et les modèles rythmiques originaux. La plateforme englobe une suite complète d'outils pour la synthèse vocale et la manipulation audio. Cela inclut des utilitaires pour extraire l'audio source des médias, entraîner des modèles vocaux personnalisés et mapper le contenu linguistique sémantique vers des jetons acoustiques fins. Le logiciel est distribué sous forme d'une collection de notebooks Jupyter qui facilitent l'exécution de ces pipelines d'inférence multi-étapes.

This project is a training pipeline and framework for developing Chinese language models based on the Llama 2 architecture. It functions as a distributed GPU trainer and dataset preprocessing toolkit designed for both the initial pre-training of baseline models and subsequent supervised fine-tuning. The system distinguishes itself through a specialized workflow for Chinese text, incorporating a data curation pipeline that uses similarity hashing for deduplication and a tokenization process that converts raw text into memory-mapped binary files for efficient disk access. It implements a superv