Awesome GitHub RepositoriesTokenization Pipelines

lunr.js is a JavaScript full-text search library and client-side search engine. It creates in-memory search indexes for fast keyword retrieval and ranked document matching within browser or Node.js environments. The library utilizes a JSON serializable search index, allowing the search structure to be converted to and from JSON for storage and distribution of pre-built search data. This enables search functionality for static websites by indexing content into portable files. The system supports advanced querying capabilities, including fuzzy text matching to account for typos, field-scoped i

Vespa is a distributed search engine, vector database, and machine learning ranking engine. It serves as an AI search platform designed to handle large-scale document indexing and complex query processing across a cluster of nodes, combining keyword retrieval with high-dimensional embedding storage for semantic similarity search. The platform distinguishes itself by integrating machine learning models directly into the search pipeline to perform real-time inference and ranking. It converts these models into ranking expressions to score and order results based on relevance, while providing a s

Zombodb ist eine Datenbankerweiterung und ein relationaler Daten-Indexer, der PostgreSQL mit Elasticsearch integriert. Er bietet eine SQL-Suchschnittstelle, die es Benutzern ermöglicht, komplexe Suchanfragen und Aggregationen unter Verwendung von Standard-SQL-Funktionen und -Syntax anstelle nativer JSON-APIs auszuführen. Das Projekt synchronisiert relationale Daten von PostgreSQL mit einer Remote-Suchmaschine, um leistungsstarke Volltextsuche und Analysen zu ermöglichen. Das System zeichnet sich dadurch aus, dass es relationale Strukturen mit Suchmaschinenfunktionen verbindet, insbesondere durch die Integration der Georaumsuche für Geometrie- und Geografietypen. Es implementiert eine SQL-zu-JSON-Abfrage-Mapping-Schicht, die fortgeschrittene Textanalysen – einschließlich Fuzzy-Matching, Proximity-Suchen und Relevanz-Scoring – direkt in einer relationalen Umgebung ermöglicht. Das Projekt deckt breite Funktionsbereiche ab, einschließlich Index-Lebenszyklusmanagement, automatisierter relationaler Datensynchronisation und komplexer analytischer Aggregationen. Es unterstützt räumliche Indizierung für standortbasierte Abfragen, benutzerdefinierte Textanalyse-Pipelines und Überwachungstools zur Prüfung von Indexstatistiken und Cluster-Gesundheit. Die Sicherheit wird durch verschlüsselte Verbindungen zwischen der Datenbank und der Suchmaschine mittels TLS gewährleistet.

WhisperSpeech ist ein mehrsprachiger Sprachsynthesizer und ein neuronales Text-to-Speech-System. Es funktioniert durch Invertierung der Whisper-Modellarchitektur, um Text in hochqualitative synthetische Audiodaten umzuwandeln. Das System ermöglicht Voice-Cloning durch die Verwendung von Referenz-Audiodateien, um spezifische Sprecher zu imitieren. Es unterstützt mehrsprachige Sprachproduktion, was die Fähigkeit beinhaltet, Audio in verschiedenen Sprachen zu generieren und Sprachwechsel innerhalb eines einzigen Satzes zu handhaben. Das Projekt deckt ein breites Spektrum an Sprachfunktionen ab, einschließlich Text-to-Speech-Generierung und Vorbereitung von Sprachdatensätzen. Es enthält Tools zur Transkription von Sprache in Text, zur Extraktion akustischer Token und zur Erkennung von Sprachaktivität.

Bark Voice Cloning ist eine Text-to-Speech-Synthese-Engine, die darauf ausgelegt ist, natürlich klingendes Audio zu generieren und spezifische stimmliche Merkmale zu replizieren. Das System nutzt ein transformerbasiertes autoregressives Modell, um geschriebenen Text in hochauflösende Sprache umzuwandeln, und unterstützt mehrsprachige Ausgabe sowie ausdrucksstarke Darbietung. Das Projekt zeichnet sich durch Zero-Shot-Voice-Cloning aus, das Sprecheridentitäts-Embeddings aus kurzen Audio-Samples extrahiert, um das generative Modell zu konditionieren, ohne dass ein umfangreiches Fine-Tuning erforderlich ist. Es bietet zudem spezialisierte Workflows für die Sprecheridentitätskonvertierung, die es Benutzern ermöglichen, den Sprecher einer bestehenden Aufnahme zu transformieren, während die ursprüngliche emotionale Darbietung und rhythmische Muster erhalten bleiben. Die Plattform umfasst eine umfassende Suite von Tools für Sprachsynthese und Audio-Manipulation. Dies beinhaltet Dienstprogramme zum Extrahieren von Quellaudio aus Medien, zum Trainieren benutzerdefinierter Sprachmodelle und zum Abbilden semantischer sprachlicher Inhalte auf feingranulare akustische Token. Die Software wird als Sammlung von Jupyter Notebooks vertrieben, die die Ausführung dieser mehrstufigen Inferenz-Pipelines erleichtern.

This project is a training pipeline and framework for developing Chinese language models based on the Llama 2 architecture. It functions as a distributed GPU trainer and dataset preprocessing toolkit designed for both the initial pre-training of baseline models and subsequent supervised fine-tuning. The system distinguishes itself through a specialized workflow for Chinese text, incorporating a data curation pipeline that uses similarity hashing for deduplication and a tokenization process that converts raw text into memory-mapped binary files for efficient disk access. It implements a superv