Awesome GitHub RepositoriesTokenization Pipelines

lunr.js is a JavaScript full-text search library and client-side search engine. It creates in-memory search indexes for fast keyword retrieval and ranked document matching within browser or Node.js environments. The library utilizes a JSON serializable search index, allowing the search structure to be converted to and from JSON for storage and distribution of pre-built search data. This enables search functionality for static websites by indexing content into portable files. The system supports advanced querying capabilities, including fuzzy text matching to account for typos, field-scoped i

Vespa is a distributed search engine, vector database, and machine learning ranking engine. It serves as an AI search platform designed to handle large-scale document indexing and complex query processing across a cluster of nodes, combining keyword retrieval with high-dimensional embedding storage for semantic similarity search. The platform distinguishes itself by integrating machine learning models directly into the search pipeline to perform real-time inference and ranking. It converts these models into ranking expressions to score and order results based on relevance, while providing a s

Zombodb एक डेटाबेस एक्सटेंशन और रिलेशनल डेटा इंडेक्स है जो PostgreSQL को Elasticsearch के साथ एकीकृत करता है। यह एक SQL सर्च इंटरफ़ेस प्रदान करता है, जो उपयोगकर्ताओं को नेटिव JSON APIs के बजाय मानक SQL फ़ंक्शंस और सिंटैक्स का उपयोग करके जटिल सर्च क्वेरी और एग्रीगेशन निष्पादित करने की अनुमति देता है। यह प्रोजेक्ट उच्च-प्रदर्शन पूर्ण-पाठ खोज (full-text search) और एनालिटिक्स को सक्षम करने के लिए PostgreSQL से रिमोट सर्च इंजन में रिलेशनल डेटा को सिंक्रोनाइज़ करता है। यह सिस्टम रिलेशनल स्ट्रक्चर्स को सर्च इंजन क्षमताओं के साथ जोड़कर खुद को अलग करता है, विशेष रूप से ज्यामिति और भूगोल प्रकारों के लिए जियोस्पेशियल सर्च एकीकरण के माध्यम से। यह एक SQL-टू-JSON क्वेरी मैपिंग लेयर लागू करता है जो उन्नत टेक्स्ट विश्लेषण को सक्षम बनाता है—जिसमें रिलेशनल वातावरण के भीतर सीधे फ़ज़ी मैचिंग, प्रॉक्सिमिटी सर्च और प्रासंगिकता स्कोरिंग शामिल है। यह प्रोजेक्ट इंडेक्स लाइफसाइकिल मैनेजमेंट, स्वचालित रिलेशनल डेटा सिंक्रोनाइज़ेशन, और जटिल विश्लेषणात्मक एग्रीगेशन सहित व्यापक क्षमता क्षेत्रों को कवर करता है। यह स्थान-आधारित क्वेरीज़ के लिए स्थानिक इंडेक्सिंग, कस्टम टेक्स्ट विश्लेषण पाइपलाइन्स, और इंडेक्स आँकड़ों व क्लस्टर स्वास्थ्य का ऑडिट करने के लिए मॉनिटरिंग टूल्स का समर्थन करता है। सुरक्षा को TLS का उपयोग करके डेटाबेस और सर्च इंजन के बीच एन्क्रिप्टेड कनेक्शन के माध्यम से संभाला जाता है।

WhisperSpeech एक बहुभाषी स्पीच सिंथेसाइज़र और न्यूरल टेक्स्ट-टू-स्पीच सिस्टम है। यह टेक्स्ट को हाई-फिडेलिटी सिंथेटिक ऑडियो में बदलने के लिए Whisper मॉडल आर्किटेक्चर को इनवर्ट करके कार्य करता है। यह सिस्टम विशिष्ट वक्ताओं की नकल करने के लिए संदर्भ ऑडियो फ़ाइलों का उपयोग करके वॉयस क्लोनिंग को सक्षम बनाता है। यह बहुभाषी स्पीच प्रोडक्शन का समर्थन करता है, जिसमें विभिन्न भाषाओं में ऑडियो उत्पन्न करने और एक ही वाक्य के भीतर भाषा स्विचिंग को संभालने की क्षमता शामिल है। यह प्रोजेक्ट टेक्स्ट-टू-स्पीच जनरेशन और स्पीच डेटासेट तैयारी सहित स्पीच क्षमताओं की एक विस्तृत श्रृंखला को कवर करता है। इसमें स्पीच को टेक्स्ट में ट्रांसक्राइब करने, ध्वनिक टोकन निकालने, और वॉयस एक्टिविटी का पता लगाने के लिए टूल्स शामिल हैं।

Bark Voice Cloning is a text-to-speech synthesis engine designed to generate natural-sounding audio and replicate specific vocal characteristics. The system utilizes a transformer-based autoregressive model to convert written text into high-fidelity speech, supporting multilingual output and expressive delivery. The project distinguishes itself through zero-shot voice cloning, which extracts speaker identity embeddings from short audio samples to condition the generative model without requiring extensive fine-tuning. It also provides specialized workflows for voice identity conversion, allowi

This project is a training pipeline and framework for developing Chinese language models based on the Llama 2 architecture. It functions as a distributed GPU trainer and dataset preprocessing toolkit designed for both the initial pre-training of baseline models and subsequent supervised fine-tuning. The system distinguishes itself through a specialized workflow for Chinese text, incorporating a data curation pipeline that uses similarity hashing for deduplication and a tokenization process that converts raw text into memory-mapped binary files for efficient disk access. It implements a superv