Awesome GitHub RepositoriesByte-Level Tokenizers

This project is a speech recognition and translation engine that utilizes a sequence-to-sequence transformer architecture to convert audio into text. It is built upon a weakly supervised learning framework, which leverages large-scale, unlabelled audio-transcript data to create generalized speech representations capable of performing simultaneous transcription, language identification, and translation. The system distinguishes itself through a unified multi-task modeling approach that shares token sequences across different objectives, allowing it to handle diverse languages and vocabularies

SentencePiece is a text segmentation engine and tokenization library designed for machine learning workflows. It provides a comprehensive toolkit for transforming raw text into subword units or numerical identifiers, enabling consistent data representation for neural network training and inference. The library supports the training of segmentation models from raw text, allowing for the creation of custom vocabularies tailored to specific domain requirements. The project distinguishes itself through its byte-level encoding and fallback mechanisms, which ensure that every input can be represent

Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.

LLMLingua is a prompt compression tool that reduces token count in prompts before they are sent to a large language model, cutting API costs and latency while preserving task performance. It operates as an extractive pipeline using a BERT-level Transformer encoder to classify each token for removal based on full bidirectional context from the prompt, retaining only key information and discarding non-essential tokens. The tool is trained through a knowledge distillation process, where a compact compression model learns from an extractive dataset derived from a large language model's output to

Orange3 is a visual data mining platform that provides an interactive canvas for building data analysis workflows without writing code. At its core, it offers a widget-based visual programming environment where users connect configurable components to perform data preprocessing, machine learning model training, statistical evaluation, and interactive visualization. The platform is built on NumPy-backed data tables with domain descriptors that define variable names, types, and roles, and includes a lazy SQL query proxy for working with database tables without loading all data into memory. The

onnxsim este un optimizator de grafuri de deep learning și un simplificator de modele conceput pentru a reduce complexitatea grafurilor de calcul ONNX. Funcționează ca un compresor de modele care înlocuiește secvențele complexe de operatori cu ieșiri constante simplificate pentru a reduce overhead-ul operațional. Proiectul obține simplificarea prin inferența constant folding, care înlocuiește subgrafurile de operatori constanți cu tensori constanți pre-calculați. Utilizează rescrierea grafurilor bazată pe modele și analiza statică a grafurilor de calcul pentru a identifica și elimina nodurile redundante sau operațiunile inaccesibile. Instrumentul acoperă capabilități largi de optimizare a modelelor, inclusiv eliminarea redundanței operatorilor și eliminarea nodurilor inutile de reshape sau identity. Aceste procese eficientizează fluxul de execuție și reduc amprenta de memorie a modelului.

Mapshaper este un instrument pentru procesarea, simplificarea și convertirea datelor vectoriale geografice, disponibil ca interfață de linie de comandă, instrument de browser web și bibliotecă Node.js. Funcționează ca un proiector de coordonate, convertor de date vectoriale și optimizator de active pentru hărți web, conceput pentru a transforma seturile de date spațiale între diferite sisteme de referință de coordonate și formate de fișiere. Proiectul se distinge prin simplificarea geometriei care păstrează topologia, ceea ce reduce numărul de noduri (vertex) menținând în același timp limitele partajate pentru a preveni golurile și suprapunerile. Optimizează în continuare activele pentru web prin cuantificarea coordonatelor și filtrarea atributelor pentru a reduce dimensiunile fișierelor. Sistemul acoperă o gamă largă de capabilități, inclusiv reproiectarea coordonatelor folosind șiruri PROJ și coduri EPSG, și conversia datelor între formate precum Shapefile, GeoJSON, TopoJSON, GeoPackage și KML. Oferă instrumente extinse de procesare a geometriei pentru buffering, clipping, dizolvare și repararea topologiilor, precum și utilitare de gestionare a datelor pentru unirea atributelor, filtrare și transformare. În plus, include funcții de vizualizare pentru generarea de exporturi SVG stilizate, graticule și hărți cu simboluri proporționale. Capabilitățile de procesare spațială pot fi integrate direct în aplicațiile JavaScript și în pipeline-urile de build prin biblioteca sa Node.js.

Pretrained-Language-Model is a machine learning library and natural language processing toolkit designed for pretraining, tokenizing, and compressing large language models using transformer architectures and specialized optimization techniques. It supports Chinese and multilingual natural language processing tasks, including text classification and conversational response generation. The framework provides specialized capabilities for training large-scale autoregressive and contextual language models, alongside model compression techniques like knowledge distillation and quantization to reduc