Awesome GitHub RepositoriesByte-Level Tokenizers

This project is a speech recognition and translation engine that utilizes a sequence-to-sequence transformer architecture to convert audio into text. It is built upon a weakly supervised learning framework, which leverages large-scale, unlabelled audio-transcript data to create generalized speech representations capable of performing simultaneous transcription, language identification, and translation. The system distinguishes itself through a unified multi-task modeling approach that shares token sequences across different objectives, allowing it to handle diverse languages and vocabularies

SentencePiece is a text segmentation engine and tokenization library designed for machine learning workflows. It provides a comprehensive toolkit for transforming raw text into subword units or numerical identifiers, enabling consistent data representation for neural network training and inference. The library supports the training of segmentation models from raw text, allowing for the creation of custom vocabularies tailored to specific domain requirements. The project distinguishes itself through its byte-level encoding and fallback mechanisms, which ensure that every input can be represent

Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.

LLMLingua is a prompt compression tool that reduces token count in prompts before they are sent to a large language model, cutting API costs and latency while preserving task performance. It operates as an extractive pipeline using a BERT-level Transformer encoder to classify each token for removal based on full bidirectional context from the prompt, retaining only key information and discarding non-essential tokens. The tool is trained through a knowledge distillation process, where a compact compression model learns from an extractive dataset derived from a large language model's output to

Orange3 is a visual data mining platform that provides an interactive canvas for building data analysis workflows without writing code. At its core, it offers a widget-based visual programming environment where users connect configurable components to perform data preprocessing, machine learning model training, statistical evaluation, and interactive visualization. The platform is built on NumPy-backed data tables with domain descriptors that define variable names, types, and roles, and includes a lazy SQL query proxy for working with database tables without loading all data into memory. The

onnxsim est un optimiseur de graphes de deep learning et un simplificateur de modèles conçu pour réduire la complexité des graphes de calcul ONNX. Il fonctionne comme un compresseur de modèle qui remplace des séquences d'opérateurs complexes par des sorties constantes simplifiées afin de réduire la surcharge opérationnelle. Le projet réalise cette simplification grâce à l'inférence par pliage de constantes (constant folding), qui remplace les sous-graphes d'opérateurs constants par des tenseurs constants pré-calculés. Il utilise la réécriture de graphes basée sur des motifs et l'analyse statique de graphes de calcul pour identifier et supprimer les nœuds redondants ou les opérations inaccessibles. L'outil couvre de larges capacités d'optimisation de modèles, notamment l'élimination de la redondance des opérateurs et la suppression des nœuds de reshape ou d'identité inutiles. Ces processus rationalisent le flux d'exécution et réduisent l'empreinte mémoire du modèle.

Mapshaper est un outil pour traiter, simplifier et convertir des données vectorielles géographiques, disponible sous forme d'interface en ligne de commande, d'outil de navigateur web et de bibliothèque Node.js. Il fonctionne comme un projecteur de coordonnées, un convertisseur de données vectorielles et un optimiseur d'actifs de carte web conçu pour transformer les jeux de données spatiaux entre différents systèmes de référence de coordonnées et formats de fichiers. Le projet se distingue par sa simplification de géométrie préservant la topologie, qui réduit le nombre de sommets tout en maintenant les limites partagées pour éviter les lacunes et les chevauchements. Il optimise davantage les actifs pour le web grâce à la quantification des coordonnées et au filtrage des attributs pour réduire la taille des fichiers. Le système couvre un large éventail de capacités, y compris la reprojection de coordonnées utilisant des chaînes PROJ et des codes EPSG, et la conversion de données entre des formats tels que Shapefile, GeoJSON, TopoJSON, GeoPackage et KML. Il fournit des outils de traitement de géométrie étendus pour la mise en mémoire tampon, le découpage, la dissolution et la réparation des topologies, ainsi que des utilitaires de gestion de données pour la jointure, le filtrage et la transformation d'attributs. De plus, il inclut des fonctionnalités de visualisation pour générer des exportations SVG stylisées, des graticules et des cartes à symboles proportionnels. Les capacités de traitement spatial peuvent être intégrées directement dans les applications JavaScript et les pipelines de build via sa bibliothèque Node.js.

Pretrained-Language-Model is a machine learning library and natural language processing toolkit designed for pretraining, tokenizing, and compressing large language models using transformer architectures and specialized optimization techniques. It supports Chinese and multilingual natural language processing tasks, including text classification and conversational response generation. The framework provides specialized capabilities for training large-scale autoregressive and contextual language models, alongside model compression techniques like knowledge distillation and quantization to reduc