Awesome GitHub RepositoriesByte-Level Tokenizers

This project is a speech recognition and translation engine that utilizes a sequence-to-sequence transformer architecture to convert audio into text. It is built upon a weakly supervised learning framework, which leverages large-scale, unlabelled audio-transcript data to create generalized speech representations capable of performing simultaneous transcription, language identification, and translation. The system distinguishes itself through a unified multi-task modeling approach that shares token sequences across different objectives, allowing it to handle diverse languages and vocabularies

SentencePiece is a text segmentation engine and tokenization library designed for machine learning workflows. It provides a comprehensive toolkit for transforming raw text into subword units or numerical identifiers, enabling consistent data representation for neural network training and inference. The library supports the training of segmentation models from raw text, allowing for the creation of custom vocabularies tailored to specific domain requirements. The project distinguishes itself through its byte-level encoding and fallback mechanisms, which ensure that every input can be represent

Minimal, clean code for the Byte Pair Encoding (BPE) algorithm commonly used in LLM tokenization.

LLMLingua is a prompt compression tool that reduces token count in prompts before they are sent to a large language model, cutting API costs and latency while preserving task performance. It operates as an extractive pipeline using a BERT-level Transformer encoder to classify each token for removal based on full bidirectional context from the prompt, retaining only key information and discarding non-essential tokens. The tool is trained through a knowledge distillation process, where a compact compression model learns from an extractive dataset derived from a large language model's output to

Orange3 is a visual data mining platform that provides an interactive canvas for building data analysis workflows without writing code. At its core, it offers a widget-based visual programming environment where users connect configurable components to perform data preprocessing, machine learning model training, statistical evaluation, and interactive visualization. The platform is built on NumPy-backed data tables with domain descriptors that define variable names, types, and roles, and includes a lazy SQL query proxy for working with database tables without loading all data into memory. The

onnxsim es un optimizador de grafos de deep learning y simplificador de modelos diseñado para reducir la complejidad de los grafos de computación ONNX. Funciona como un compresor de modelos que reemplaza secuencias complejas de operadores con salidas constantes simplificadas para disminuir la sobrecarga operativa. El proyecto logra la simplificación mediante la inferencia de plegado de constantes (constant folding), que reemplaza subgrafos de operadores constantes con tensores constantes precalculados. Utiliza la reescritura de grafos basada en patrones y el análisis estático de grafos de computación para identificar y eliminar nodos redundantes u operaciones inalcanzables. La herramienta cubre amplias capacidades de optimización de modelos, incluyendo la eliminación de redundancia de operadores y la eliminación de nodos de reshape o identidad innecesarios. Estos procesos agilizan el flujo de ejecución y reducen la huella de memoria del modelo.

Mapshaper es una herramienta para procesar, simplificar y convertir datos vectoriales geográficos, disponible como interfaz de línea de comandos, herramienta de navegador web y librería de Node.js. Funciona como un proyector de coordenadas, convertidor de datos vectoriales y optimizador de activos de mapas web diseñado para transformar conjuntos de datos espaciales entre diferentes sistemas de referencia de coordenadas y formatos de archivo. El proyecto se distingue por su simplificación de geometría que preserva la topología, lo que reduce el número de vértices mientras mantiene los límites compartidos para evitar huecos y superposiciones. Además, optimiza los activos para la web mediante la cuantización de coordenadas y el filtrado de atributos para reducir el tamaño de los archivos. El sistema cubre una amplia gama de capacidades, incluyendo reproyección de coordenadas utilizando cadenas PROJ y códigos EPSG, y conversión de datos entre formatos como Shapefile, GeoJSON, TopoJSON, GeoPackage y KML. Proporciona amplias herramientas de procesamiento de geometría para buffering, recorte, disolución y reparación de topologías, así como utilidades de gestión de datos para unión, filtrado y transformación de atributos. Además, incluye funciones de visualización para generar exportaciones SVG estilizadas, retículas y mapas de símbolos proporcionales. Las capacidades de procesamiento espacial pueden integrarse directamente en aplicaciones JavaScript y tuberías de construcción (build pipelines) a través de su librería de Node.js.

Pretrained-Language-Model is a machine learning library and natural language processing toolkit designed for pretraining, tokenizing, and compressing large language models using transformer architectures and specialized optimization techniques. It supports Chinese and multilingual natural language processing tasks, including text classification and conversational response generation. The framework provides specialized capabilities for training large-scale autoregressive and contextual language models, alongside model compression techniques like knowledge distillation and quantization to reduc