11 repositorios
Algorithms for mapping and transforming one sequence of data into another to optimize memory and processing.
Distinct from Sequence To Sequence Models: The candidates refer to ML Sequence-to-Sequence models (Transformers), whereas this is a general algorithmic utility for mapping data sequences.
Explore 11 awesome GitHub repositories matching data & databases · Sequence Transformations. Refine with filters or upvote what's useful.
This project is a markdown knowledge base used to maintain a curated collection of concise technical notes and write-ups across various programming languages and tools. It serves as a searchable personal reference library for documenting technical discoveries and software development patterns. The system implements a learning in public workflow, transforming markdown-based content storage into a static site. It utilizes directory-based routing to map folder structures to URL paths and employs schema-driven type generation to ensure data consistency across the knowledge base. The codebase cov
Produces a sequence of all intermediate values generated during a collection reduction.
pifs es un sistema de archivos de constantes matemáticas y un simulador de almacenamiento libre de datos. Emula un sistema de archivos virtual mapeando datos de archivos a secuencias de dígitos dentro de constantes matemáticas infinitas para eliminar la necesidad de almacenamiento en disco físico. El sistema funciona como una herramienta experimental de mapeo de archivos que convierte el contenido de los archivos en coordenadas y desplazamientos dentro de una constante numérica. Utiliza un gestor de metadatos virtual para rastrear las longitudes y posiciones de los archivos, permitiendo la recuperación de datos sin bloques de almacenamiento tradicionales. El proyecto cubre la arquitectura de almacenamiento experimental mediante el uso de cálculos de desplazamiento mediante fórmulas y seguimiento de metadatos basado en índices para simular una jerarquía de archivos estándar.
Implements the conversion of raw file content into digit sequences compatible with mathematical constants.
This project is a comprehensive Lisp AI implementation library that provides reference implementations for various artificial intelligence paradigms and symbolic algorithms. It functions as a multi-purpose toolkit containing a logic programming engine, a natural language processing suite, and a symbolic mathematics toolkit. The library is distinguished by its diverse architectural frameworks, including a Prolog-style execution engine that uses unification and goal-driven backtracking, and a system for simulating human decision-making through expert system shells and certainty factors. It also
Deno Data Storage & Sync applies a function to multiple sequences and writes results into a target sequence to minimize memory allocation.
The .NET Reactive Extensions Library is a framework for composing, querying, and transforming asynchronous data streams. It provides a non-blocking implementation of the observer pattern to manage notifications and data flows between producers and consumers, functioning as an event stream processing library. The project applies LINQ-style querying and filtering operators to asynchronous sequences. This allows for the handling of event-driven programming patterns by utilizing composable operators to process notifications as they occur. The library covers asynchronous data streaming and non-bl
Applies advanced operators to asynchronous enumerables for complex data transformations.
language-ext is a functional programming framework for C# that provides a suite of immutable data structures and monadic types. It enables the implementation of pure functional programming patterns, utilizing containers to manage side effects, optional values, and error handling. The library is distinguished by its advanced concurrency and state management tools, including a software transactional memory system and lock-free atomic references. It also provides specialized utilities for distributed systems, such as vector clocks for causality tracking and deterministic data conflict resolution
Applies mapping functions to each element of a lazy sequence to produce a new transformed sequence.
RxKotlin is a reactive programming library and asynchronous stream processor that provides Kotlin language extensions for composing event-based data streams. It serves as a set of Kotlin bindings for RxJava, allowing developers to transform, filter, and flatten sequences of data emitted over time. The library focuses on integrating RxJava patterns into Kotlin projects by applying language-specific conventions and idioms. It utilizes extension functions to simplify reactive programming patterns, reduce boilerplate, and optimize workflows within the reactive ecosystem. The toolkit covers a bro
Employs lazy transformations on data streams, ensuring operations are only executed upon observer subscription.
Reactor Core es un kit de herramientas de programación reactiva y una base no bloqueante para componer pipelines de datos asíncronos en la JVM. Sirve como framework de procesamiento de flujos asíncronos y sistema de gestión de contrapresión (backpressure), permitiendo a los desarrolladores transformar, filtrar y combinar secuencias de eventos mientras regulan el flujo de datos entre productores y consumidores para evitar el agotamiento de recursos. La biblioteca se diferencia por un sofisticado sistema de planificación de concurrencia y control de flujo basado en la demanda. Desacopla el procesamiento de señales de hilos específicos utilizando un registro de planificadores y proporciona mecanismos para la propagación de metadatos inmutables conscientes del contexto a través de límites asíncronos. También cuenta con herramientas especializadas para la captura de trazas en tiempo de ensamblaje y planificación de tiempo virtual para facilitar la prueba de operadores basados en el tiempo. El proyecto cubre una amplia gama de capacidades, incluyendo procesamiento funcional de datos para agregación y ventanas de secuencias, una variedad de estrategias de recuperación de errores como reintentos con retroceso exponencial y utilidades para conectar API de callback heredadas o síncronas en flujos reactivos. Además, proporciona instrumentación para el monitoreo de pipelines y un conjunto de herramientas de prueba para verificar secuencias de señales.
Provides a rich set of operators for mapping, flattening, and transforming asynchronous data sequences.
NCCL es una biblioteca de comunicación de alto rendimiento y un framework de computación distribuida en GPU diseñado para ejecutar intercambios de datos colectivos y punto a punto a través de múltiples GPUs en sistemas de uno o varios nodos. Sirve como capa de transporte RDMA para GPU y orquestador de memoria, facilitando la sincronización de gran ancho de banda de datos y gradientes de modelos para el entrenamiento e inferencia distribuida en GPU. La biblioteca se distingue por su capacidad para ejecutar primitivas de comunicación directamente desde kernels de GPU, eliminando la CPU anfitriona del camino crítico. Utiliza la selección de rutas consciente de la topología para optimizar el movimiento de datos y emplea transporte de red basado en RDMA, incluyendo InfiniBand y NVLink, para permitir el acceso a memoria de copia cero entre dispositivos a través de diferentes nodos físicos. El proyecto cubre una amplia gama de patrones de comunicación colectiva, incluyendo reducciones, broadcasts, gathers e intercambios all-to-all, junto con acceso remoto a memoria punto a punto. Proporciona una gestión integral de comunicadores para inicializar, particionar y redimensionar grupos de GPU, así como una gestión de memoria especializada para registrar buffers y coordinar memoria compartida de dispositivo. El sistema incluye un conjunto de herramientas de monitoreo y observabilidad para el seguimiento de la salud, registro de diagnósticos y monitoreo de eventos en tiempo real, así como interfaces de integración para frameworks de aprendizaje automático, CUDA graphs, MPI y Python.
NCCL performs a reduction across multiple sources and copies the resulting value to destinations in a single operation.
This is a C++ ranges library and extension to the Standard Template Library that provides a collection of composable algorithms and lazy views for processing data sequences. It functions as a lazy sequence processing framework and a template meta-programming library for manipulating type lists and performing compile-time type computations. The project enables functional programming patterns in C++ through the use of pipe syntax and partial application to create readable, left-to-right data transformation chains. It allows for the construction of lazy data pipelines that filter and transform e
Implements a comprehensive set of algorithms for mapping and transforming data sequences to optimize memory and processing.
more-itertools is a Python iterable utility library providing advanced functions for manipulating, filtering, and transforming data sequences. It serves as a data stream processing toolkit and a set of utilities for iterator state management, extending the capabilities of the standard Python itertools module. The library includes a combinatorial math toolkit for generating permutations, combinations, and powersets, alongside routines for number theory calculations and matrix operations. It also provides tools for stream state management, allowing users to peek at upcoming elements or seek wit
Offers algorithms for mapping and transforming sequences, including padding and repeating values.
MoreLINQ is a functional programming toolkit for .NET that provides a comprehensive collection of extension methods for LINQ to Objects. It enables declarative data transformation and sequence manipulation by extending standard collection interfaces with operators that support lazy evaluation and functional composition. By leveraging the iterator pattern, the library allows for efficient, streaming-based processing of data sets while maintaining strong type safety through generic constraints. The library distinguishes itself by offering advanced capabilities for structural manipulation and co
Provides a comprehensive suite of operators for mapping, transforming, and reshaping data sequences.