10 dépôts
Algorithms for mapping and transforming one sequence of data into another to optimize memory and processing.
Distinct from Sequence To Sequence Models: The candidates refer to ML Sequence-to-Sequence models (Transformers), whereas this is a general algorithmic utility for mapping data sequences.
Explore 10 awesome GitHub repositories matching data & databases · Sequence Transformations. Refine with filters or upvote what's useful.
This project is a markdown knowledge base used to maintain a curated collection of concise technical notes and write-ups across various programming languages and tools. It serves as a searchable personal reference library for documenting technical discoveries and software development patterns. The system implements a learning in public workflow, transforming markdown-based content storage into a static site. It utilizes directory-based routing to map folder structures to URL paths and employs schema-driven type generation to ensure data consistency across the knowledge base. The codebase cov
Produces a sequence of all intermediate values generated during a collection reduction.
pifs est un système de fichiers à constante mathématique et un simulateur de stockage sans données. Il émule un système de fichiers virtuel en mappant les données de fichiers vers des séquences de chiffres au sein de constantes mathématiques infinies pour éliminer le besoin de stockage sur disque physique. Le système fonctionne comme un outil expérimental de mappage de fichiers qui convertit le contenu des fichiers en coordonnées et offsets au sein d'une constante numérique. Il utilise un gestionnaire de métadonnées virtuel pour suivre les longueurs et les positions des fichiers, permettant la récupération des données sans blocs de stockage traditionnels. Le projet couvre l'architecture de stockage expérimentale grâce à l'utilisation de calculs d'offset formulaires et d'un suivi des métadonnées basé sur l'index pour simuler une hiérarchie de fichiers standard.
Implements the conversion of raw file content into digit sequences compatible with mathematical constants.
This project is a comprehensive Lisp AI implementation library that provides reference implementations for various artificial intelligence paradigms and symbolic algorithms. It functions as a multi-purpose toolkit containing a logic programming engine, a natural language processing suite, and a symbolic mathematics toolkit. The library is distinguished by its diverse architectural frameworks, including a Prolog-style execution engine that uses unification and goal-driven backtracking, and a system for simulating human decision-making through expert system shells and certainty factors. It also
Deno Data Storage & Sync applies a function to multiple sequences and writes results into a target sequence to minimize memory allocation.
The .NET Reactive Extensions Library is a framework for composing, querying, and transforming asynchronous data streams. It provides a non-blocking implementation of the observer pattern to manage notifications and data flows between producers and consumers, functioning as an event stream processing library. The project applies LINQ-style querying and filtering operators to asynchronous sequences. This allows for the handling of event-driven programming patterns by utilizing composable operators to process notifications as they occur. The library covers asynchronous data streaming and non-bl
Applies advanced operators to asynchronous enumerables for complex data transformations.
language-ext is a functional programming framework for C# that provides a suite of immutable data structures and monadic types. It enables the implementation of pure functional programming patterns, utilizing containers to manage side effects, optional values, and error handling. The library is distinguished by its advanced concurrency and state management tools, including a software transactional memory system and lock-free atomic references. It also provides specialized utilities for distributed systems, such as vector clocks for causality tracking and deterministic data conflict resolution
Applies mapping functions to each element of a lazy sequence to produce a new transformed sequence.
RxKotlin is a reactive programming library and asynchronous stream processor that provides Kotlin language extensions for composing event-based data streams. It serves as a set of Kotlin bindings for RxJava, allowing developers to transform, filter, and flatten sequences of data emitted over time. The library focuses on integrating RxJava patterns into Kotlin projects by applying language-specific conventions and idioms. It utilizes extension functions to simplify reactive programming patterns, reduce boilerplate, and optimize workflows within the reactive ecosystem. The toolkit covers a bro
Employs lazy transformations on data streams, ensuring operations are only executed upon observer subscription.
Reactor Core est une boîte à outils de programmation réactive et une fondation non bloquante pour composer des pipelines de données asynchrones sur la JVM. Il sert de framework de traitement de flux asynchrone et de système de gestion de contre-pression (backpressure), permettant aux développeurs de transformer, filtrer et combiner des séquences d'événements tout en régulant le flux de données entre les producteurs et les consommateurs pour éviter l'épuisement des ressources. La bibliothèque se différencie par un système sophistiqué de planification de la concurrence et un contrôle de flux basé sur la demande. Elle découple le traitement des signaux de threads spécifiques en utilisant un registre de planificateur et fournit des mécanismes pour la propagation de métadonnées immuables sensibles au contexte à travers les frontières asynchrones. Elle dispose également d'outils spécialisés pour la capture de traces au moment de l'assemblage et la planification en temps virtuel pour faciliter le test des opérateurs basés sur le temps. Le projet couvre un large éventail de capacités, incluant le traitement fonctionnel de données pour l'agrégation et le fenêtrage de séquences, une variété de stratégies de récupération d'erreurs comme les tentatives avec backoff exponentiel, et des utilitaires pour faire le pont entre les API de rappel (callback) héritées ou synchrones et les flux réactifs. Elle fournit en outre une instrumentation pour la surveillance des pipelines et une suite d'outils de test pour vérifier les séquences de signaux.
Provides a rich set of operators for mapping, flattening, and transforming asynchronous data sequences.
NCCL est une bibliothèque de communication haute performance et un framework de calcul GPU distribué conçu pour exécuter des échanges de données collectifs et point à point sur plusieurs GPU dans des systèmes à un ou plusieurs nœuds. Il sert de couche de transport GPU RDMA et d'orchestrateur de mémoire, facilitant la synchronisation à large bande passante des données et des gradients de modèle pour l'entraînement et l'inférence GPU distribués. La bibliothèque se distingue par sa capacité à exécuter des primitives de communication directement depuis les noyaux (kernels) GPU, supprimant le CPU hôte du chemin critique. Elle utilise une sélection de chemin consciente de la topologie pour optimiser le mouvement des données et emploie un transport réseau basé sur RDMA, incluant InfiniBand et NVLink, pour permettre un accès mémoire zéro-copie entre les appareils sur différents nœuds physiques. Le projet couvre un large éventail de modèles de communication collective, notamment les réductions, les diffusions (broadcasts), les rassemblements (gathers) et les échanges tous-à-tous, ainsi que l'accès mémoire distant point à point. Il fournit une gestion complète des communicateurs pour initialiser, partitionner et redimensionner les groupes GPU, ainsi qu'une gestion spécialisée de la mémoire pour enregistrer les tampons (buffers) et coordonner la mémoire partagée des appareils. Le système inclut une suite d'outils de surveillance et d'observabilité pour le suivi de la santé, la journalisation diagnostique et la surveillance des événements en temps réel, ainsi que des interfaces d'intégration pour les frameworks de machine learning, les graphes CUDA, MPI et Python.
NCCL performs a reduction across multiple sources and copies the resulting value to destinations in a single operation.
Il s'agit d'une bibliothèque de plages C++ et d'une extension de la Standard Template Library qui fournit une collection d'algorithmes composables et de vues paresseuses pour traiter des séquences de données. Elle fonctionne comme un framework de traitement de séquence paresseux et une bibliothèque de métaprogrammation de modèles pour manipuler des listes de types et effectuer des calculs de type à la compilation. Le projet permet des modèles de programmation fonctionnelle en C++ grâce à l'utilisation de la syntaxe de pipe et de l'application partielle pour créer des chaînes de transformation de données lisibles, de gauche à droite. Il permet la construction de pipelines de données paresseux qui filtrent et transforment les éléments à la demande pour réduire la surcharge mémoire et éviter les copies inutiles. La bibliothèque couvre de larges domaines de capacité, y compris la manipulation de séquences, la manipulation de types à la compilation et l'implémentation de types de plage et d'itérateurs personnalisés. Elle fournit des outils pour la mutation de conteneurs sur place, la répartition d'algorithmes basée sur la projection et la gestion de listes de types via une série d'appelables au niveau du type.
Implements a comprehensive set of algorithms for mapping and transforming data sequences to optimize memory and processing.
more-itertools is a Python iterable utility library providing advanced functions for manipulating, filtering, and transforming data sequences. It serves as a data stream processing toolkit and a set of utilities for iterator state management, extending the capabilities of the standard Python itertools module. The library includes a combinatorial math toolkit for generating permutations, combinations, and powersets, alongside routines for number theory calculations and matrix operations. It also provides tools for stream state management, allowing users to peek at upcoming elements or seek wit
Offers algorithms for mapping and transforming sequences, including padding and repeating values.