11 repository-uri
Algorithms for mapping and transforming one sequence of data into another to optimize memory and processing.
Distinct from Sequence To Sequence Models: The candidates refer to ML Sequence-to-Sequence models (Transformers), whereas this is a general algorithmic utility for mapping data sequences.
Explore 11 awesome GitHub repositories matching data & databases · Sequence Transformations. Refine with filters or upvote what's useful.
This project is a markdown knowledge base used to maintain a curated collection of concise technical notes and write-ups across various programming languages and tools. It serves as a searchable personal reference library for documenting technical discoveries and software development patterns. The system implements a learning in public workflow, transforming markdown-based content storage into a static site. It utilizes directory-based routing to map folder structures to URL paths and employs schema-driven type generation to ensure data consistency across the knowledge base. The codebase cov
Produces a sequence of all intermediate values generated during a collection reduction.
pifs este un sistem de fișiere cu constante matematice și un simulator de stocare fără date. Acesta emulează un sistem de fișiere virtual prin maparea datelor fișierelor la secvențe de cifre din cadrul unor constante matematice infinite, pentru a elimina nevoia de stocare fizică pe disc. Sistemul funcționează ca un instrument experimental de mapare a fișierelor care convertește conținutul fișierelor în coordonate și offset-uri în cadrul unei constante numerice. Utilizează un manager de metadate virtual pentru a urmări lungimile și pozițiile fișierelor, permițând regăsirea datelor fără blocuri de stocare tradiționale. Proiectul acoperă arhitectura de stocare experimentală prin utilizarea calculelor de offset formulaice și a urmăririi metadatelor bazate pe index pentru a simula o ierarhie standard de fișiere.
Implements the conversion of raw file content into digit sequences compatible with mathematical constants.
This project is a comprehensive Lisp AI implementation library that provides reference implementations for various artificial intelligence paradigms and symbolic algorithms. It functions as a multi-purpose toolkit containing a logic programming engine, a natural language processing suite, and a symbolic mathematics toolkit. The library is distinguished by its diverse architectural frameworks, including a Prolog-style execution engine that uses unification and goal-driven backtracking, and a system for simulating human decision-making through expert system shells and certainty factors. It also
Deno Data Storage & Sync applies a function to multiple sequences and writes results into a target sequence to minimize memory allocation.
The .NET Reactive Extensions Library is a framework for composing, querying, and transforming asynchronous data streams. It provides a non-blocking implementation of the observer pattern to manage notifications and data flows between producers and consumers, functioning as an event stream processing library. The project applies LINQ-style querying and filtering operators to asynchronous sequences. This allows for the handling of event-driven programming patterns by utilizing composable operators to process notifications as they occur. The library covers asynchronous data streaming and non-bl
Applies advanced operators to asynchronous enumerables for complex data transformations.
language-ext is a functional programming framework for C# that provides a suite of immutable data structures and monadic types. It enables the implementation of pure functional programming patterns, utilizing containers to manage side effects, optional values, and error handling. The library is distinguished by its advanced concurrency and state management tools, including a software transactional memory system and lock-free atomic references. It also provides specialized utilities for distributed systems, such as vector clocks for causality tracking and deterministic data conflict resolution
Applies mapping functions to each element of a lazy sequence to produce a new transformed sequence.
RxKotlin is a reactive programming library and asynchronous stream processor that provides Kotlin language extensions for composing event-based data streams. It serves as a set of Kotlin bindings for RxJava, allowing developers to transform, filter, and flatten sequences of data emitted over time. The library focuses on integrating RxJava patterns into Kotlin projects by applying language-specific conventions and idioms. It utilizes extension functions to simplify reactive programming patterns, reduce boilerplate, and optimize workflows within the reactive ecosystem. The toolkit covers a bro
Employs lazy transformations on data streams, ensuring operations are only executed upon observer subscription.
Reactor Core este un toolkit de programare reactivă și o fundație non-blocking pentru compunerea pipeline-urilor de date asincrone pe JVM. Servește drept framework de procesare a fluxurilor asincrone și sistem de gestionare a backpressure-ului, permițând dezvoltatorilor să transforme, filtreze și combine secvențe de evenimente în timp ce reglează fluxul de date între producători și consumatori pentru a preveni epuizarea resurselor. Biblioteca se diferențiază printr-un sistem sofisticat de programare a concurenței și control al fluxului bazat pe cerere. Decuplează procesarea semnalelor de firele de execuție specifice folosind un registru de scheduler și oferă mecanisme pentru propagarea metadatelor imutabile conștiente de context peste limitele asincrone. De asemenea, dispune de instrumente specializate pentru capturarea urmelor la momentul asamblării și programarea timpului virtual pentru a facilita testarea operatorilor bazați pe timp. Proiectul acoperă o gamă largă de capabilități, inclusiv procesarea funcțională a datelor pentru agregarea și windowing-ul secvențelor, o varietate de strategii de recuperare a erorilor precum reîncercările cu backoff exponențial și utilitare pentru a conecta API-urile legacy de tip callback sau sincrone în fluxuri reactive. Oferă, de asemenea, instrumente pentru monitorizarea pipeline-ului și o suită de instrumente de testare pentru verificarea secvențelor de semnale.
Provides a rich set of operators for mapping, flattening, and transforming asynchronous data sequences.
NCCL este o bibliotecă de comunicare de înaltă performanță și un framework de calcul distribuit pe GPU, conceput pentru executarea schimburilor de date colective și punct-la-punct pe mai multe GPU-uri în sisteme cu un singur nod sau multi-nod. Servește ca strat de transport RDMA pentru GPU și orchestrator de memorie, facilitând sincronizarea cu lățime de bandă mare a datelor și a gradienților de model pentru antrenarea și inferența distribuită pe GPU. Biblioteca se distinge prin capacitatea sa de a executa primitive de comunicare direct din kernel-urile GPU, eliminând CPU-ul gazdă din calea critică. Utilizează selecția de căi conștientă de topologie pentru a optimiza mișcarea datelor și folosește transportul de rețea bazat pe RDMA, inclusiv InfiniBand și NVLink, pentru a permite accesul la memorie zero-copy între dispozitive pe diferite noduri fizice. Proiectul acoperă o gamă largă de tipare de comunicare colectivă, inclusiv reduceri, broadcast-uri, gather-uri și schimburi all-to-all, alături de accesul la memorie la distanță punct-la-punct. Oferă gestionare cuprinzătoare a comunicatorului pentru inițializarea, partiționarea și redimensionarea grupurilor GPU, precum și gestionarea specializată a memoriei pentru înregistrarea bufferelor și coordonarea memoriei partajate a dispozitivului. Sistemul include o suită de instrumente de monitorizare și observabilitate pentru urmărirea stării, logarea diagnostică și monitorizarea evenimentelor în timp real, precum și interfețe de integrare pentru framework-uri de machine learning, CUDA graphs, MPI și Python.
NCCL performs a reduction across multiple sources and copies the resulting value to destinations in a single operation.
Aceasta este o bibliotecă de ranges C++ și o extensie a Standard Template Library care oferă o colecție de algoritmi compozabili și view-uri lazy pentru procesarea secvențelor de date. Funcționează ca un framework de procesare a secvențelor lazy și o bibliotecă de meta-programare template pentru manipularea listelor de tipuri și efectuarea calculelor de tip la compilare. Proiectul permite tipare de programare funcțională în C++ prin utilizarea sintaxei pipe și a aplicării parțiale pentru a crea lanțuri de transformare a datelor lizibile, de la stânga la dreapta. Permite construirea de pipeline-uri de date lazy care filtrează și transformă elementele la cerere pentru a reduce consumul de memorie și a evita copiile inutile. Biblioteca acoperă zone largi de capabilități, inclusiv manipularea secvențelor, manipularea tipurilor la compilare și implementarea de tipuri de range-uri și iteratori personalizați. Oferă instrumente pentru mutarea containerelor in-place, dispatch-ul algoritmilor bazat pe proiecție și gestionarea listelor de tipuri printr-o serie de apelabile la nivel de tip.
Implements a comprehensive set of algorithms for mapping and transforming data sequences to optimize memory and processing.
more-itertools este o bibliotecă utilitară pentru iterabile în Python, care oferă funcții avansate pentru manipularea, filtrarea și transformarea secvențelor de date. Servește drept set de instrumente pentru procesarea fluxurilor de date și gestionarea stării iteratorilor, extinzând capabilitățile modulului standard itertools din Python. Biblioteca include un set de instrumente matematice combinatorice pentru generarea de permutări, combinații și mulțimi de puteri, alături de rutine pentru calcule de teoria numerelor și operații cu matrice. De asemenea, oferă instrumente pentru gestionarea stării fluxurilor, permițând utilizatorilor să verifice elementele viitoare sau să navigheze într-o secvență pentru a controla modul în care sunt consumate datele. Capabilitățile suplimentare acoperă rutine de procesare a datelor pentru fragmentarea (chunking), intercalarea și aplatizarea secvențelor complexe. Setul de instrumente include, de asemenea, funcții pentru analizarea proprietăților iterabilelor și sincronizarea fluxurilor de date concurente.
Offers algorithms for mapping and transforming sequences, including padding and repeating values.
This project is a library of algorithms for transforming, filtering, and combining asynchronous data streams in Swift. It provides a toolkit for managing asynchronous sequences, offering a concurrent sequence processor to merge, zip, and concatenate multiple streams into single outputs. The library distinguishes itself through specialized timing and flow control mechanisms. It implements asynchronous back-pressure to synchronize producer and consumer speeds and provides a toolkit for event timing, including debouncing, throttling, and the generation of periodic timers. The capability surface
Provides algorithms for mapping, filtering, and transforming asynchronous sequences into other sequences.