10 مستودعات
Algorithms for mapping and transforming one sequence of data into another to optimize memory and processing.
Distinct from Sequence To Sequence Models: The candidates refer to ML Sequence-to-Sequence models (Transformers), whereas this is a general algorithmic utility for mapping data sequences.
Explore 10 awesome GitHub repositories matching data & databases · Sequence Transformations. Refine with filters or upvote what's useful.
This project is a markdown knowledge base used to maintain a curated collection of concise technical notes and write-ups across various programming languages and tools. It serves as a searchable personal reference library for documenting technical discoveries and software development patterns. The system implements a learning in public workflow, transforming markdown-based content storage into a static site. It utilizes directory-based routing to map folder structures to URL paths and employs schema-driven type generation to ensure data consistency across the knowledge base. The codebase cov
Produces a sequence of all intermediate values generated during a collection reduction.
pifs هو نظام ملفات للثوابت الرياضية ومحاكي تخزين خالٍ من البيانات. يحاكي نظام ملفات افتراضياً عن طريق تعيين بيانات الملف إلى تسلسلات أرقام داخل ثوابت رياضية لا نهائية للقضاء على الحاجة إلى تخزين القرص المادي. يعمل النظام كأداة تجريبية لتعيين الملفات تقوم بتحويل محتوى الملف إلى إحداثيات وإزاحات داخل ثابت عددي. يستخدم مديراً افتراضياً للبيانات الوصفية لتتبع أطوال ومواقع الملفات، مما يسمح باسترجاع البيانات بدون كتل تخزين تقليدية. يغطي المشروع معمارية تخزين تجريبية من خلال استخدام حسابات الإزاحة الصيغية وتتبع البيانات الوصفية القائم على الفهرس لمحاكاة تسلسل هرمي قياسي للملفات.
Implements the conversion of raw file content into digit sequences compatible with mathematical constants.
This project is a comprehensive Lisp AI implementation library that provides reference implementations for various artificial intelligence paradigms and symbolic algorithms. It functions as a multi-purpose toolkit containing a logic programming engine, a natural language processing suite, and a symbolic mathematics toolkit. The library is distinguished by its diverse architectural frameworks, including a Prolog-style execution engine that uses unification and goal-driven backtracking, and a system for simulating human decision-making through expert system shells and certainty factors. It also
Deno Data Storage & Sync applies a function to multiple sequences and writes results into a target sequence to minimize memory allocation.
The .NET Reactive Extensions Library is a framework for composing, querying, and transforming asynchronous data streams. It provides a non-blocking implementation of the observer pattern to manage notifications and data flows between producers and consumers, functioning as an event stream processing library. The project applies LINQ-style querying and filtering operators to asynchronous sequences. This allows for the handling of event-driven programming patterns by utilizing composable operators to process notifications as they occur. The library covers asynchronous data streaming and non-bl
Applies advanced operators to asynchronous enumerables for complex data transformations.
language-ext is a functional programming framework for C# that provides a suite of immutable data structures and monadic types. It enables the implementation of pure functional programming patterns, utilizing containers to manage side effects, optional values, and error handling. The library is distinguished by its advanced concurrency and state management tools, including a software transactional memory system and lock-free atomic references. It also provides specialized utilities for distributed systems, such as vector clocks for causality tracking and deterministic data conflict resolution
Applies mapping functions to each element of a lazy sequence to produce a new transformed sequence.
RxKotlin is a reactive programming library and asynchronous stream processor that provides Kotlin language extensions for composing event-based data streams. It serves as a set of Kotlin bindings for RxJava, allowing developers to transform, filter, and flatten sequences of data emitted over time. The library focuses on integrating RxJava patterns into Kotlin projects by applying language-specific conventions and idioms. It utilizes extension functions to simplify reactive programming patterns, reduce boilerplate, and optimize workflows within the reactive ecosystem. The toolkit covers a bro
Employs lazy transformations on data streams, ensuring operations are only executed upon observer subscription.
Reactor Core هي مجموعة أدوات برمجة تفاعلية وأساس غير محظور لتكوين خطوط أنابيب بيانات غير متزامنة على JVM. تعمل كإطار عمل لمعالجة التدفق غير المتزامن ونظام إدارة الضغط العكسي، مما يسمح للمطورين بتحويل وتصفية ودمج تسلسلات الأحداث مع تنظيم تدفق البيانات بين المنتجين والمستهلكين لمنع استنفاد الموارد. تتميز المكتبة بنظام جدولة تزامن متطور وتحكم في التدفق قائم على الطلب. تفصل معالجة الإشارات عن خيوط معينة باستخدام سجل جدولة وتوفر آليات لنشر البيانات الوصفية غير القابلة للتغيير المدركة للسياق عبر الحدود غير المتزامنة. كما تتميز بأدوات متخصصة لالتقاط التتبع في وقت التجميع وجدولة الوقت الافتراضي لتسهيل اختبار المشغلين القائمين على الوقت. يغطي المشروع مجموعة واسعة من القدرات، بما في ذلك معالجة البيانات الوظيفية لتجميع التسلسل والنافذة، ومجموعة متنوعة من استراتيجيات استرداد الأخطاء مثل إعادة المحاولة ذات التراجع الأسي، وأدوات لربط رد الاتصال القديم أو واجهات برمجة التطبيقات المتزامنة في تدفقات تفاعلية. كما يوفر أدوات لمراقبة خط الأنابيب ومجموعة من أدوات الاختبار للتحقق من تسلسلات الإشارة.
Provides a rich set of operators for mapping, flattening, and transforming asynchronous data sequences.
NCCL هي مكتبة اتصالات عالية الأداء وإطار عمل حوسبة GPU موزع مصمم لتنفيذ تبادلات البيانات الجماعية ومن نقطة إلى نقطة عبر وحدات GPU متعددة في أنظمة أحادية أو متعددة العقد. تعمل كطبقة نقل GPU RDMA ومنسق ذاكرة، مما يسهل مزامنة البيانات وتدرجات النماذج ذات النطاق الترددي العالي للتدريب والاستدلال الموزع على GPU. تتميز المكتبة بقدرتها على تنفيذ بدائيات الاتصال مباشرة من نواة GPU، مما يزيل وحدة المعالجة المركزية المضيفة من المسار الحرج. وتستخدم اختيار المسار الواعي بالطوبولوجيا لتحسين حركة البيانات وتوظف نقل الشبكة القائم على RDMA، بما في ذلك InfiniBand و NVLink، لتمكين الوصول إلى الذاكرة بدون نسخ (Zero-copy) بين الأجهزة عبر عقد مادية مختلفة. يغطي المشروع مجموعة واسعة من أنماط الاتصال الجماعي، بما في ذلك الاختزالات، والبث، والتجميع، وتبادلات الكل إلى الكل، إلى جانب الوصول إلى الذاكرة عن بُعد من نقطة إلى نقطة. ويوفر إدارة شاملة للمتصلين لتهيئة وتقسيم وتغيير حجم مجموعات GPU، بالإضافة إلى إدارة ذاكرة متخصصة لتسجيل المخازن المؤقتة وتنسيق ذاكرة الجهاز المشتركة. يتضمن النظام مجموعة من أدوات المراقبة والقابلية للملاحظة لتتبع الصحة، وتسجيل التشخيص، ومراقبة الأحداث في الوقت الفعلي، بالإضافة إلى واجهات تكامل لإطارات عمل تعلم الآلة، و CUDA graphs، و MPI، و Python.
NCCL performs a reduction across multiple sources and copies the resulting value to destinations in a single operation.
هذه مكتبة C++ ranges وامتداد لمكتبة القوالب القياسية (STL) توفر مجموعة من الخوارزميات القابلة للتركيب وطرق العرض الكسولة (lazy views) لمعالجة تسلسلات البيانات. تعمل كإطار عمل لمعالجة التسلسل الكسول ومكتبة للبرمجة الوصفية للقوالب لمعالجة قوائم الأنواع وإجراء حسابات الأنواع في وقت التجميع. يمكّن المشروع أنماط البرمجة الوظيفية في C++ من خلال استخدام بناء جملة الأنابيب (pipe syntax) والتطبيق الجزئي لإنشاء سلاسل تحويل بيانات مقروءة من اليسار إلى اليمين. ويسمح ببناء خطوط أنابيب بيانات كسولة تقوم بتصفية وتحويل العناصر عند الطلب لتقليل حمل الذاكرة وتجنب النسخ غير الضروري. تغطي المكتبة مجالات قدرات واسعة بما في ذلك معالجة التسلسل، ومعالجة الأنواع في وقت التجميع، وتنفيذ أنواع النطاقات والمكررات المخصصة. وتوفر أدوات لطفرة الحاويات في المكان (eager in-place)، وإرسال الخوارزمية القائم على الإسقاط، وإدارة قوائم الأنواع من خلال سلسلة من الكائنات القابلة للاستدعاء على مستوى النوع.
Implements a comprehensive set of algorithms for mapping and transforming data sequences to optimize memory and processing.
more-itertools is a Python iterable utility library providing advanced functions for manipulating, filtering, and transforming data sequences. It serves as a data stream processing toolkit and a set of utilities for iterator state management, extending the capabilities of the standard Python itertools module. The library includes a combinatorial math toolkit for generating permutations, combinations, and powersets, alongside routines for number theory calculations and matrix operations. It also provides tools for stream state management, allowing users to peek at upcoming elements or seek wit
Offers algorithms for mapping and transforming sequences, including padding and repeating values.