20 مستودعات
Functions for processing complex, hierarchical data structures within columnar formats.
Distinguishing note: Specifically targets list-type columns rather than flat data structures.
Explore 20 awesome GitHub repositories matching data & databases · Nested Data Manipulations. Refine with filters or upvote what's useful.
هذا المشروع عبارة عن دليل يديره المجتمع ويعمل كفهرس شامل لأدوات البرمجيات، وأطر العمل، والمواد التعليمية. يعمل كقاعدة معرفية مفتوحة المصدر، حيث ينظم مجالات هندسية وموارد تقنية متنوعة في تصنيف هيكلي لمساعدة المطورين في اكتشاف محتوى عالي الجودة. يتميز الدليل بنموذج مراجعة الأقران اللامركزي، حيث يقوم مساهمون مستقلون بتنظيم وتدقيق وتحديث الإدخالات لضمان الدقة والملاءمة. يتم تخزين جميع المعلومات بتنسيق markdown في ملفات مسطحة (flat-file) خاضعة للتحكم في الإصدار، مما يضمن استقلالية المنصة والشفافية وقابلية التدقيق للمجموعة بأكملها. يغطي المشروع نطاقاً واسعاً من القدرات، بدءاً من اكتشاف الموارد التقنية، والتطوير المهني الوظيفي، وإدارة معرفة تطوير البرمجيات. ويوفر الوصول إلى مسارات تعليمية منظمة، وأدوات البنية التحتية والأمن، ومرافق إدارة البيانات، وموارد متخصصة لمجالات تتراوح من الرعاية الصحية إلى العلوم الإنسانية الرقمية. يتم الحفاظ على المستودع كمجموعة عامة خاضعة للتحكم في الإصدار، مما يسمح بالوصول البرمجي والتحديثات التي يقودها المجتمع لبياناته المهيكلة.
Offers functions for processing complex, hierarchical data structures.
Polars is a high-performance columnar data processing library designed for efficient analytical workflows. It functions as a structured data library that organizes information into typed columns, utilizing the Apache Arrow memory format to enable zero-copy data sharing and cache-friendly, vectorized operations. The engine is built to handle large-scale tabular datasets, providing both local and distributed analytical runtimes that scale from single-machine environments to multi-node clusters. The project distinguishes itself through a sophisticated lazy query engine that constructs abstract e
Processes list-type data columns using dedicated functions for aggregation and element-wise computation.
This is a persistent data structure library for JavaScript that provides collections which prevent the direct mutation of objects and arrays. It serves as an immutable state management tool and functional programming utility, ensuring that data remains unchanged after creation to simplify change detection and state tracking. The library enables the maintenance of application state by producing new versions of data structures during updates. It focuses on efficient data comparison by checking actual content instead of memory references and supports a functional programming workflow to prevent
Offers functions for processing and updating complex, hierarchical data structures using path-based accessors.
Portia is a containerized scraping platform and visual web scraper that enables no-code data extraction. It serves as a Scrapy visual scraping tool and spider generator, allowing users to design and deploy web scrapers through a graphical interface instead of writing manual selector code. The system distinguishes itself by converting visual web page annotations into executable Scrapy spider code and structured JSON specifications. This visual-to-code mapping allows users to define scraping logic and extraction rules through a point-and-click interface, which can then be exported for use in ex
Captures complex hierarchical data structures from web pages by nesting extracted items.
Databend is a cloud-native data warehouse and OLAP database designed for large-scale analytics. It functions as a SQL-compliant engine and serverless analytics platform that separates compute from storage to allow for independent scaling. The system integrates vector database capabilities, indexing high-dimensional embeddings to enable semantic, hybrid, and full-text searches across massive datasets. It further distinguishes itself through serverless compute management that automatically scales resources based on demand and shuts them down during idle periods. The platform covers a broad set
Flattens nested arrays or objects into individual rows to facilitate analysis of complex data structures.
VisiData is a terminal-based interactive data analysis tool and browser designed for exploring, filtering, and sorting large tabular datasets. It functions as a structured data inspector that loads and flattens complex formats like JSON, XML, and PCAP into interactive sheets, as well as a terminal file manager for navigating directories and performing staged filesystem operations. The project distinguishes itself by rendering data visualizations, such as scatter plots and histograms, directly in the terminal using Unicode Braille characters. It provides a Python-based data wrangling environme
Flattens complex hierarchical data like JSON arrays into multiple top-level columns.
This project is a comprehensive library of practical Python code examples and patterns. It provides a collection of scripts and snippets designed to demonstrate a wide range of programming tasks, from basic syntax to advanced implementation patterns. The repository focuses on several core domains, including the implementation of concurrency and multithreading examples, data analysis snippets for cleaning and manipulating tabular data, and various data visualization examples. It also covers automation scripts for file system management and a variety of general programming patterns. Additional
Provides a generator that recursively converts multi-level nested lists into a single flat list.
pydoll is a Chrome DevTools Protocol automation library and headless browser controller used for web data extraction and parallel browser automation. It controls Chromium-based browsers via direct WebSocket connections, allowing it to manage isolated browser contexts and tabs while bypassing the overhead and detection associated with WebDriver. The project features an anti-bot evasion framework that mimics natural human behavior, including mouse movements generated via Bezier curves and variable typing patterns. It provides specialized stealth capabilities to bypass behavioral analysis and au
Resolves hierarchical data by defining scope elements to extract nested sub-models from the DOM.
This repository is a collection of practical code snippets and implementation patterns for Flutter and Dart. It serves as a comprehensive guide and reference for asynchronous programming, state management patterns, and UI component design. The project provides advanced language reference material covering generics, reflection, factory constructors, and null-aware operators. It also includes specific utilities for manipulating Dart collections, such as helper methods for transforming and filtering maps, lists, and iterables. The coverage extends to high-level capabilities including asynchrono
Provides utilities to flatten lists containing sublists into a single linear sequence.
Faust is a Python library for building distributed stream processing applications that integrate with Kafka. It functions as an asynchronous stream processor designed to handle high-throughput event streams and real-time data analysis using asynchronous functions. The system operates as a distributed stream processor and state store, utilizing sharding and partitioned topics to scale processing workloads horizontally across multiple worker nodes. It maintains state through a replicated key-value storage system backed by local databases to ensure high availability and fast recovery. The frame
Maintains complex types like lists and sets within tables by utilizing a transaction log for the changelog.
collect.js is a dependency-free JavaScript library that provides a fluent, chainable interface for manipulating arrays and objects. It mirrors the Laravel Collection API, offering a consistent set of methods for data transformation across JavaScript and Laravel backend environments. The library stores collection data as plain arrays internally and supports fluent method chaining, where each method returns a new collection instance. The library distinguishes itself by closely replicating the Laravel Collection API in JavaScript, mapping each PHP method to an equivalent JavaScript implementatio
Recursively reduces a multi-dimensional array or object into a single-level collection.
Object-enumerator is a data structure crawler and enumeration library designed to discover and list all objects stored within deep or circular data references. It functions as a traversal tool that recursively walks through nested arrays and object graphs to identify every individual referenced object. The library flattens complex hierarchical data structures into a linear collection of unique objects. This process enables data structure analysis and memory reference mapping by tracing all objects connected to a root element to understand the overall composition of a data set.
Flattens complex object hierarchies into a comprehensive, linear list of all contained individual objects.
هذا المشروع عبارة عن مكتبة منسقة لتطبيقات الخوارزميات ومشكلات البرمجة المحلولة. يعمل كمستودع مرجعي للبرمجة التنافسية وتطبيقات هياكل البيانات، حيث يوفر حلولاً محسنة لمجموعة واسعة من تحديات البرمجة. تنظم المجموعة أمثلة الكود حسب التقنية الخوارزمية، مع التركيز بشكل خاص على تنفيذ الأشجار، والرسوم البيانية، والأكوام لتحسين تعقيد الوقت والمساحة. يوفر حلولاً خاصة بلغات معينة تُستخدم لمهام البرمجة عالية الأداء. يغطي المستودع مجموعة واسعة من القدرات، بما في ذلك اجتياز الرسوم البيانية، والبرمجة الديناميكية، ومعالجة أنماط النصوص، وعمليات البحث الثنائي. كما يتضمن تطبيقات لاستعلام بيانات النطاق، ومعالجة البتات، وتصميم هياكل بيانات مخصصة مثل ذاكرات التخزين المؤقت ومحركات الإكمال التلقائي. تشمل التغطية الإضافية الحسابات الرياضية وتتبع أداء المسابقات.
Provides recursive logic to convert hierarchical nested list structures into linear integer sequences.
Pinot is a distributed, columnar analytical database designed for high-concurrency, low-latency query processing. It functions as a real-time OLAP datastore, enabling interactive, user-facing analytics by ingesting and querying massive datasets from both streaming and batch sources. The system architecture relies on a centralized controller for cluster coordination and a distributed segment-based storage model to ensure horizontal scalability. The platform distinguishes itself through a hybrid ingestion pipeline that unifies real-time event streams and historical batch data into a single quer
Transforms hierarchical or array-based data into individual rows during ingestion to enable granular analysis of nested collections and multi-level arrays.
Pest is a Rust parsing library and automatic parser generator that transforms formal grammar definitions into functional parsers. It specializes in Parsing Expression Grammar to recognize and structure complex text patterns, providing a system for context-free grammar parsing. The library implements zero-copy tokenization and static grammar compilation to reduce runtime overhead. It supports no-std runtime compatibility, allowing the parser to be compiled for embedded or bare-metal environments where a standard library is unavailable. The project covers a range of parsing capabilities, inclu
Provides a hierarchical tree of rule names and byte offsets for efficient traversal of parsed input.
dplyr هي مكتبة لمعالجة البيانات في لغة R توفر قواعد لتحويل إطارات البيانات الجدولية. تعمل كمعالج لإطارات البيانات الموجودة في الذاكرة وأداة لجبر البيانات العلائقية، باستخدام مجموعة متسقة من الأفعال لتصفية البيانات واختيارها وتلخيصها. يتضمن المشروع محرك ترجمة SQL يقوم بتحويل تعبيرات معالجة البيانات عالية المستوى إلى استعلامات محسنة. يتيح ذلك للمستخدمين إجراء التحويلات مباشرة على قواعد البيانات العلائقية البعيدة والتخزين السحابي دون الحاجة إلى جلب البيانات محلياً. تغطي المكتبة مجموعة واسعة من العمليات الجدولية، بما في ذلك تعديل الأعمدة، وتحديد مجموعات فرعية من الصفوف، وربط البيانات العلائقية. كما توفر إمكانيات لتحليل البيانات المجمعة، مما يسمح بتقسيم مجموعات البيانات لإجراء عمليات تجميع وملخصات مستقلة.
Collapses rows into list-columns based on grouping variables to enable hierarchical analysis.
هذا المشروع عبارة عن مكتبة مرجعية منسقة لأنماط الخوارزميات، وتطبيقات هياكل البيانات، وملاحظات تصميم النظام. يعمل كمجموعة مشاكل خوارزمية بلغة Java ودليل برمجة تنافسي، ويوفر مجموعة من الحلول لتحديات البرمجة من منصات مثل LeetCode وLintCode. تتميز المكتبة بمجموعتها الشاملة من تطبيقات Java لهياكل البيانات المتقدمة والاستراتيجيات الخوارزمية. تتضمن مراجع مفصلة لحل المشكلات المعقدة مع تحليل مصاحب لتعقيد الوقت والمساحة. يغطي المشروع مساحة واسعة من أساسيات علوم الكمبيوتر، بما في ذلك تصميم الخوارزميات، وتطبيق هياكل البيانات، وتصميم النظام. تمتد محتوياته إلى نظرية الرسم البياني، والبرمجة الديناميكية، والبحث والتحسين، وتقنيات معالجة البيانات الخطية. كما يتضمن ملاحظات حول قابلية توسيع البنية التحتية، والتخزين المؤقت للأداء، وأنماط هندسة البرمجيات.
Provides recursive methods to convert multi-level nested list structures into linear sequences.
PRAW هو مكتبة Python للتعامل مع واجهة برمجة تطبيقات Reddit، ويعمل كعميل REST API وزاحف لبيانات وسائل التواصل الاجتماعي. يوفر واجهة برمجية لجلب البيانات، وإدارة محتوى الحساب، والتفاعل مع المنصة. تنفذ المكتبة عميل OAuth 2.0 شاملاً يدعم تدفقات تفويض متعددة، بما في ذلك كلمات المرور، والتدفقات الضمنية، ورموز التحديث، بالإضافة إلى وصول الضيف للقراءة فقط. يتميز بجدولة طلبات تراعي حدود المعدل (rate-limit-aware) التي تتبع تقييد الخادم لمنع استنفاد حصة API، ويستخدم كائنات تحميل كسول (lazy-loading) لجلب البيانات فقط عند الوصول إلى سمات محددة. تغطي القدرات إدارة المجتمع والمستخدمين، وبث المشاركات في الوقت الفعلي عبر المولدات، واستخراج سلاسل النقاش المتداخلة. تتضمن مجموعة الأدوات أيضاً إدارة المحتوى لإنشاء المنشورات والتعليقات، إلى جانب خيارات تكوين الشبكة للجلسات المخصصة وتوجيه الوكيل (proxy routing).
Provides recursive conversion of hierarchical discussion threads into linear lists of comment objects.
FastAdapter is a framework for building complex Android lists by mapping data models to view templates. It functions as a RecyclerView adapter framework and composite list controller, aggregating multiple independent data sources and view types into a single unified list. The library includes a specialized engine for flattening hierarchical data into expandable and collapsible rows. It provides a set of tools for managing user interactions, including clicks, long-presses, and item selection across diverse content types. The project covers broad list management capabilities, such as layout co
Transforms nested hierarchical data into a linear sequence to enable expandable and collapsible list rows.
MoreLINQ is a functional programming toolkit and extension library for .NET that augments LINQ to Objects with advanced operators for sequence manipulation and analysis. It provides a set of tools for declarative data transformation, leveraging lazy evaluation and composition to handle complex object sequences. The library is distinguished by its specialized capabilities for combinatorial generation, including the production of permutations, subsets, and Cartesian products. It also provides advanced sequence joining options, such as full, left, and right outer joins, and supports complex data
Collapses a hierarchy of nested sequences into a single linear stream of elements.