22 रिपॉजिटरी
Awesome GitHub RepositoriesData Iterators
Programming components that provide sequential access to elements within a large data collection during processing.
Explore 22 awesome GitHub repositories matching data & databases · Data Iterators. Refine with filters or upvote what's useful.
Awesome Data Iterators GitHub Repositories
AI के साथ बेहतरीन रिपॉजिटरी खोजें।हम AI का उपयोग करके सबसे सटीक रिपॉजिटरी खोजेंगे।
- kamranahmedse/developer-roadmap
kamranahmedse/developer-roadmap
357,434GitHub पर देखेंDeveloper Roadmap एक समुदाय-संचालित प्लेटफ़ॉर्म है जो सॉफ्टवेयर इंजीनियरिंग के लिए संरचित, ग्राफ-आधारित शिक्षण पथ प्रदान करता है। यह एक व्यापक ज्ञान रिपॉजिटरी के रूप में कार्य करता है जहाँ तकनीकी डोमेन को पेशेवर कौशल अधिग्रहण और करियर विकास का मार्गदर्शन करने के लिए दृश्य अनुक्रमों में व्यवस्थित किया जाता है। यह प्रोजेक्ट एक सहयोगात्मक पारिस्थितिकी तंत्र के माध्यम से खुद को अलग करता है जो उपयोगकर्ताओं को रोडमैप में योगदान करने, उद्योग के सर्वोत्तम अभ्यासों को क्यूरेट करने और पेशेवर प्रोफाइल बनाए रखने में सक्षम बनाता है। यह तकनीकी दक्षता का मूल्यांकन करने के लिए डायग्नोस्टिक असेसमेंट फ्रेमवर्क को एकीकृत करता है, जिससे डेवलपर्स को ज्ञान के अंतराल की पहचान करने और लक्षित शिक्षण अनुक्रमों के माध्यम से पेशेवर साक्षात्कारों की तैयारी करने में मदद मिलती है। अपनी मुख्य मैपिंग क्षमताओं से परे, प्लेटफ़ॉर्म इंजीनियरिंग अवधारणाओं को सुदृढ़ करने के लिए व्यावहारिक प्रोजेक्ट विचार और इंटरैक्टिव ट्यूशन प्रदान करता है। यह समुदाय के लिए संसाधनों को साझा करने, प्रगतिशील कौशल विकास को ट्रैक करने और जटिल तकनीकी परिदृश्यों को नेविगेट करने के लिए एक केंद्रीकृत स्थान प्रदान करता है।
Provides sequential access to elements within large data collections during processing.
TypeScriptangular-roadmapbackend-roadmapblockchain-roadmap - deepfakes/faceswap
deepfakes/faceswap
55,289GitHub पर देखेंFaceswap is a comprehensive framework for automated media manipulation and neural face synthesis. It provides a modular pipeline that manages the entire lifecycle of facial feature extraction, deep learning model training, and image conversion. By coordinating complex computer vision workflows, the system enables users to map facial identities between source and destination datasets while maintaining structural alignment and lighting consistency across video frames. The project distinguishes itself through a highly extensible plugin-based architecture that handles hardware-accelerated process
Serves as a base class for plugins to ingest and pass information through the extraction pipeline.
Pythondeep-face-swapdeep-learningdeep-neural-networks - google/leveldb
google/leveldb
39,152GitHub पर देखेंLevelDB is an embedded database library and persistent storage engine that provides a sorted key-value store. It uses a log-structured merge-tree architecture to map byte arrays to values, running directly within a process to provide storage without the need for a separate server process. The system is distinguished by its use of custom comparison functions to define key ordering, enabling efficient range scans and sequenced lookups. It ensures data reliability through atomic batch execution, consistent snapshot generation, and log-based recovery after failures. The engine covers broad capab
Provides sequential iterators for traversing stored entries in forward or backward order.
C++ - immutable-js/immutable-js
immutable-js/immutable-js
33,060GitHub पर देखेंImmutable.js is a library of persistent data structures and a functional state management toolkit. It provides a collection of immutable objects and arrays that prevent direct mutation to ensure predictable state management in JavaScript applications. The library utilizes structural sharing to efficiently create new versions of data without full copying and implements lazy sequence processing to chain data transformations that execute only when values are requested. It also supports batch mutation processing, allowing multiple changes to be applied to a temporary mutable copy before returning
Implements memory-efficient lazy iterators that defer data transformations until values are explicitly requested.
TypeScript - huggingface/datasets
huggingface/datasets
21,643GitHub पर देखेंDatasets is a library designed for the management, processing, and sharing of large-scale data collections for machine learning workflows. It functions as both a data processing framework and a versioning platform, providing tools to organize, filter, and transform massive datasets while ensuring reproducibility across research and development teams. The library distinguishes itself by enabling the handling of datasets that exceed available system memory. It utilizes memory-mapped file access, disk-based caching, and lazy iterative streaming to maintain performance when working with large-sca
Implements lazy, memory-efficient iterators to process large datasets on demand without loading them into physical memory.
Pythonaiartificial-intelligencecomputer-vision - samber/lo
samber/lo
21,333GitHub पर देखेंThis library is a collection of generic utilities for the Go programming language designed to simplify the manipulation of slices and maps. It provides a functional toolkit that enables developers to perform data transformations, such as filtering, mapping, and reducing, while maintaining strict type safety through the use of language-level generics. The project distinguishes itself by offering a dual approach to data processing that balances functional programming patterns with performance-oriented execution. It supports both immutable functional pipelines for predictable state transitions a
Provides a comprehensive toolkit for memory-efficient, lazy data traversal and deferred computation of large or infinite sequences in Go.
Goconstraintscontractfilterable - qax-os/excelize
qax-os/excelize
20,682GitHub पर देखेंExcelize is a library for reading and writing spreadsheet files in the Office Open XML format. It provides a comprehensive suite of tools for programmatically creating, modifying, and analyzing workbooks, worksheets, and cell data, ensuring compatibility across various office software suites through structured XML serialization. The library distinguishes itself with a built-in formula calculation engine that evaluates complex mathematical and logical expressions directly against workbook data. It also features a memory-mapped streaming architecture, which allows for the efficient processing o
Emits data iteratively to maintain low memory usage during large-scale file processing.
Goagentaianalytics - rare-technologies/gensim
RaRe-Technologies/gensim
16,442GitHub पर देखेंGensim is an unsupervised natural language processing toolkit designed for topic modeling, word embedding training, and the processing of large-scale text corpora. It provides a framework for discovering latent themes and semantic structures in text without the need for labeled data. The toolkit is distinguished by its ability to handle datasets that exceed system memory through iterator-based data streaming from disk. It also supports distributed model training, allowing complex modeling tasks to be executed across computer clusters. The library covers a broad range of analysis capabilities
Implements data iterators to stream large text collections from disk, avoiding memory exhaustion.
Python - home-assistant/home-assistant.io
home-assistant/home-assistant.io
9,466GitHub पर देखेंHome Assistant is a local home automation platform and server that acts as an IoT device orchestrator. It integrates diverse smart home hardware by wrapping third-party APIs into a standardized logic layer and stores all system state and historical statistics on local hardware to eliminate cloud dependencies. The system functions as a Matter IoT controller and an MQTT home automation bridge, allowing for local interoperability between different manufacturers. It features a state-based entity model and an internal event bus that decouple physical device logic from system automation. The platf
Converts lazy sequences produced by filters into static lists to enable counting and sorting.
HTMLdocumentationhacktoberfesthass - electronicarts/eastl
electronicarts/EASTL
9,273GitHub पर देखेंEASTL is a C++ Standard Template Library implementation consisting of containers, iterators, and algorithms. It provides cross-platform data structures and a template-based algorithm library designed for use in resource-constrained game engine environments. The library focuses on game engine memory management, providing specialized utilities that ensure predictable memory allocation and high-performance access for real-time applications. These containers maintain consistent behavior across different operating systems and hardware platforms. The project covers high-performance C++ development
Provides standardized iterators for traversing diverse data collections without exposing underlying memory layouts.
C++c-plus-plusc-plus-plus-11c-plus-plus-14 - iamseancheney/python_for_data_analysis_2nd_chinese_version
iamseancheney/python_for_data_analysis_2nd_chinese_version
8,937GitHub पर देखेंThis project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p
Uses generators to produce sequences of values on demand, reducing memory consumption for large datasets.
matplotlibnumpypandas - nodejs/nodejs.org
nodejs/nodejs.org
6,842GitHub पर देखेंNode.js is an open-source, cross-platform JavaScript runtime environment built on the V8 engine, designed for executing JavaScript code outside a web browser. It operates as a server-side JavaScript platform with an event-driven, non-blocking I/O architecture that enables building scalable network applications and web servers. The runtime integrates the CommonJS module system for synchronous module loading and the npm ecosystem for sharing and reusing packages. The platform provides comprehensive capabilities for web server development, including creating HTTP and HTTPS servers, managing HTTP
Supports processing streaming data with async iterators for chunk-by-chunk consumption without full buffering.
TypeScriptnextjsnodenodejs - dtao/lazy.js
dtao/lazy.js
5,975GitHub पर देखेंLazy.js is a JavaScript library that implements a lazy evaluation model for processing collections and data streams. It defers all computation until iteration begins, building chains of transformations that execute only when values are consumed, avoiding intermediate arrays and buffering. The library wraps data sources into a uniform sequence interface, enabling operations like map and filter to be chained together without materializing intermediate results. The library extends lazy processing beyond simple collections to handle asynchronous data sources, DOM events, strings, and Node.js stre
Integrates with asynchronous data sources by yielding values at timed intervals or from streams without blocking.
JavaScript - hadley/r4ds
hadley/r4ds
5,070GitHub पर देखेंr4ds एक डेटा साइंस करिकुलम और शैक्षिक संसाधन है जिसे R प्रोग्रामिंग भाषा में महारत हासिल करने के लिए डिज़ाइन किया गया है। यह डेटा को आयात करने, व्यवस्थित करने, बदलने और विज़ुअलाइज़ करने की एंड-टू-एंड प्रक्रिया के लिए एक स्ट्रक्चर्ड लर्निंग पाथ प्रदान करता है। यह प्रोजेक्ट एक पुनरुत्पादक (reproducible) डेटा साइंस गाइड और डेटा रैंगलिंग के लिए एक व्यापक करिकुलम पर जोर देता है। इसमें लेयर्ड डेटा विज़ुअलाइज़ेशन के लिए ग्राफिक्स के व्याकरण पर विशेष ट्यूटोरियल्स और Quarto के साथ बनाई गई तकनीकी प्रकाशन शामिल हैं जो निष्पादन योग्य कोड को कथात्मक प्रोज़ के साथ मिश्रित करते हैं। यह सामग्री विश्लेषणात्मक क्षमताओं की एक विस्तृत श्रृंखला को कवर करती है, जिसमें विविध स्रोतों से डेटा अंतर्ग्रहण, रिलेशनल डेटा जॉइनिंग और श्रेणीबद्ध वेरिएबल्स का प्रबंधन शामिल है। यह डेटा सफाई, गणितीय मॉडलिंग और मल्टी-फॉर्मेट पेशेवर रिपोर्ट्स और प्रस्तुतियों के निर्माण को भी संबोधित करती है। यह करिकुलम पारदर्शी और दोहराने योग्य विश्लेषण बनाने के लिए कार्यात्मक प्रोग्रामिंग और टाइडी डेटा सिद्धांतों के व्यावहारिक अनुप्रयोग पर केंद्रित है।
Demonstrates how to apply a consistent set of actions across data collections using functional programming.
R - pytoolz/toolz
pytoolz/toolz
5,117GitHub पर देखेंToolz is a Python library that implements functional programming utilities for iterable transformation, dictionary manipulation, function composition, and lazy evaluation. It provides a set of pure functions designed to work with Python's built-in data structures, enabling concise and composable data processing workflows. What distinguishes toolz is its support for curried partial application, allowing functions to be incrementally applied and reused. It includes dictionary-centric operations that handle nested structures, and offers iterable chain transformers that combine mapping, filtering
Processes sequences on-demand using generators for memory-efficient handling of large data streams.
Python - gajus/slonik
gajus/slonik
4,910GitHub पर देखेंSlonik, Node.js के लिए एक टाइप-सेफ PostgreSQL क्लाइंट है जो यह सुनिश्चित करने के लिए टैग्ड टेम्प्लेट लिटरल्स का उपयोग करता है कि पैरामीटर्स बाउंड हैं और इंजेक्शन हमलों से सुरक्षित हैं। यह क्वेरीज़ और डेटाबेस स्कीमा के लिए ऑटोमैटिक टाइप चेकिंग के साथ PostgreSQL से एप्लिकेशन को जोड़ने के लिए एक फ्रेमवर्क प्रदान करता है। यह प्रोजेक्ट एक विशेष SQL क्वेरी लिंटर के माध्यम से खुद को अलग करता है जो विकास प्रक्रिया के दौरान लाइव डेटाबेस स्कीमा के खिलाफ कोड को सत्यापित करके अमान्य कॉलम और टाइप मिसमैच का पता लगाता है। इसमें नेटिव बाइनरी सीरियलाइज़ेशन का उपयोग करके बड़े डेटासेट लोड करने के लिए एक उच्च-प्रदर्शन बाइनरी बल्क डेटा इन्सर्टर भी शामिल है।
Provides memory-efficient processing of large database result sets using async iterable streams.
TypeScript - pytorch/ignite
pytorch/ignite
4,770GitHub पर देखेंIgnite PyTorch न्यूरल नेटवर्क के लिए एक उच्च-स्तरीय ट्रेनिंग फ्रेमवर्क है जो एक ट्रेनिंग इंजन और डीप लर्निंग लाइफसाइकिल मैनेजर के रूप में कार्य करता है। यह ट्रेनिंग और इवैल्यूएशन लूप को व्यवस्थित और स्वचालित करने, डेटा इटरेटर्स को प्रबंधित करने और मॉडल ट्रेनिंग प्रक्रिया के दौरान विशिष्ट मील के पत्थर पर इवेंट हैंडलर्स को ट्रिगर करने के लिए एक संरचित सिस्टम प्रदान करता है। यह प्रोजेक्ट डिस्ट्रीब्यूटेड ट्रेनिंग और मॉडल इवैल्यूएशन के लिए टूल्स के एक व्यापक सूट के माध्यम से खुद को अलग करता है। इसमें ग्रेडिएंट्स को सिंक्रोनाइज़ करने और कई GPUs या नोड्स के बीच सामूहिक संचार का समन्वय करने के लिए यूटिलिटीज, साथ ही परफॉरमेंस मेट्रिक्स की गणना और k-fold क्रॉस-वैलिडेशन करने के लिए एक इवैल्यूएशन सूट शामिल है। इसकी व्यापक क्षमताएं ट्रेनिंग वर्कफ़्लो ऑटोमेशन को कवर करती हैं, जिसमें लर्निंग रेट शेड्यूलिंग, अर्ली स्टॉपिंग और हाइपरपैरामीटर ऑप्टिमाइज़ेशन शामिल हैं। फ्रेमवर्क एक्सपेरिमेंट ट्रैकिंग, निष्पादन समय प्रोफाइलिंग और मेमोरी उपयोग को ऑप्टिमाइज़ करने के लिए मिक्स्ड प्रिसिजन ट्रेनिंग के लिए ऑब्जर्वेबिलिटी टूल्स भी प्रदान करता है। मॉडल चेकपॉइंट्स को प्रबंधित करने और ट्रेनिंग सत्रों को रिकवर करने के लिए स्टेट पर्सिस्टेंस मैकेनिज्म शामिल हैं। डिप्लॉयमेंट और एनवायरनमेंट सेटअप को सरल बनाने के लिए कंटेनराइज़्ड एनवायरनमेंट उपलब्ध हैं।
Controls finite or infinite data streams by determining epoch lengths or restarting exhausted iterators.
Python - stripe/stripe-node
stripe/stripe-node
4,442GitHub पर देखेंThis is a typed server-side library and payment gateway SDK for integrating Stripe into Node.js applications. It provides a typed client to manage payments, customers, and subscriptions, while offering specialized tools for executing secure financial transactions and managing billing resources. The library distinguishes itself through an idempotent API client that prevents duplicate operations using idempotency keys and exponential backoff retry logic. It includes a webhook signature validator to verify that incoming HTTPS event notifications are authentic and an async-iterator pagination wra
Uses JavaScript async iterators to stream paginated data from the API without buffering the entire payload.
TypeScript - thi-ng/umbrella
thi-ng/umbrella
3,818GitHub पर देखेंUmbrella is a comprehensive ecosystem of TypeScript-based libraries and a mono-repository designed for UI rendering, mathematical frameworks, WebAssembly bridging, and functional data processing. It provides a suite of tools for managing reactive data streams, binary serialization, and specialized memory management. The project includes a reactive component model for generating HTML, SVG, and Canvas elements from nested data structures, as well as a system for integrating JavaScript and WebAssembly through generated bindings. It features a mathematical framework for linear algebra, tensor ope
Implements async iterators and reactive event streams for transforming continuous data flows in Deno.
TypeScriptcolordata-structuresdsl - xtensor-stack/xtensor
xtensor-stack/xtensor
3,748GitHub पर देखेंxtensor is a C++ multidimensional array library for numerical computing that provides N-dimensional containers with an interface mirroring the NumPy API. It utilizes a lazy evaluation expression engine to defer numerical computations until assignment, which minimizes memory allocations and intermediate copies. The library features a foreign memory array adaptor that allows it to wrap external buffers, such as NumPy arrays, to perform numerical operations in-place without duplicating data. It further optimizes performance through lazy broadcasting and a system that manages the lifetime of temp
Provides memory-efficient, STL-compatible forward and reverse iterators to process tensor data.
C++c-plus-plus-14multidimensional-arraysnumpy
