Awesome GitHub RepositoriesRemote Data Retrieval

IPFS is a peer-to-peer hypermedia protocol and content-addressed storage system that identifies data by cryptographic hashes rather than network locations. It enables the creation of a decentralized web by organizing files and directories as directed acyclic graphs of linked content identifiers. The project differentiates itself through the use of a distributed hash table for locating peers and a system of signed records to map human-readable names to changing content. It also provides HTTP gateways that translate standard web requests into peer-to-peer queries, allowing decentralized data to

go-ipfs is an implementation of an IPFS node, providing a distributed filesystem and a content-addressable storage system. It enables the storage and retrieval of data based on unique cryptographic hashes rather than fixed network locations, allowing files to be shared across a peer-to-peer network without a central authority. The system utilizes a distributed hash table and a peer-to-peer gossip protocol to route requests and propagate network state and metadata. It organizes data using a Merkle DAG structure to support efficient deduplication and versioning of content. Capabilities include

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

js-ipfs is an HTTP client library that connects to any IPFS daemon, enabling JavaScript applications to interact with the InterPlanetary File System. It provides a promise-based asynchronous API for managing content-addressed storage, where all data is identified by cryptographic hashes (CIDs) for immutable references and deduplication. The library communicates with a remote IPFS node through HTTP requests, supporting cancellation of in-flight operations via standard AbortController signals. The library offers a comprehensive set of capabilities for working with IPFS, including adding and ret

Kraken is a distributed blob store and peer-to-peer Docker registry designed for the high-throughput distribution of container images. It functions as a decentralized content delivery network that shares image layers across a network of nodes to prevent bottlenecks at a central registry. The system utilizes peer-to-peer blob distribution and distributed content addressing to maintain download speeds across large clusters. It implements asynchronous rule-based replication to synchronize image data between disparate geographical clusters. The project covers pluggable external blob storage inte

ipfs-desktop is a graphical application for managing a local IPFS node, hosting content, and interacting with the peer-to-peer network. It serves as a desktop client that provides a visual interface for content-addressed storage management, peer-to-peer file sharing, and the administration of the node lifecycle. The project differentiates itself by providing a comprehensive suite of controllers for node health, gateway routing, and static site hosting. It includes a dedicated content-addressed storage browser for importing and organizing files, a gateway controller to route network content th

هذا المشروع عبارة عن مكتبة شبكات HTTP بلغة Objective-C توفر غلافاً كائني التوجه لـ CFNetwork لتنفيذ طلبات متزامنة وغير متزامنة على macOS و iOS. يعمل كإطار عمل لإدارة جلسات HTTP، وتنفيذ عمليات نقل الملفات القابلة للاستئناف، والتعامل مع التخزين المؤقت للمحتوى دون اتصال. تتميز المكتبة بمدير نقل ملفات قابل للاستئناف يتتبع إزاحات البايت ويستخدم البث المدعوم بالقرص لعمليات الرفع والتحميل الكبيرة. كما تتضمن مديراً آمناً للاعتمادات يتكامل مع سلسلة مفاتيح النظام (keychain) للتعامل مع شهادات العميل ورموز المصادقة. تغطي الواجهة التقنية إدارة جلسات HTTP مع معالجة تلقائية لملفات تعريف الارتباط (cookies)، والمصادقة الآمنة عبر الويب، والحصول على صفحات ويب كاملة للعرض دون اتصال. كما توفر أدوات لمعالجة الطلبات في الخلفية، وضغط حركة مرور الشبكة، وتقييد النطاق الترددي، وتكوين الوكيل (proxy).

HanekeSwift هي مكتبة تخزين مؤقت عامة لـ iOS وإطار عمل متخصص لتخزين الصور مؤقتاً. توفر نظاماً متعدد المستويات يخزن أنواع بيانات عشوائية في الذاكرة وعلى تخزين القرص الدائم لتقليل طلبات الشبكة. يتميز المشروع بمعالج صور متخصص يدير التحميل غير المتزامن، وتغيير الحجم، وتخزين القرص لمكونات واجهة المستخدم. يتضمن نظام استرجاع في الخلفية يجلب المحتوى البعيد ويملأ ذاكرات التخزين المؤقت المحلية تلقائياً. تغطي المكتبة تخزين بيانات المفتاح والقيمة مع احتياطيات متسلسلة، حيث تتحقق من الذاكرة، ثم القرص، وأخيراً المصادر البعيدة. تنفذ إدارة سعة تلقائية من خلال سياسات إخلاء الذاكرة وتتعامل مع إلغاء ضغط البيانات والتحويلات خارج الخيط الرئيسي.

هذا المشروع هو مصدر مكتبة رقمية ومولد محتوى EPUB مصمم خصيصاً لتنزيل وتحويل الكتب من منصة O'Reilly Learning إلى ملفات نشر إلكترونية للقراءة دون اتصال بالإنترنت والتخزين الدائم. يعمل ككاشط لمحتوى الويب يسترجع النصوص والوسائط المقيدة لتسهيل أرشفة المكتبة الرقمية. تدير الأداة مصادقة الجلسة باستخدام بيانات الاعتماد أو ملفات تعريف الارتباط للحفاظ على الوصول المستمر إلى المحتوى. تسترجع الكتب عبر معرفات فريدة وتحول المادة المصدرية إلى ملفات EPUB موحدة، بما في ذلك تحسينات التخطيط لضمان توافق الجداول والعناصر عبر أجهزة القراءة الإلكترونية المختلفة.

freegeoip هي خدمة تحديد الموقع الجغرافي ذاتية الاستضافة وخادم API يقوم بربط عناوين IP وأسماء المضيفين بالمواقع الجغرافية. تعمل كقارئ لقاعدة بيانات MaxMind، حيث تحلل قواعد بيانات الموقع الجغرافي الثنائية لتوفير بيانات الموقع من خلال واجهة REST. يتميز المشروع بتوفير بديل خاص لمزودي تحديد الموقع الجغرافي السحابي، وإدارة ملفات قاعدة البيانات المحلية وأتمتة التحديثات الدورية. يتضمن محلل IP للوكيل العكسي لاستخراج عناوين العميل الأصلية من رؤوس الوكيل، مما يضمن تعيينًا دقيقًا خلف موازنات الحمل. تدمج الخدمة نظامًا لإدارة الحصص لفرض حدود الطلبات لكل عميل وتأمين نقاط النهاية الخاصة بها باستخدام تشفير TLS وسياسات CORS. كما تتميز بمزامنة تلقائية لقاعدة البيانات مع التحقق من الإصدار القائم على المجموع الاختباري (checksum) وواجهة ويب عامة اختيارية لإجراء عمليات البحث.

This project is a native implementation of the Git version control system for Go applications. It provides a programmable API and a low-level plumbing toolset that allows developers to manage repositories, manipulate object graphs, and perform version control operations without requiring external system binaries or C bindings. The library is distinguished by its flexible storage and network layers, featuring a virtual file system that enables in-memory repository management to bypass disk I/O. It supports pluggable network transports and interface-based storage backends, allowing for custom p

NCCL هي مكتبة اتصالات عالية الأداء وإطار عمل حوسبة GPU موزع مصمم لتنفيذ تبادلات البيانات الجماعية ومن نقطة إلى نقطة عبر وحدات GPU متعددة في أنظمة أحادية أو متعددة العقد. تعمل كطبقة نقل GPU RDMA ومنسق ذاكرة، مما يسهل مزامنة البيانات وتدرجات النماذج ذات النطاق الترددي العالي للتدريب والاستدلال الموزع على GPU. تتميز المكتبة بقدرتها على تنفيذ بدائيات الاتصال مباشرة من نواة GPU، مما يزيل وحدة المعالجة المركزية المضيفة من المسار الحرج. وتستخدم اختيار المسار الواعي بالطوبولوجيا لتحسين حركة البيانات وتوظف نقل الشبكة القائم على RDMA، بما في ذلك InfiniBand و NVLink، لتمكين الوصول إلى الذاكرة بدون نسخ (Zero-copy) بين الأجهزة عبر عقد مادية مختلفة. يغطي المشروع مجموعة واسعة من أنماط الاتصال الجماعي، بما في ذلك الاختزالات، والبث، والتجميع، وتبادلات الكل إلى الكل، إلى جانب الوصول إلى الذاكرة عن بُعد من نقطة إلى نقطة. ويوفر إدارة شاملة للمتصلين لتهيئة وتقسيم وتغيير حجم مجموعات GPU، بالإضافة إلى إدارة ذاكرة متخصصة لتسجيل المخازن المؤقتة وتنسيق ذاكرة الجهاز المشتركة. يتضمن النظام مجموعة من أدوات المراقبة والقابلية للملاحظة لتتبع الصحة، وتسجيل التشخيص، ومراقبة الأحداث في الوقت الفعلي، بالإضافة إلى واجهات تكامل لإطارات عمل تعلم الآلة، و CUDA graphs، و MPI، و Python.

JaCoCo هو أداة تغطية كود Java ومعدل bytecode يقيس أجزاء الكود المصدري التي يتم تنفيذها أثناء الاختبارات. يعمل كوكيل وقت تشغيل لمراقبة تنفيذ التطبيق أثناء التشغيل أو كمكتبة لتعديل bytecode دون اتصال، مما يسمح له بالتقاط بيانات التنفيذ في البيئات التي يتم فيها تقييد وكلاء وقت التشغيل. يتميز المشروع بتوفير مسارات تعديل ديناميكية وثابتة لتتبع التنفيذ. يتضمن وكيلاً لوقت التشغيل للمراقبة أثناء التشغيل والقدرة على تعديل ملفات الفئة المجمعة قبل التنفيذ. كما يتيح استرداد مقاييس التنفيذ من العمليات الجارية عبر اتصالات الشبكة البعيدة دون مقاطعة التطبيق النشط. يحسب النظام مقاييس تغطية كمية عبر التعليمات، والفروع، والأسطر، والأساليب، والفئات، إلى جانب قياسات التعقيد الدوري. يوفر قدرات لدمج البيانات من عمليات اختبار متعددة، وفرض عتبات التغطية داخل بوابات جودة CI/CD، وإنشاء تقارير تعين bytecode المنفذ مرة أخرى إلى الكود المصدري. يتوفر تكامل بصري لعرض هذه النتائج مباشرة داخل محررات الكود. تتكامل الأداة مع أنظمة أتمتة البناء وواجهات سطر الأوامر لأتمتة جمع البيانات وإنشاء التقارير.

هذا المشروع عبارة عن أداة لقابلية تفسير نماذج اللغة مصممة لتصور وتحليل التنشيطات الداخلية ورؤوس الانتباه للشبكات العصبية. يوفر إطار عمل لفهم كيفية معالجة النماذج للمعلومات عن طريق التقاط حالات النموذج الداخلية وعرضها من خلال واجهة ويب تفاعلية. يتخصص النظام في تفكيك التنشيطات عالية الأبعاد إلى ميزات كامنة قابلة للتفسير باستخدام أجهزة التشفير التلقائي المتفرقة (sparse autoencoders) وتوليد تفسيرات لغة طبيعية آلية لعقد النموذج الفردية. يتيح اكتشاف دوائر النموذج عن طريق تعيين الاتصالات بين المكونات وتتبع المسارات المسؤولة عن سلوكيات محددة. تغطي مجموعة الأدوات مجموعة واسعة من قدرات التحليل، بما في ذلك الإسناد القائم على التدرج (gradient-based) لتحديد أهمية العقد والتدخلات في الوقت الفعلي مثل استئصال العقد (node ablation) لملاحظة كيف يؤثر تعديل الحالات الداخلية على مخرجات النموذج. كما يدعم أخذ عينات الاستدلال المباشر واسترجاع بيانات التنشيط من خوادم الواجهة الخلفية البعيدة وتخزين الكائنات (blob storage).

qsv is a high-performance command line toolkit for querying, transforming, and analyzing comma-separated value files. It functions as a data wrangling interface and a tabular data profiler, featuring a query engine capable of executing SQL statements and joins directly on flat files without requiring a database. The project is distinguished by its ability to process massive datasets that exceed available system memory. This is achieved through disk-based external memory processing, including multithreaded merge sorting, on-disk hash tables for deduplication, and lightweight file indexing for

The Google Earth Engine Client Library is a programmatic interface for accessing, manipulating, and exporting planetary-scale raster and vector data via cloud-based services. It serves as a satellite imagery processing API that allows for the filtering, composing, and manipulation of multi-spectral image collections from a remote geospatial catalog. The system functions as a cloud-based geospatial analysis tool, performing server-side computations such as linear fits and trend analysis. It includes an asynchronous geospatial export utility to trigger batch jobs that save processed images and

Hypercore is a distributed append-only logging system designed for maintaining cryptographically signed data streams that are replicated and verified across a network of peers. It provides verifiable data storage using a Merkle tree structure to ensure the integrity and authenticity of information through cryptographic proofs. The project is distinguished by its support for sparse data replication, which allows peers to download only the specific ranges or blocks of a log required for their current needs to reduce bandwidth. It also implements encrypted peer-to-peer messaging and the ability

This project is an Amazon web scraper and e-commerce data extractor designed to retrieve product names, prices, and ratings. It functions as a headless browser crawler that converts unstructured web content from product listings into structured JSON and CSV formats. The tool incorporates anti-bot bypass capabilities to circumvent CAPTCHAs and security challenges. It achieves this through the use of residential proxy integration, automatic proxy rotation, and the modification of browser fingerprints to simulate human interaction patterns. The system provides broad web scraping capabilities, i