Awesome GitHub RepositoriesRemote Data Retrieval

IPFS is a peer-to-peer hypermedia protocol and content-addressed storage system that identifies data by cryptographic hashes rather than network locations. It enables the creation of a decentralized web by organizing files and directories as directed acyclic graphs of linked content identifiers. The project differentiates itself through the use of a distributed hash table for locating peers and a system of signed records to map human-readable names to changing content. It also provides HTTP gateways that translate standard web requests into peer-to-peer queries, allowing decentralized data to

go-ipfs is an implementation of an IPFS node, providing a distributed filesystem and a content-addressable storage system. It enables the storage and retrieval of data based on unique cryptographic hashes rather than fixed network locations, allowing files to be shared across a peer-to-peer network without a central authority. The system utilizes a distributed hash table and a peer-to-peer gossip protocol to route requests and propagate network state and metadata. It organizes data using a Merkle DAG structure to support efficient deduplication and versioning of content. Capabilities include

FastDFS is a distributed file system and object store designed as a high-capacity file server. It functions as a cluster storage manager that saves, syncs, and accesses large volumes of unstructured data across a network of distributed servers. The system uses unique identifiers for file retrieval and indexing instead of traditional hierarchical naming to avoid metadata bottlenecks. It manages file attributes through key-value metadata mapping and employs a distributed replication model to ensure high availability and data redundancy across storage groups. The project provides capabilities f

This project is an educational resource and a collection of instructional materials for performing data manipulation and statistical analysis using Python. It provides a comprehensive set of guides and code examples for using the Pandas, NumPy, and Matplotlib libraries to analyze structured data. The resource includes a dedicated guide for reshaping, cleaning, and aggregating tabular data and time series via Pandas, alongside a reference for high-performance vectorized operations and linear algebra using NumPy. It also features tutorials for creating publication-quality charts, distribution p

mmagic is a multimodal training pipeline and framework for generative AI, focusing on visual synthesis and restoration. It provides the infrastructure to build and train models for tasks such as text-to-image and text-to-video generation, 3D-aware content synthesis, and high-fidelity image translation using diffusion models and generative adversarial networks. The project distinguishes itself through specialized capabilities for generative model personalization, including techniques for fine-tuning subjects and styles. It also supports advanced visual manipulations such as latent space interp

js-ipfs is an HTTP client library that connects to any IPFS daemon, enabling JavaScript applications to interact with the InterPlanetary File System. It provides a promise-based asynchronous API for managing content-addressed storage, where all data is identified by cryptographic hashes (CIDs) for immutable references and deduplication. The library communicates with a remote IPFS node through HTTP requests, supporting cancellation of in-flight operations via standard AbortController signals. The library offers a comprehensive set of capabilities for working with IPFS, including adding and ret

Kraken is a distributed blob store and peer-to-peer Docker registry designed for the high-throughput distribution of container images. It functions as a decentralized content delivery network that shares image layers across a network of nodes to prevent bottlenecks at a central registry. The system utilizes peer-to-peer blob distribution and distributed content addressing to maintain download speeds across large clusters. It implements asynchronous rule-based replication to synchronize image data between disparate geographical clusters. The project covers pluggable external blob storage inte

ipfs-desktop is a graphical application for managing a local IPFS node, hosting content, and interacting with the peer-to-peer network. It serves as a desktop client that provides a visual interface for content-addressed storage management, peer-to-peer file sharing, and the administration of the node lifecycle. The project differentiates itself by providing a comprehensive suite of controllers for node health, gateway routing, and static site hosting. It includes a dedicated content-addressed storage browser for importing and organizing files, a gateway controller to route network content th

Ce projet est une bibliothèque de mise en réseau HTTP en Objective-C qui fournit un wrapper orienté objet pour CFNetwork afin d'exécuter des requêtes synchrones et asynchrones sur macOS et iOS. Il fonctionne comme un framework pour gérer les sessions HTTP, effectuer des transferts de fichiers reprenables et gérer la mise en cache de contenu hors ligne. La bibliothèque se distingue par un gestionnaire de transfert de fichiers reprenable qui suit les décalages d'octets et utilise le streaming sur disque pour les gros téléchargements et envois. Elle inclut également un gestionnaire d'identifiants sécurisé qui s'intègre au trousseau système pour gérer les certificats clients et les jetons d'authentification. La surface de capacités couvre la gestion de session HTTP avec gestion automatique des cookies, authentification web sécurisée et acquisition de pages web complètes pour une consultation hors ligne. Elle fournit en outre des outils pour le traitement des requêtes en arrière-plan, la compression du trafic réseau, le bridage de la bande passante et la configuration de proxy.

HanekeSwift est une bibliothèque de mise en cache générique pour iOS et un framework de mise en cache d'images spécialisé. Il fournit un système à plusieurs niveaux qui stocke des types de données arbitraires en mémoire et sur un stockage disque persistant pour réduire les requêtes réseau. Le projet dispose d'un gestionnaire d'images spécialisé qui gère le chargement asynchrone, le redimensionnement et le stockage sur disque pour les composants d'interface utilisateur. Il inclut un système de récupération en arrière-plan qui récupère le contenu distant et peuple automatiquement les caches locaux. La bibliothèque couvre le stockage de données clé-valeur avec des replis séquentiels, où elle vérifie la mémoire, puis le disque, et enfin les sources distantes. Elle implémente une gestion automatisée de la capacité par le biais de politiques d'éviction de mémoire et gère la décompression et les transformations des données hors du thread principal.

Ce projet est un exportateur de bibliothèque numérique et un générateur de contenu EPUB spécifiquement conçu pour télécharger et convertir des livres de la plateforme O'Reilly Learning en fichiers de publication électronique pour la lecture hors ligne et le stockage permanent. Il fonctionne comme un scraper de contenu web qui récupère du texte et des médias restreints pour faciliter l'archivage de bibliothèques numériques. L'outil gère l'authentification de session en utilisant des identifiants ou des cookies pour maintenir un accès continu au contenu. Il récupère les livres via des identifiants uniques et transforme le matériel source en fichiers EPUB standardisés, incluant des optimisations de mise en page pour assurer la compatibilité des tableaux et des éléments sur divers appareils de lecture électronique.

freegeoip est un service de géolocalisation auto-hébergé et un serveur API qui mappe les adresses IP et les noms d'hôtes vers des emplacements géographiques. Il fonctionne comme un lecteur de base de données MaxMind, analysant les bases de données de géolocalisation binaires pour fournir des données de localisation via une interface REST. Le projet se distingue en fournissant une alternative privée aux fournisseurs de géolocalisation cloud, gérant les fichiers de base de données locaux et automatisant les mises à jour périodiques. Il inclut un résolveur IP de proxy inverse pour extraire les adresses client originales des en-têtes de proxy, garantissant un mappage précis derrière les équilibreurs de charge. Le service intègre un système de gestion de quotas pour appliquer des limites de requêtes par client et sécurise ses points de terminaison en utilisant le chiffrement TLS et les politiques CORS. Il dispose également d'une synchronisation automatisée des bases de données avec vérification de version basée sur des sommes de contrôle et une interface web publique optionnelle pour effectuer des recherches.

Ce projet est une implémentation native du système de contrôle de version Git pour les applications Go. Il fournit une API programmable et un ensemble d'outils de plomberie de bas niveau qui permet aux développeurs de gérer des dépôts, de manipuler des graphes d'objets et d'effectuer des opérations de contrôle de version sans nécessiter de binaires système externes ou de liaisons C. La bibliothèque se distingue par ses couches de stockage et de réseau flexibles, dotées d'un système de fichiers virtuel qui permet la gestion de dépôts en mémoire pour contourner les E/S disque. Elle prend en charge des transports réseau enfichables et des backends de stockage basés sur des interfaces, permettant des implémentations propriétaires personnalisées de la manière dont les objets de données et les références sont persistés et échangés. La surface de capacité couvre la gestion de dépôt de haut niveau — incluant le clonage, le commit, le push et le pull — parallèlement à une analyse détaillée de l'historique et de l'attribution. Elle inclut également des fonctionnalités de sécurité pour la signature de commit et la vérification de signature cryptographique, ainsi que des utilitaires pour la gestion des sous-modules et la recherche de contenu de dépôt.

NCCL est une bibliothèque de communication haute performance et un framework de calcul GPU distribué conçu pour exécuter des échanges de données collectifs et point à point sur plusieurs GPU dans des systèmes à un ou plusieurs nœuds. Il sert de couche de transport GPU RDMA et d'orchestrateur de mémoire, facilitant la synchronisation à large bande passante des données et des gradients de modèle pour l'entraînement et l'inférence GPU distribués. La bibliothèque se distingue par sa capacité à exécuter des primitives de communication directement depuis les noyaux (kernels) GPU, supprimant le CPU hôte du chemin critique. Elle utilise une sélection de chemin consciente de la topologie pour optimiser le mouvement des données et emploie un transport réseau basé sur RDMA, incluant InfiniBand et NVLink, pour permettre un accès mémoire zéro-copie entre les appareils sur différents nœuds physiques. Le projet couvre un large éventail de modèles de communication collective, notamment les réductions, les diffusions (broadcasts), les rassemblements (gathers) et les échanges tous-à-tous, ainsi que l'accès mémoire distant point à point. Il fournit une gestion complète des communicateurs pour initialiser, partitionner et redimensionner les groupes GPU, ainsi qu'une gestion spécialisée de la mémoire pour enregistrer les tampons (buffers) et coordonner la mémoire partagée des appareils. Le système inclut une suite d'outils de surveillance et d'observabilité pour le suivi de la santé, la journalisation diagnostique et la surveillance des événements en temps réel, ainsi que des interfaces d'intégration pour les frameworks de machine learning, les graphes CUDA, MPI et Python.

JaCoCo est un outil de couverture de code Java et un instrumentateur de bytecode qui mesure quelles parties du code source sont exécutées pendant les tests. Il fonctionne comme un agent de runtime pour surveiller l'exécution de l'application à la volée ou comme une bibliothèque pour l'instrumentation de bytecode hors ligne, lui permettant de capturer des données d'exécution dans des environnements où les agents de runtime sont restreints. Le projet se distingue en fournissant des chemins d'instrumentation dynamiques et statiques pour suivre l'exécution. Il inclut un agent de runtime pour la surveillance à la volée et la capacité de modifier les fichiers de classe compilés avant l'exécution. Il permet en outre la récupération des métriques d'exécution à partir de processus en cours d'exécution via des connexions réseau distantes sans interrompre l'application active. Le système calcule des métriques de couverture quantitatives à travers les instructions, les branches, les lignes, les méthodes et les classes, aux côtés des mesures de complexité cyclomatique. Il fournit des capacités pour fusionner les données de plusieurs exécutions de test, appliquer des seuils de couverture au sein des portes de qualité CI/CD et générer des rapports qui mappent le bytecode exécuté vers le code source. Une intégration visuelle est disponible pour afficher ces résultats directement au sein des éditeurs de code. L'outil s'intègre aux systèmes d'automatisation de build et aux interfaces de ligne de commande pour automatiser la collecte de données et la génération de rapports.

Ce projet est un outil d'interprétabilité de modèle de langage conçu pour visualiser et analyser les activations internes et les têtes d'attention des réseaux de neurones. Il fournit un framework pour comprendre comment les modèles traitent l'information en capturant les états internes du modèle et en les rendant via une interface web interactive. Le système se spécialise dans la décomposition des activations de haute dimension en caractéristiques latentes interprétables en utilisant des auto-encodeurs parcimonieux et en générant des explications en langage naturel automatisées pour les nœuds de modèle individuels. Il permet la découverte de circuits de modèle en mappant les connexions entre les composants et en traçant les voies responsables de comportements spécifiques. L'ensemble d'outils couvre un large éventail de capacités d'analyse, incluant l'attribution basée sur le gradient pour quantifier l'importance des nœuds et des interventions en temps réel telles que l'ablation de nœuds pour observer comment la modification des états internes affecte la sortie du modèle. Il prend également en charge l'échantillonnage d'inférence en direct et la récupération de données d'activation depuis des serveurs backend distants et du stockage blob.

qsv is a high-performance command line toolkit for querying, transforming, and analyzing comma-separated value files. It functions as a data wrangling interface and a tabular data profiler, featuring a query engine capable of executing SQL statements and joins directly on flat files without requiring a database. The project is distinguished by its ability to process massive datasets that exceed available system memory. This is achieved through disk-based external memory processing, including multithreaded merge sorting, on-disk hash tables for deduplication, and lightweight file indexing for

The Google Earth Engine Client Library is a programmatic interface for accessing, manipulating, and exporting planetary-scale raster and vector data via cloud-based services. It serves as a satellite imagery processing API that allows for the filtering, composing, and manipulation of multi-spectral image collections from a remote geospatial catalog. The system functions as a cloud-based geospatial analysis tool, performing server-side computations such as linear fits and trend analysis. It includes an asynchronous geospatial export utility to trigger batch jobs that save processed images and

Hypercore is a distributed append-only logging system designed for maintaining cryptographically signed data streams that are replicated and verified across a network of peers. It provides verifiable data storage using a Merkle tree structure to ensure the integrity and authenticity of information through cryptographic proofs. The project is distinguished by its support for sparse data replication, which allows peers to download only the specific ranges or blocks of a log required for their current needs to reduce bandwidth. It also implements encrypted peer-to-peer messaging and the ability

This project is an Amazon web scraper and e-commerce data extractor designed to retrieve product names, prices, and ratings. It functions as a headless browser crawler that converts unstructured web content from product listings into structured JSON and CSV formats. The tool incorporates anti-bot bypass capabilities to circumvent CAPTCHAs and security challenges. It achieves this through the use of residential proxy integration, automatic proxy rotation, and the modification of browser fingerprints to simulate human interaction patterns. The system provides broad web scraping capabilities, i