Awesome GitHub RepositoriesContent-Based Deduplication

Noms is a distributed version control database and content-addressable data store. It identifies data by cryptographic hashes to ensure integrity and deduplication, while tracking dataset state changes through a sequence of immutable commits to enable branching, forking, and historical recovery. The system functions as a peer-to-peer data synchronizer, reconciling state between disconnected database instances to ensure all nodes converge on the same data. It distinguishes itself as a schema-flexible document store that supports self-describing types, allowing schemas to evolve and widen as ne

Horizon est un système d'agrégation de nouvelles alimenté par l'IA, conçu pour construire des pipelines personnalisés qui récupèrent, filtrent et enrichissent les informations provenant de diverses sources web. Il utilise des grands modèles de langage pour automatiser le filtrage de l'information, notant le contenu pour supprimer le bruit et mettre en évidence les histoires à haute valeur. Le système intègre le Model Context Protocol pour exposer les étapes du pipeline en tant qu'outils pour les assistants IA externes. Il emploie un adaptateur unifié pour standardiser divers fournisseurs de modèles IA pour des tâches cohérentes de notation et de résumé de contenu. Le pipeline agrège des données provenant de flux RSS, de plateformes sociales, de boîtes à outils financières et de dépôts de code. Il gère le contenu par déduplication, filtrage de catégorie basé sur des quotas et enrichissement contextuel avant de livrer des briefings multilingues par email, webhooks ou déploiement de site statique. Les workflows sont orchestrés par une automatisation cloud récurrente pour gérer la collecte et la livraison planifiées des informations traitées.

SD Maid SE est un utilitaire de nettoyage de stockage Android et de maintenance système. Il se concentre sur la récupération d'espace disque en analysant l'utilisation du stockage et en supprimant les fichiers en double, orphelins ou inutilisés. Le projet se distingue par l'utilisation de services d'accessibilité pour automatiser les tâches répétitives de l'appareil et les revues de fichiers manuelles en simulant des interactions utilisateur. Il inclut également des outils spécialisés pour réduire la taille des fichiers d'images et de vidéos via la compression multimédia. Le système fournit un large éventail de capacités, y compris la gestion du cycle de vie des applications pour geler ou supprimer des logiciels, le nettoyage des fichiers inutiles pour les caches d'applications et la détection de données redondantes via la comparaison de signatures. Il emploie également une cartographie de stockage hiérarchique pour visualiser l'utilisation du disque et prend en charge des routines de maintenance planifiées pour maintenir la santé de l'appareil.

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

go-fastdfs est un système de fichiers distribué et un serveur de stockage d'objets conçu pour construire un cloud privé. Il fournit une implémentation de stockage compatible avec FastDFS qui gère des clusters de nœuds de stockage pour traiter les téléchargements et envois de fichiers à grande échelle. Le système se concentre sur la haute disponibilité grâce à une architecture décentralisée qui synchronise automatiquement les données et répare les pannes sur plusieurs machines sans coordinateur central. Il prend spécifiquement en charge le stockage de fichiers avec reprise via HTTP, permettant aux transferts volumineux d'être mis en pause et repris à partir du dernier octet réussi pour gérer l'instabilité du réseau. Les capacités principales incluent l'optimisation des ressources de stockage via la déduplication de contenu basée sur SHA1 et la fusion de petits fichiers pour réduire la consommation d'inodes du système de fichiers. Le projet intègre également un pipeline de traitement d'images qui effectue une mise à l'échelle et un redimensionnement dynamiques des images pendant le processus de téléchargement et sécurise l'accès aux fichiers via une authentification par jeton. Le système peut être déployé via des conteneurs Docker.

Papra is a self-hosted document management system designed for digital archiving, organization, and retrieval. It serves as a centralized platform for storing files with a focus on security, providing an encrypted file archive using AES-256-GCM and a programmatic interface for managing documents and metadata via a REST API, SDK, and command line tools. The system distinguishes itself through an automated document ingestion engine that imports files via email forwarding, monitored folders, and webhook listeners. It further enhances discoverability by acting as an OCR document indexer, extracti

go-containerregistry is a Go library and toolkit for interacting with OCI and Docker registries. It provides a programmatic implementation of the Open Container Initiative distribution specification to fetch, upload, and manage container images, manifests, and layers. The library functions as a container image manipulation tool and a multi-platform image index manager. It enables the resolution and management of manifest lists that target various hardware architectures and operating systems without requiring a local daemon. The toolkit covers a broad range of registry interactions, including

This project is an automated content automation pipeline and AI article generator. It uses large language models to research topics from diverse web sources and academic repositories to generate evidence-based text and accompanying AI imagery for digital publishing. The system features a centralized social media management dashboard used to coordinate posting schedules, tone, and account positioning across multiple platforms. It employs a vector-based deduplicator to identify and remove redundant stories from the pipeline and uses topic clustering to rank content based on relevance. The work

fclones is a command-line tool designed to locate identical files across a filesystem by comparing file sizes and cryptographic hashes. It functions as a parallel filesystem scanner and a deduplication utility that identifies duplicate files to reclaim disk space. The tool distinguishes itself through a persistent hash cache system that stores hashes and metadata on disk to accelerate repeated scans. It employs a multi-phase scanning process and device-aware parallel I/O, which adjusts thread pools based on whether the storage is an SSD or HDD to maximize throughput. Beyond discovery, the pr