Awesome GitHub RepositoriesContent-Based Deduplication

Noms is a distributed version control database and content-addressable data store. It identifies data by cryptographic hashes to ensure integrity and deduplication, while tracking dataset state changes through a sequence of immutable commits to enable branching, forking, and historical recovery. The system functions as a peer-to-peer data synchronizer, reconciling state between disconnected database instances to ensure all nodes converge on the same data. It distinguishes itself as a schema-flexible document store that supports self-describing types, allowing schemas to evolve and widen as ne

Horizon es un sistema de agregación de noticias impulsado por IA diseñado para construir tuberías personalizadas que obtienen, filtran y enriquecen información de diversas fuentes web. Utiliza modelos de lenguaje de gran tamaño para automatizar el filtrado de información, puntuando el contenido para eliminar el ruido y resaltar historias de alto valor. El sistema integra el Protocolo de Contexto de Modelo (Model Context Protocol) para exponer las etapas de la tubería como herramientas para asistentes de IA externos. Emplea un adaptador unificado para estandarizar diversos proveedores de modelos de IA para tareas consistentes de puntuación y resumen de contenido. La tubería agrega datos de feeds RSS, plataformas sociales, kits de herramientas financieras y repositorios de código. Gestiona el contenido mediante deduplicación, filtrado de categorías basado en cuotas y enriquecimiento contextual antes de entregar resúmenes multilingües por correo electrónico, webhooks o despliegue de sitio estático. Los flujos de trabajo se orquestan a través de automatización en la nube recurrente para gestionar la recolección y entrega programada de información procesada.

SD Maid SE es una utilidad de optimización de almacenamiento y mantenimiento del sistema para Android. Se centra en recuperar espacio en disco analizando el uso del almacenamiento y eliminando archivos duplicados, huérfanos o no utilizados. El proyecto se distingue por el uso de servicios de accesibilidad para automatizar tareas repetitivas del dispositivo y revisiones manuales de archivos mediante la simulación de interacciones del usuario. También incluye herramientas especializadas para reducir el tamaño de archivo de imágenes y videos mediante compresión multimedia. El sistema proporciona una amplia gama de capacidades, incluida la gestión del ciclo de vida de las aplicaciones para congelar o eliminar software, limpieza de basura para cachés de aplicaciones y la detección de datos redundantes mediante comparación de firmas. También emplea mapeo de almacenamiento jerárquico para visualizar el uso del disco y admite rutinas de mantenimiento programadas para mantener la salud del dispositivo.

Data-Juicer is an open-source framework for cleaning, filtering, deduplicating, and transforming multimodal datasets to prepare them for training large language and vision models. It functions as a distributed data pipeline engine that runs processing jobs across Ray clusters, handling billions of samples with automatic operator fusion and adaptive parallelism. The framework provides a library of operators that leverage large language models for semantic extraction, filtering, and data synthesis within processing pipelines. The project distinguishes itself through a YAML-based data recipe sys

go-fastdfs es un sistema de archivos distribuido y servidor de almacenamiento de objetos diseñado para construir almacenamiento en la nube privada. Proporciona una implementación de almacenamiento compatible con FastDFS que gestiona clústeres de nodos de almacenamiento para manejar subidas y descargas de archivos a gran escala. El sistema se centra en la alta disponibilidad a través de una arquitectura descentralizada que sincroniza automáticamente los datos y repara fallos entre múltiples máquinas sin un coordinador central. Admite específicamente el almacenamiento de archivos reanudables a través de HTTP, permitiendo que las transferencias grandes se pausen y reanuden desde el último byte exitoso para manejar la inestabilidad de la red. Las capacidades principales incluyen la optimización de recursos de almacenamiento mediante la deduplicación de contenido basada en SHA1 y la fusión de archivos pequeños para reducir el consumo de inodos del sistema de archivos. El proyecto también incorpora una tubería de procesamiento de imágenes que realiza escalado y redimensionamiento dinámico de imágenes durante el proceso de descarga y asegura el acceso a los archivos mediante autenticación basada en tokens. El sistema puede desplegarse mediante contenedores Docker.

Papra is a self-hosted document management system designed for digital archiving, organization, and retrieval. It serves as a centralized platform for storing files with a focus on security, providing an encrypted file archive using AES-256-GCM and a programmatic interface for managing documents and metadata via a REST API, SDK, and command line tools. The system distinguishes itself through an automated document ingestion engine that imports files via email forwarding, monitored folders, and webhook listeners. It further enhances discoverability by acting as an OCR document indexer, extracti

go-containerregistry is a Go library and toolkit for interacting with OCI and Docker registries. It provides a programmatic implementation of the Open Container Initiative distribution specification to fetch, upload, and manage container images, manifests, and layers. The library functions as a container image manipulation tool and a multi-platform image index manager. It enables the resolution and management of manifest lists that target various hardware architectures and operating systems without requiring a local daemon. The toolkit covers a broad range of registry interactions, including

This project is an automated content automation pipeline and AI article generator. It uses large language models to research topics from diverse web sources and academic repositories to generate evidence-based text and accompanying AI imagery for digital publishing. The system features a centralized social media management dashboard used to coordinate posting schedules, tone, and account positioning across multiple platforms. It employs a vector-based deduplicator to identify and remove redundant stories from the pipeline and uses topic clustering to rank content based on relevance. The work

fclones is a command-line tool designed to locate identical files across a filesystem by comparing file sizes and cryptographic hashes. It functions as a parallel filesystem scanner and a deduplication utility that identifies duplicate files to reclaim disk space. The tool distinguishes itself through a persistent hash cache system that stores hashes and metadata on disk to accelerate repeated scans. It employs a multi-phase scanning process and device-aware parallel I/O, which adjusts thread pools based on whether the storage is an SSD or HDD to maximize throughput. Beyond discovery, the pr