awesome-repositories.com
Blog
awesome-repositories.com

Descubre los mejores repositorios open-source con nuestra búsqueda potenciada por IA.

ExplorarBúsquedas curadasAlternativas open-sourceSoftware autohospedableBlogMapa del sitio
ProyectoAcerca deCómo clasificamosPrensaServidor MCP
Aviso legalPrivacidadTérminos
© 2026 Bringes Technology SRL·VAT RO45896025·hello@awesome-repositories.com
·

10 repositorios

Awesome GitHub RepositoriesDataset Merging

Capabilities for combining multiple data files into a single unified dataset while removing overlaps.

Distinct from Data Deduplication Tools: Focuses on the logical merging of geographic datasets rather than checksum-based file deduplication.

Explore 10 awesome GitHub repositories matching data & databases · Dataset Merging. Refine with filters or upvote what's useful.

Awesome Dataset Merging GitHub Repositories

Encuentra los mejores repositorios con IA.Buscaremos los repositorios que mejor coincidan usando IA.
  • morvanzhou/tutorialsAvatar de MorvanZhou

    MorvanZhou/tutorials

    12,952Ver en GitHub↗

    This repository is a comprehensive collection of instructional guides and practical examples for Python development, focusing on machine learning, data science, and web scraping. It provides implementations for neural networks, reinforcement learning algorithms, and deep learning architectures using PyTorch, alongside detailed manuals for scientific computing and data visualization. The project distinguishes itself by offering specialized tutorials on concurrent programming to optimize CPU performance and guides for setting up Linux development environments. It covers the implementation of ad

    Implements capabilities for combining and reorganizing multiple datasets through concatenation and grouping.

    Pythonmachine-learningmultiprocessingneural-network
    Ver en GitHub↗12,952
  • xpixelgroup/basicsrAvatar de XPixelGroup

    XPixelGroup/BasicSR

    8,297Ver en GitHub↗

    BasicSR is a PyTorch-based image restoration toolbox and framework designed for training and deploying deep learning models to upscale, denoise, and deblur images and videos. It serves as a comprehensive system for image super-resolution and video quality restoration, providing the necessary infrastructure to recover fine visual details and increase pixel density. The project distinguishes itself through specialized toolkits for facial image enhancement and high-fidelity face synthesis, as well as a dedicated video quality restoration suite that utilizes deformable convolutions and generative

    Merges training and validation data into single directories using distinct index ranges for efficient management.

    Pythonbasicsrbasicvsrdfdnet
    Ver en GitHub↗8,297
  • freika/dawarichAvatar de Freika

    Freika/dawarich

    8,030Ver en GitHub↗

    Dawarich is a self-hosted location history manager and travel journaling platform. It functions as a personal travel archive that collects GPS coordinates and movement data, providing a private alternative to proprietary tracking services. The system utilizes a PostgreSQL geospatial database to store coordinates, visits, and custom geofence boundaries. The project distinguishes itself as a geospatial data converter and visualization tool, capable of transforming location history between formats such as GPX, KML, and GeoJSON. It allows users to organize GPS tracks and geotagged photos into nam

    Combines multiple export files into one dataset while removing overlapping GPS points.

    Rubygoogle-mapsgpsloggerhacktoberfest
    Ver en GitHub↗8,030
  • tingsongyu/pytorch_tutorialAvatar de TingsongYu

    TingsongYu/PyTorch_Tutorial

    8,018Ver en GitHub↗

    This project is a comprehensive collection of educational examples and reference implementations for building vision and language models using PyTorch. It serves as a deep learning tutorial covering the end-to-end process of developing neural networks, from initial architecture definition to final production deployment. The repository provides detailed guides on implementing a wide range of domain-specific models, including convolutional neural networks for object detection and segmentation, as well as transformer and recurrent architectures for natural language processing. It emphasizes gene

    Implements capabilities for combining multiple data sources into a single unified dataset via concatenation.

    Python
    Ver en GitHub↗8,018
  • open-mmlab/mmposeAvatar de open-mmlab

    open-mmlab/mmpose

    7,374Ver en GitHub↗

    MMPose is a PyTorch-based pose estimation toolbox and deep learning training pipeline designed for detecting 2D and 3D keypoints on humans, animals, and faces. It serves as a computer vision model zoo and a framework for both 2D pose estimation and 3D pose lifting. The project is distinguished by its modular architecture and extensibility, employing a registry-based system and hierarchical configurations to allow for custom algorithm integration and model pipeline customization. It supports diverse estimation paradigms, including top-down, bottom-up, and two-stage pose lifting workflows. The

    Combines multiple datasets with different formats into a single training set using converter transforms.

    Pythonanimal-pose-estimationbenchmarkcpm
    Ver en GitHub↗7,374
  • facebookresearch/flashlightAvatar de facebookresearch

    facebookresearch/flashlight

    5,443Ver en GitHub↗

    Flashlight es una biblioteca de aprendizaje automático en C++ y un framework de aprendizaje profundo diseñado para construir y entrenar redes neuronales. Funciona como una biblioteca de manipulación de tensores y un motor de diferenciación automática que rastrea operaciones para calcular gradientes mediante retropropagación (backpropagation) para la optimización de modelos. El proyecto se distingue por su rol como framework de entrenamiento distribuido, utilizando sincronización de gradientes all-reduce y entornos distribuidos para escalar cargas de trabajo de aprendizaje automático a través de múltiples nodos y dispositivos. Cuenta con una interfaz de memoria agnóstica al backend y gestión basada en RAII para desacoplar las operaciones de tensores del hardware físico. El framework cubre una amplia superficie de capacidades, incluyendo la construcción de arquitecturas de redes neuronales con capas convolucionales, lineales y recurrentes. Proporciona utilidades extensas para álgebra de tensores, gestión y batching de datasets, serialización binaria versionada para estados de modelos y herramientas de monitorización para rastrear métricas de entrenamiento y uso de memoria.

    Combines fields from multiple datasets sharing the same indices into a single sample.

    C++
    Ver en GitHub↗5,443
  • obss/sahiAvatar de obss

    obss/sahi

    5,372Ver en GitHub↗

    SAHI es un framework de inferencia segmentada y pipeline de visión artificial diseñado para detectar objetos pequeños en imágenes de alta resolución. Proporciona un sistema para dividir imágenes grandes en parches superpuestos para evitar la pérdida de detalle que ocurre típicamente durante la reducción de escala estándar del modelo, junto con una utilidad de mosaico de imágenes y un kit de herramientas de conjunto de datos COCO. El proyecto se distingue por ofrecer un wrapper de predicción agnóstico al modelo que estandariza diferentes frameworks de aprendizaje automático en una interfaz unificada. Esto le permite implementar inferencia segmentada y detección de objetos a través de varios backends de modelos mientras mantiene un formato de salida consistente. Más allá de la inferencia, el framework cubre la gestión de conjuntos de datos para formatos COCO y YOLO, incluyendo herramientas para el corte de imágenes anotadas, remapeo de categorías y fusión de conjuntos de datos. También incluye una suite para la evaluación y monitoreo del rendimiento del modelo, con cálculo de métricas para precisión y recall, análisis de errores de detección y visualización de resultados. El conjunto de herramientas es accesible a través de una interfaz de línea de comandos para automatizar flujos de trabajo de inferencia a través de directorios de imágenes y flujos de video.

    Combines multiple COCO datasets into a single unified annotation file.

    Python
    Ver en GitHub↗5,372
  • open-mmlab/mmaction2Avatar de open-mmlab

    open-mmlab/mmaction2

    5,066Ver en GitHub↗

    mmaction2 es un kit de herramientas de comprensión de video de PyTorch diseñado para entrenar y evaluar modelos de aprendizaje profundo. Sirve como un framework para el reconocimiento de acciones, localización temporal y detección de acciones espaciotemporales, proporcionando herramientas especializadas tanto para el análisis de video basado en píxeles como para el reconocimiento de acciones basado en esqueletos. El proyecto se distingue por una arquitectura modular que cuenta con descubrimiento de componentes basado en registro y ensamblaje de modelos jerárquico impulsado por configuración. Admite la fusión de características multimodales, integrando marcos RGB, flujo óptico y audio, e incluye capacidades para la recuperación de clips de video mediante texto y predicción de video zero-shot. A grandes rasgos, el framework cubre la ingeniería de conjuntos de datos de video, incluyendo la estandarización de anotaciones y el muestreo de fotogramas, así como el entrenamiento y evaluación integral de modelos. Proporciona utilidades para el entrenamiento distribuido, destilación de conocimientos y optimización de inferencia mediante reparametrización de modelos. La base de código admite la exportación de modelos ONNX y la contenerización del entorno para el despliegue a través de diferentes nodos de cómputo.

    Combines multiple video collections and annotations into a single unified directory structure.

    Python
    Ver en GitHub↗5,066
  • kaiyangzhou/deep-person-reidAvatar de KaiyangZhou

    KaiyangZhou/deep-person-reid

    4,849Ver en GitHub↗

    Este proyecto es un framework de re-identificación de personas en PyTorch diseñado para entrenar y evaluar modelos que identifican individuos a través de diferentes vistas de cámara. Proporciona un pipeline completo de entrenamiento de modelos, un extractor de características de deep learning para convertir imágenes en vectores numéricos y una suite de herramientas de benchmarking de visión artificial para medir la precisión de recuperación de identidad. El framework incluye un toolkit de aprendizaje por transferencia (transfer learning) especializado que soporta congelación de capas, optimización de tasa de aprendizaje por etapas y tasas de aprendizaje diferenciales para el ajuste fino de modelos preentrenados. Se distingue por un motor extensible que permite el desarrollo de lógica de entrenamiento personalizada y la implementación de objetivos de optimización específicos como la minería de triplet loss de muestras difíciles y el suavizado de etiquetas (label smoothing). El sistema cubre la gestión integral de datasets, incluyendo soporte para benchmarks estándar, muestreo de lotes equilibrado y aumento de imágenes. Proporciona utilidades de evaluación para calcular rangos de recuperación y distancias de características, así como herramientas de visualización para generar mapas de calor de activación y galerías de recuperación clasificadas. El proyecto está implementado en Python y aprovecha PyTorch para sus operaciones de deep learning.

    Merges multiple image or video datasets into a single manager for joint training or evaluation.

    Pythoncomputer-visioncross-domaindeep-learning
    Ver en GitHub↗4,849
  • tingsongyu/pytorch-tutorial-2ndAvatar de TingsongYu

    TingsongYu/PyTorch-Tutorial-2nd

    4,555Ver en GitHub↗

    Este proyecto es un recurso educativo integral y un curso para construir redes neuronales usando PyTorch. Cubre los bloques de construcción fundamentales del deep learning, incluyendo la manipulación de tensores, la diferenciación automática y la construcción de componentes modulares de redes neuronales. El repositorio sirve como guía técnica para varios dominios especializados. Proporciona detalles de implementación para tareas de visión artificial como clasificación de imágenes, detección de objetos y segmentación semántica, así como flujos de trabajo de procesamiento de lenguaje natural que involucran transformers, redes recurrentes y modelos generativos. Además, incluye una referencia para IA generativa, centrándose específicamente en la síntesis de imágenes mediante modelos de difusión y redes adversarias. El material se extiende a pipelines de optimización y despliegue de modelos. Cubre técnicas para reducir el tamaño del modelo y aumentar la velocidad de inferencia mediante cuantización y la exportación de modelos a formatos como ONNX y TensorRT. Otras áreas de capacidad incluyen ingeniería de datos para carga paralela, evaluación de modelos mediante métricas personalizadas y el despliegue de modelos de lenguaje grandes (LLM) de código abierto. El proyecto se entrega principalmente como una serie de Jupyter Notebooks.

    Provides capabilities for combining multiple separate datasets into a single unified collection for multi-source data handling.

    Jupyter Notebookcomputer-visiondeepsortdiffusion-models
    Ver en GitHub↗4,555
  1. Home
  2. Data & Databases
  3. Data Deduplication Tools
  4. Dataset Merging

Explorar subetiquetas

  • Dataset Index PartitioningOrganizing merged datasets into distinct index ranges for training and validation splits. **Distinct from Dataset Merging:** Focuses on index-based splitting within a merged directory, rather than logical data merging or deduplication.
  • Multi-Dataset Joint ManagementMerging multiple distinct image or video datasets into a single manager for joint training and evaluation. **Distinct from Dataset Merging:** Focuses on joint model training across multiple datasets rather than file deduplication