8 repositorios
Applying deterministic constraints to filter out noise and invalid entries from datasets.
Distinct from Rule-Based Filters: Existing candidates focus on feed content, email, or linting tags, not general raw dataset noise filtering.
Explore 8 awesome GitHub repositories matching data & databases · Rule-Based Data Filtering. Refine with filters or upvote what's useful.
CleanMyWechat es una utilidad de disco de aplicación de escritorio diseñada para recuperar espacio de almacenamiento limpiando imágenes, vídeos y archivos en caché del cliente de escritorio de WeChat en Windows y macOS. Funciona como una herramienta de mantenimiento de caché automatizada que identifica y elimina activos multimedia innecesarios de las cachés de software de comunicación. La utilidad optimiza el almacenamiento de medios filtrando activos según el tipo de archivo y los umbrales de antigüedad mientras preserva el historial de texto de la conversación. Para evitar la pérdida permanente de datos, utiliza un sistema de recuperación que mueve los archivos identificados a la papelera de reciclaje del sistema en lugar de borrarlos permanentemente. El sistema incluye capacidades para la limpieza de disco automatizada a través de un mecanismo de programación que activa procesos de mantenimiento en intervalos predefinidos. Emplea un motor de filtro basado en reglas y descubrimiento basado en rutas para localizar y gestionar estructuras de directorios de aplicaciones a través de diferentes sistemas operativos.
Uses a rule-based engine to filter files by age and extension to determine deletion eligibility.
Esta es una biblioteca de expresiones regulares diseñada para la validación e identificación de números de teléfono móviles de China continental. Proporciona las reglas estructurales y las restricciones de dígitos necesarias para verificar que los números de teléfono sigan el formato regional correcto. La biblioteca incluye patrones específicos para determinar el proveedor de telecomunicaciones según los prefijos regionales. También cuenta con filtros para distinguir entre números de voz estándar y planes de IoT o solo datos. El proyecto cubre amplias capacidades de validación de datos, incluyendo la verificación del formato de entrada y la identificación del operador.
Applies deterministic structural constraints to filter and separate voice, IoT, and data-only phone plans.
Zim es un framework de configuración de Zsh y gestor de entorno diseñado para optimizar el rendimiento y la productividad del shell. Sirve como gestor de plugins, personalizador de prompts y optimizador de rendimiento que agrupa temas y módulos en un sistema cohesivo. El framework se distingue por utilizar compilación de bytecode para acelerar los tiempos de inicio del shell y mejorar la velocidad de ejecución. Emplea un sistema modular para instalar, actualizar y sincronizar módulos y scripts de shell externos desde fuentes locales o remotas. El proyecto cubre una amplia gama de capacidades, incluyendo la automatización del flujo de trabajo del desarrollador mediante integraciones de Git, herramientas de productividad de línea de comandos como alias abreviados y sistemas de autocompletado, y gestión de paquetes del sistema para herramientas como Homebrew y Pacman. También proporciona herramientas de ingeniería de prompts para inyectar metadatos en tiempo real y aplicar temas visuales a la interfaz. El entorno se gestiona a través de un archivo de configuración central que define los ciclos de vida de los plugins y la lógica de inicialización condicional basada en el sistema operativo detectado.
Lists files based on specific attributes like modification date or type using shell glob qualifiers.
OUCML es un curador de investigación de aprendizaje automático y herramienta de curación de datos automatizada. Proporciona una colección de artículos de investigación estructurados, ejemplos de código y guías de estudio diseñadas para dominar conceptos complejos de ciencia de datos. El proyecto incluye un framework de entrenamiento de redes generativas antagónicas que utiliza modelos generadores y discriminadores para refinar iterativamente los datos sintéticos. También funciona como una librería de computación basada en tensores para realizar operaciones matriciales de alta dimensión para acelerar el entrenamiento de redes neuronales. El sistema cubre la educación en aprendizaje automático y la curación de investigación agregando materiales técnicos en conjuntos de aprendizaje estructurados. Esto apoya el aprendizaje técnico autodirigido a través de la organización de artículos académicos y patrones de automatización.
Applies rule-based filtering and deterministic constraints to aggregate technical research materials.
fselect es una utilidad de línea de comandos y motor de consulta de metadatos de archivos que utiliza una sintaxis similar a SQL para filtrar y encontrar archivos basados en sus atributos. Funciona como una herramienta de análisis del sistema de archivos capaz de seleccionar archivos y directorios utilizando lógica relacional, subconsultas y filtrado de datos estructurados. La herramienta se distingue por integrar el estado de seguimiento de Git y metadatos de rama en el proceso de búsqueda, respetando los archivos de ignorados del proyecto. También incluye una capacidad especializada de búsqueda de metadatos multimedia que filtra archivos de audio e imagen por propiedades técnicas como resolución, bitrate y etiquetas EXIF. El proyecto cubre un amplio rango de capacidades, incluyendo forense del sistema de archivos mediante inspección de hash SHA-256 y auditoría de permisos POSIX. Soporta coincidencia de patrones complejos con expresiones regulares y globs, búsqueda de contenido dentro de cuerpos de archivos y archivos ZIP, y el cálculo de estadísticas agregadas como sumas y promedios a través de conjuntos de resultados. Los usuarios pueden ejecutar consultas a través de un bucle interactivo de lectura-evaluación-impresión (REPL) o exportar resultados estructurados a formatos como CSV y JSON para informes externos.
Filters files using attributes such as size, MIME type, file hashes, and POSIX ACLs.
RedisShake es una herramienta de migración y sincronización para instancias de Redis y Valkey. Facilita la transferencia de datos entre despliegues standalone, sentinel y en clúster, actuando como un migrador de bases de datos entre versiones y una utilidad para restaurar datos desde archivos de respaldo. El proyecto ofrece un pipeline de transformación de datos programable que permite filtrar claves, remapear índices de bases de datos y ejecutar scripts Lua para modificar comandos y claves durante el tránsito. Soporta sincronización sin tiempo de inactividad (zero-downtime) mediante la replicación de snapshots y el streaming de cambios incrementales en tiempo real. La herramienta cubre una amplia gama de métodos de extracción, incluyendo migración basada en replicación, migración basada en escaneo y restauración de archivos de respaldo. Incluye capacidades para el descubrimiento de nodos de clúster, resolución de maestros sentinel y verificación de compatibilidad de versiones para garantizar la estabilidad durante las transferencias entre versiones.
Drops specific keys, database indices, or data structure types based on custom business logic to control migrated content.
waka-readme-stats es un actualizador automático de README de perfil y panel de estadísticas para desarrolladores. Se integra con la API de WakaTime y endpoints compatibles autohospedados para sincronizar datos de seguimiento de tiempo, que luego transforma en una visualización formateada de horas de codificación, lenguajes y sistemas operativos. La herramienta opera como una GitHub Action que obtiene métricas y actualiza automáticamente un archivo README de perfil reemplazando comentarios marcadores con contenido dinámico mediante commits de git. Permite la integración de endpoints de API personalizados para soportar servicios autohospedados. El sistema proporciona capacidades para el renderizado de métricas y la recolección de datos, incluyendo la capacidad de filtrar repositorios específicos y controlar la visibilidad de puntos de datos individuales. El estilo visual se maneja a través de plantillas configurables para barras de progreso y insignias, mientras que la localización de salida soporta múltiples idiomas mediante códigos de idioma. Las opciones de configuración incluyen ajustes de identidad de commit para actualizaciones automatizadas y formato de marca de tiempo personalizable para el bloque de estadísticas.
Applies deterministic constraints to exclude specific repositories from activity metric calculations.
DataFlow is an agent-based workflow orchestrator and data pipeline designed to synthesize, clean, and augment large-scale datasets for training large language models. It functions as a synthetic data generator and text curation tool, utilizing an intelligent assistant to assemble modular processing operators into functional pipelines based on user requirements. The project distinguishes itself through a low-code approach, providing a web-based visual interface for designing and monitoring multi-stage execution flows. It features an operator-based registry system that allows for the integratio
Applies deterministic constraints on length, language, and symbols to remove noise from raw datasets.