Awesome GitHub RepositoriesInline Script Execution

Luigi is a Python framework designed for building and managing complex batch data pipelines. It functions as a workflow orchestration engine that organizes tasks into directed acyclic graphs, ensuring that jobs execute in the correct logical order based on their dependencies. By utilizing a centralized scheduler, the system coordinates task execution across distributed environments, tracks global workflow state, and prevents redundant processing by verifying the existence of output targets before triggering any work. The project distinguishes itself through a robust state-tracking mechanism t

Organize est un utilitaire en ligne de commande conçu pour automatiser la gestion du système de fichiers, le nettoyage du stockage et l'organisation des répertoires. Il fonctionne comme un moteur basé sur des règles qui traite les fichiers via des pipelines séquentiels, permettant aux utilisateurs de définir des flux de travail complexes pour déplacer, renommer et gérer les données locales. Le système utilise des fichiers de configuration structurés pour mapper les déclencheurs du système de fichiers à des actions spécifiques. Il se distingue par un moteur de simulation qui permet aux utilisateurs de prévisualiser l'impact de leurs règles sur un système de fichiers virtuel avant d'appliquer les changements, garantissant l'intégrité des données. De plus, l'outil prend en charge l'extensibilité en permettant l'intégration de commandes shell et de scripts personnalisés directement dans le pipeline d'automatisation. Au-delà des opérations de fichiers de base, le logiciel effectue une classification pilotée par les métadonnées en extrayant des propriétés internes telles que les données EXIF des images ou le contenu des documents pour catégoriser automatiquement les fichiers. Il inclut également des capacités pour identifier et supprimer les fichiers en double via le hachage basé sur le contenu et maintenir l'efficacité du stockage en nettoyant les dossiers vides et les fichiers abandonnés.