Description
Projetos de análises de dados tendem a começar com uma tarefa pequena: baixar um arquivo, limpar dados brutos, gerar uma figura. Notebooks são ótimas ferramentas para exploração, mas o que fazer quando você tem centenas (ou milhares) de arquivos, e precisa repetir esse processo para cada um deles?
Snakemake é uma ferramenta para gerenciamento de workflows, com uma sintaxe parecida com Makefiles mas com muitas outras funcionalidades úteis:
- gerenciamento de software (usando conda)
- submissão de tarefas para clusters
- medição de recursos utilizados
E, principalmente: snakemake é Python, e você pode usar qualquer pacote ou definir suas próprias funções para guiar a sua análise!