Mini-projeto realizado no âmbito do repositório de dados sobre a COVID-19 em Portugal
Um dos maiores impactos do COVID-19 em Portugal tem sido no mercado de trabalho. Como tal, dados relacionados com desemprego, pedidos de layoff ou baixas têm uma extrema importância para melhor entender este impacto, acompanhar e prever a sua evolução. O Ministério do Trabalho, Solidariedade e Segurança Social (MTSSS) disponibiliza estes dados, ao longo do tempo, num ficheiro .xlsx.
Criar uma pipeline de extração diária de dados do ficheiro .csv
publicado pelo MTSSS com um dicionário de dados associados.
Criação de um conjunto de ficheiros .csv
e dicionários de dados com fontes consideradas relevantes para estudos de impacto da COVID-19 no mercado de trabalho em Portugal.
Os conjuntos de ficheiros criados e dicionários de dados correspondentes encontram-se disponíveis aqui.
- Criar um ficheiro
csv
com dados que considerem relevantes desse ficheiro, tais como:- Baixas por isolamento.
- Pedidos de layoff.
- Despedimentos.
- Criar um dicionário de dados (tabela em Markdown ou ficheiro .
csv
) com o significado de cada variável.
- Criar um script para atualizar diariamente estes dados extraindo-os da plataforma, com uma lógica semelhante ao que temos feito no repositório (usando o Github Actions).
- Criar um script de teste para testar a validade dos dados e o funcionamento do script, com os testes considerados relevantes.
- Incluir os scripts no workflow atual.