v1.6.0

Pre-release: v1.6.0-beta

Essa pre-release compreende a implementação dos PRs #675, #795 e #847.
As mudanças proveniente de cada um dos PRs são descritas a seguir.

Changelog

PR #675

Adiciona módulo metadata.py com as modificações e funções descritas a seguir.
Elas estão disponíveis tanto a partir da importação do módulo e da classe Metadata via script ou notebook, tanto como a partir do cliente CLI basedosdados.

Baixar metadados do CKAN e converter para YAML: Metadata.create

1. Permite baixar metadados de um dataset/tabela do CKAN, construindo um dataset/table_config.yaml a partir deles
2. Permite criar um arquivo dataset/table_config.yaml estruturado e sem valores preenchidos para novos datasets e tabelas

Garantir que usuário não esteja subindo metadados mais antigos do que os atuais: Metadata.is_updated

1. Permite comparar a versão do YAML local com a versão dos metadados do CKAN, indicando se os metadados locais correspondem à versão mais atualizada.

Validar se metadado está dentro dos padrões: Metadata.validate

1. Indica, a partir das APIs do CKAN, quais campos do YAML estão preenchidos de forma inadequada.
2. Indica o padrão correto a ser seguido no preenchimento dos dados.

Subir metadado para o CKAN: Metadata.publish

1. Permite subir os metadados locais preenchidos no YAML para o CKAN.

Integração com Table

1. Table.create usa Metadata.create para gerar o dataset/table_config.yaml

PR #795

• Upload para o Google Storage permite novos modes: header, auxiliary_files e architecture
• Agora table_approve.py faz o download das 20 primeiras linhas da table e adiciona na pasta header do Google Storage

PR #847

• Introduz o parâmetro use_bqstorage_api nas funções de requisição de dados para acelerar o download