Refatorar dataset veiculos
#126
Open
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
…feitura-rio/pipelines_rj_smtr into staging/refatoracao-veiculos
6 tasks
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: |
|
@pixuimpou esse pull request tem conflitos 😩 |
eng-rodrigocunha
requested changes
Jan 9, 2025
| @@ -10,7 +10,7 @@ SELECT | |||
| WHEN DATE("{{ var('run_date') }}") >= "2024-03-16" AND DATE("{{ var('run_date') }}") < "2024-04-01" THEN DATE("2024-04-09") | |||
| ELSE ( | |||
| SELECT MIN(DATE(data)) | |||
| FROM {{ ref("sppo_licenciamento_stu_staging") }} | |||
| FROM {{ ref("licenciamento_stu_staging") }} | |||
There was a problem hiding this comment.
As duas fontes precisam ser consideradas ou os dados precisam ser reprocessados no novo endereço
|
|
||
| ### Alterado | ||
| - Altera tipo dos modelos `sppo_infracao.sql` e `sppo_licenciamento.sql` para `ephemeral` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/126) | ||
| - Adiciona colunas `placa`, `data_licenciamento`, `data_infracao` e `datetime_ultima_atualizacao` no modelo `sppo_veiculo_dia.sql` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/126) |
There was a problem hiding this comment.
Coluna tecnologia também
| - name: data_licenciamento | ||
| description: "Data do arquivo de licenciamento utilizado" | ||
| - name: data_infracao | ||
| description: "Data do arquivo de infrações utilizado" |
There was a problem hiding this comment.
Faltou a coluna de tecnologia
| WHEN tipo_veiculo LIKE "%PDRON%" OR tipo_veiculo LIKE "%PADRON%" THEN "PADRON" | ||
| WHEN tipo_veiculo LIKE "%ARTICULADO%" THEN "ARTICULADO" | ||
| ELSE NULL | ||
| END AS tecnologia, |
There was a problem hiding this comment.
Não era melhor isso estar no licenciamento?
| @@ -253,6 +262,9 @@ SELECT | |||
| WHEN indicadores.indicador_ar_condicionado IS TRUE THEN "Licenciado com ar e não autuado" | |||
| ELSE NULL | |||
| END AS status, | |||
| DATE("{{ licenciamento_date }}") AS data_licenciamento, | |||
| DATE("{{ infracao_date }}") AS data_infracao, | |||
| CURRENT_DATETIME("America/Sao_Paulo") AS datetime_ultima_atualizacao, | |||
There was a problem hiding this comment.
Colunas novas incluir apenas > 2024-01-01
| description: "Última atualização (GMT-3)." | ||
| - name: versao | ||
| description: "SHA do repositório no Github" | ||
| - name: licenciamento | ||
| description: "Tabela histórica de dados cadastrais dos veículos que operam o sistema de ônibus (BRT e SPPO), |
There was a problem hiding this comment.
Retirar (BRT e SPPO)
| FROM | ||
| {{ ref("licenciamento") }} | ||
| WHERE | ||
| tipo_veiculo NOT LIKE "%ROD%" |
There was a problem hiding this comment.
Incluir modo = 'ONIBUS'
| FROM | ||
| {{ ref("sppo_licenciamento") }} --`rj-smtr`.`veiculo`.`sppo_licenciamento` | ||
| {{ ref("sppo_licenciamento") }} --`rj-smtr`.`veiculo`.`licenciamento` |
| @@ -126,8 +138,9 @@ WITH | |||
| "025.VIII", | |||
| "025.IX", | |||
| "025.X", | |||
| "025.XI") ), | |||
| autuacao_limpeza AS ( | |||
| "025.XI") | |||
| @@ -58,7 +58,7 @@ models: | |||
| description: "Empresa ao qual o veículo está vinculado" | |||
| - name: ano_ultima_vistoria | |||
| description: "Ano da última vistoria realizada pelo veículo" | |||
| - name: sppo_licenciamento_stu_staging | |||
| - name: licenciamento_stu_staging | |||
| description: "View de Dados cadastrais dos veículos que operam o sistema de ônibus (BRT e SPPO) no município do Rio de Janeiro.\n | |||
There was a problem hiding this comment.
Retirar (BRT e SPPO)
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Pipelines
Changelog - veiculo
[1.1.0] - 2024-08-06
Alterado
placadas primary keysQueries
Changelog - veiculo
[2.0.0] - 2024-08-06
Adicionado
infracao.sqlelicenciamento.sqlpara guardar os dados completos de infração e licenciamento do STUAlterado
sppo_infracao.sqlesppo_licenciamento.sqlparaephemeralplaca,data_licenciamento,data_infracaoedatetime_ultima_atualizacaono modelosppo_veiculo_dia.sql