merge main local

pipelines/migration/br_rj_riodejaneiro_brt_gps/flows.py

@@ -2,7 +2,7 @@
 """
 Flows for br_rj_riodejaneiro_brt_gps
 
-DBT 2024-08-20
+DBT 2024-09-06
 """
 
 # Prefect Imports #

pipelines/migration/br_rj_riodejaneiro_gtfs/flows.py

@@ -2,7 +2,7 @@
 """
 Flows for gtfs
 
-DBT: 2024-07-23
+DBT 2024-09-06
 """
 
 from prefect import Parameter, case, task

pipelines/migration/br_rj_riodejaneiro_rdo/flows.py

@@ -1,6 +1,8 @@
 # -*- coding: utf-8 -*-
 """
 Flows for br_rj_riodejaneiro_rdo
+
+DBT 2024-09-06
 """
 
 from prefect import Parameter, case

pipelines/migration/br_rj_riodejaneiro_recursos/flows.py

@@ -1,6 +1,8 @@
 # -*- coding: utf-8 -*-
 """
 Flows for br_rj_riodejaneiro_recurso
+
+DBT 2024-09-06
 """
 from copy import deepcopy
 

pipelines/migration/br_rj_riodejaneiro_stu/flows.py

@@ -1,6 +1,8 @@
 # -*- coding: utf-8 -*-
 """
 Flows for br_rj_riodejaneiro_stu
+
+DBT 2024-09-06
 """
 
 from copy import deepcopy

pipelines/migration/projeto_subsidio_sppo/flows.py

@@ -3,7 +3,7 @@
 """
 Flows for projeto_subsidio_sppo
 
-DBT 2024-08-19
+DBT 2024-09-06
 """
 
 from prefect import Parameter, case, task

queries/models/br_rj_riodejaneiro_brt_gps/schema.yml

@@ -3,7 +3,93 @@ version: 2
 models:
   - name: brt_aux_registros_filtrada
     description: "Tabela auxiliar no tratamento do GPS do BRT. Remove registros fora do município do Rio de Janeiro e registros que tem diferença maior que 1 minuto entre o timestamp_captura e timestamp_gps."
+    columns:
+      - name: id_veiculo
+        description: "{{ doc('id_veiculo') }}"
+      - name: latitude
+        description: "{{ doc('latitude_gps') }}"
+      - name: longitude
+        description: "{{ doc('longitude_gps') }}"
+      - name: posicao_veiculo_geo
+        description: "Coordenada geográfica (POINT) com a posição que o veículo se encontra, conforme 'longitude' e 'latitude' informadas pelo GPS (EPSG:4326 - WGS84)"
+      - name: velocidade
+        description: "Velocidade instantânea do veículo, conforme informado pelo GPS (km/h)"
+      - name: servico
+        description: "{{ doc('servico') }}"
+      - name: timestamp_gps
+        description: "{{ doc('timestamp_gps') }}"
+      - name: timestamp_captura
+        description: "{{ doc('timestamp_captura') }}"
+      - name: data
+        description: "Data do 'timestamp_captura'"
+      - name: hora
+        description: "Hora do 'timestamp_captura'"
+      - name: versao
+        description: "{{ doc('versao') }}
   - name: brt_registros
     description: "View para os dados capturados em staging com tratamento básico e conversão de valores"
+    columns:
+      - name: id_veiculo
+        description: "{{ doc('id_veiculo') }}"
+      - name: timestamp_gps
+        description: "{{ doc('timestamp_gps') }}"
+      - name: timestamp_captura
+        description: "{{ doc('timestamp_captura') }}"
+      - name: content
+        description: "{{ doc('content') }}"
+      - name: data
+        description: "Data do 'timestamp_captura'"
+      - name: hora
+        description: "Hora do 'timestamp_captura'"
   - name: brt_registros_desaninhada
-    description: "View para os dados capturados em staging com os valores da coluna content desaninhados."
+    description: "View para os dados capturados em staging com os valores da coluna content desaninhados."
+    columns:
+      - name: data
+        description: "Data do 'timestamp_captura'"
+      - name: hora
+        description: "Hora do 'timestamp_captura'"
+      - name: id_veiculo
+        description: "{{ doc('id_veiculo') }}"
+      - name: timestamp_gps
+        description: "{{ doc('timestamp_gps') }}"
+      - name: timestamp_captura
+        description: "{{ doc('timestamp_captura') }}"
+      - name: latitude
+        description: "{{ doc('latitude_gps') }}"
+      - name: longitude
+        description: "{{ doc('longitude_gps') }}"
+      - name: servico
+        description: "{{ doc('servico') }}"
+      - name: sentido
+        description: "{{ doc('sentido') }}"
+      - name: velocidade
+        description: "Velocidade instantânea do veículo, conforme informado pelo GPS (km/h)"
+  - name: registros_historico
+    description: "View para os dados históricos capturados em staging com tratamento básico e conversão de valores"
+    columns:
+      - name: codigo
+        description: "{{ doc('codigo') }}"
+      - name: placa
+        description: "Placa do veículo"
+      - name: linha
+        description: "Linha de ônibus (serviço) ou, se realocada, informada pela empresa operadora"
+      - name: latitude
+        description: "{{ doc('latitude_gps') }}"
+      - name: longitude
+        description: "{{ doc('longitude_gps') }}"
+      - name: timestamp_gps
+        description: "{{ doc('timestamp_gps') }}"
+      - name: velocidade
+        description: "Velocidade instantânea do veículo, conforme informado pelo GPS (km/h)"
+      - name: id_migracao_trajeto
+        description: ""
+      - name: sentido
+        description: "{{ doc('sentido') }}"
+      - name: trajeto
+        description: "{{ doc('trajeto') }}"
+      - name: timestamp_captura
+        description: "{{ doc('timestamp_captura') }}"
+      - name: data
+        description: "Data do 'timestamp_captura'"
+      - name: hora
+        description: "Hora do 'timestamp_captura'"

queries/models/br_rj_riodejaneiro_rdo/schema.yaml

@@ -45,4 +45,81 @@ models:
       - name: quantidade_transacao_gratuidade
         description: "Quantidade de gratuidades"
       - name: arquivos_somados
-        description: "Coluna de controle com array das datas dos arquivos que foram somados para obter os valores finais"
+        description: "Coluna de controle com array das datas dos arquivos que foram somados para obter os valores finais"
+  - name: rdo40_registros
+    description: "View para os dados do Resumo Diário de Operação com a quantidade total de passageiros."
+    columns:
+    - name: data
+      description: "Data das transações"
+    - name: ano
+      description: "Ano das transações"
+    - name: mes
+      description: "Mês das transações"
+    - name: dia
+      description: "Dia das transações"
+    - name: id_consorcio
+      description: "Identificador do consórcio na tabela cadastro.consorcios"
+    - name: consorcio
+      description: "{{ doc('consorcio') }}"
+    - name: servico
+      description: "{{ doc('servico') }}"
+    - name: linha
+      description: "{{ doc('linha') }}"
+    - name: tipo_servico
+      description: "{{ doc('tipo_servico') }}"
+    - name: ordem_servico
+      description: "{{ doc('ordem_servico') }}"
+    - name: codigo_veiculo
+      description: "{{ doc('codigo_veiculo') }}"
+    - name: tarifa_codigo
+      description: "{{ doc('tarifa_codigo') }}"
+    - name: tarifa_valor
+      description: "{{ doc('tarifa_valor') }}"
+    - name: frota_determinada
+      description: "{{ doc('frota_determinada') }}"
+    - name: frota_licenciada
+      description: "{{ doc('frota_licenciada') }}"
+    - name: frota_operante
+      description: "{{ doc('frota_operante') }}"
+    - name: qtd_viagens
+      description: "{{ doc('qtd_viagens') }}"
+    - name: qtd_km_cobertos
+      description: "{{ doc('qtd_km_cobertos') }}"
+    - name: qtd_grt_idoso
+      description: "{{ doc('qtd_grt_idoso') }}"
+    - name: qtd_grt_especial
+      description: "{{ doc('qtd_grt_especial') }}"
+    - name: qtd_grt_estud_federal
+      description: "{{ doc('qtd_grt_estud_federal') }}"
+    - name: qtd_grt_estud_estadual
+      description: "{{ doc('qtd_grt_estud_estadual') }}"
+    - name: qtd_grt_estud_municipal
+      description: "{{ doc('qtd_grt_estud_municipal') }}"
+    - name: qtd_grt_rodoviario
+      description: "{{ doc('qtd_grt_rodoviario') }}"
+    - name: qtd_buc_1_perna
+      description: "{{ doc('qtd_buc_1_perna') }}"
+    - name: qtd_buc_2_perna_integracao
+      description: "{{ doc('qtd_buc_2_perna_integracao') }}"
+    - name: receita_buc
+      description: "{{ doc('receita_buc') }}"
+    - name: qtd_buc_supervia_1_perna
+      description: "{{ doc('qtd_buc_supervia_1_perna') }}"
+    - name: qtd_buc_supervia_2_perna_integracao
+      description: "{{ doc('qtd_buc_supervia_2_perna_integracao') }}"
+    - name: receita_buc_supervia
+      description: "{{ doc('receita_buc_supervia') }}"
+    - name: qtd_cartoes_perna_unica_e_demais
+      description: "{{ doc('qtd_cartoes_perna_unica_e_demais') }}"
+    - name: receita_cartoes_perna_unica_e_demais
+      description: "{{ doc('receita_cartoes_perna_unica_e_demais') }}"
+    - name: qtd_pagamentos_especie
+      description: "{{ doc('qtd_pagamentos_especie') }}"
+    - name: receita_especie
+      description: "{{ doc('receita_especie') }}"
+    - name: qtd_grt_passe_livre_universitario
+      description: "{{ doc('qtd_grt_passe_livre_universitario') }}"
+    - name: class_servico
+      description: "{{ doc('class_servico') }}"
+    - name: qtd_passageiros_total
+      description: "{{ doc('qtd_passageiros_total') }}"

queries/models/br_rj_riodejaneiro_recursos/schema.yml

@@ -33,6 +33,10 @@ models:
         description: Observações acerca do julgamentodo recurso
       - name: data
         description: Data do recurso (partição da tabela)
+      - name: data_julgamento
+        description: Data do julgamento
+      - name: datetime_update
+        description: Datetime de atualização do recurso
 
   - name: recursos_sppo_bloqueio_via
     description: "Recursos abertos na plataforma Movidesk para pagamento de subsídio de bloqueio de via"
@@ -53,6 +57,8 @@ models:
           description: Data/hora de captura dos dados
         - name: datetime_recurso
           description: Data/hora de criação do ticket para pedido de recurso no Movidesk
+        - name: datetime_update
+          description: Datetime de atualização do recurso
         - name: julgamento
           description: Julgamento do recurso
         - name: motivo_julgamento
@@ -79,6 +85,8 @@ models:
           description: Data/hora de captura dos dados
         - name: datetime_recurso
           description: Data/hora de criação do ticket para pedido de recurso no Movidesk
+        - name: datetime_update
+          description: Datetime de atualização do recurso
         - name: data
           description: Data do recurso (partição da tabela)
         - name: data_hora_inicio_viagem

queries/models/br_rj_riodejaneiro_sigmob/schema.yaml

@@ -118,6 +118,13 @@ models:
               to_table: ref('trips_desaninhada')
   - name: agency
     description: "View para os dados capturados em staging do cadastro das agências de transporte público (Descontinuada a partir de 2022-09-13)."
+    columns:
+      - name: agency_id
+        description: "Identificador único para uma agência"
+      - name: content
+        description: "{{ doc('content') }}"
+      - name: data_versao
+        description: "{{ doc('data_versao') }}"
   - name: agency_desaninhada
     description: "View para os dados capturados em staging com os valores da coluna content desaninhados do cadastro das agências de transporte público (agency) (Descontinuada a partir de 2022-09-13)."
   - name: agg_stops_vistoriadas

queries/models/br_rj_riodejaneiro_stu/schema.yaml

@@ -3,5 +3,51 @@ version: 2
 models:
   - name: staging_operadora_empresa
     description: "View para os dados capturados em staging com tratamento básico das empresas operadoras."
+      columns:
+        - name: data
+          description: "Data de captura"
+        - name: perm_autor
+          description: "Permissão"
+        - name: timestamp_captura
+          description: "{{ doc('timestamp_captura') }}"
+        - name: cnpj
+          description: "CNPJ da empresa"
+        - name: data_registro
+          description: "Data de registro da empresa"
+        - name: processo
+          description: "Processo de registro da empresa"
+        - name: razao_social
+          description: "Razão social da empresa"
+        - name: id_modo
+          description: "Identificador do modo de transporte"
+        - name: modo
+          description: "{{ doc('modo') }}"
+        - name: tipo_permissao
+          description: "Tipo de permissão da empresa"
   - name: staging_operadora_pessoa_fisica
-    description: "View para os dados capturados em staging com tratamento básico dos operadores pessoa física."
+    description: "View para os dados capturados em staging com tratamento básico dos operadores pessoa física."
+      columns:
+        - name: data
+          description: "Data de captura"
+        - name: perm_autor
+          description: "Permissão"
+        - name: timestamp_captura
+          description: "{{ doc('timestamp_captura') }}"
+        - name: cpf
+          description: "CPF do operador"
+        - name: data_registro
+          description: "Data de registro do operador"
+        - name: ratr
+          description: "Registro de auxiliar de transporte"
+        - name: processo
+          description: "Processo de registro do operador"
+        - name: nome
+          description: "Nome do operador"
+        - name: placa
+          description: "Placa do veículo"
+        - name: id_modo
+          description: "Identificador do modo de transporte"
+        - name: modo
+          description: "{{ doc('modo') }}"
+        - name: tipo_permissao
+          description: "Tipo de permissão do operador"

queries/models/dashboard_subsidio_sppo/schema.yml

@@ -57,6 +57,8 @@ models:
         description: "Valor de penalidade apurado (R$)\n
                       Linha com operação entre 40% e 60% da quilometragem estipulada - penalidade equivalente a uma infração média prevista no Código Disciplinar do Serviço Público de Transporte de Passageiros por Meio de Ônibus do Município do Rio de Janeiro - SPPO.\n
                       Linha com operação inferior a 40% da quilometragem estipulada - penalidade equivalente a uma infração grave prevista no Código Disciplinar do Serviço Público de Transporte de Passageiros por Meio de Ônibus do Município do Rio de Janeiro - SPPO."
+      - name: datetime_ultima_atualizacao
+        description: "{{ doc('datetime_ultima_atualizacao') }}"
   - name: sumario_servico_tipo_viagem_dia
     description: "Sumário do subsídio dos serviços de ônibus (SPPO) por dia e tipo de viagem"
     columns:
@@ -270,7 +272,7 @@ models:
         description: "Distância do shape (trajeto) planejado (km)"
       - name: distancia_aferida
         description: "Distância aferida da viagem (distância euclidiana entre posições consecutivas do sinal de GPS)"
-      - name: n_registros_start
+      - name: n_registros_start ## nao tem
         description: "Contagem de sinais de GPS emitidos no meio do trajeto."
       - name: n_registros_shape
         description: "Contagem de sinais de GPS emitidos dentro do trajeto."
@@ -288,6 +290,8 @@ models:
         description: "Razão do tempo aferido da viagem pelo planejado x 100"
       - name: versao_modelo
         description: "Versão da metodologia de cálculo da respectiva linha na tabela."
+      - name: datetime_ultima_atualizacao
+        description: "{{ doc('datetime_ultima_atualizacao') }}"
   - name: sumario_servico_dia_tipo_sem_glosa
     description: "Tabela temporária sem as glosas e com os detalhes de viagens subsidiadas por serviço-dia."
     columns: