Merge branch 'main' into staging/add_cd_docs

prefeitura-rio · Aug 20, 2024 · 1f30bfa · 1f30bfa
2 parents 2375a87 + 5010ef6
commit 1f30bfa
Show file tree

Hide file tree

Showing 6 changed files with 115 additions and 5 deletions.
diff --git a/pipelines/migration/projeto_subsidio_sppo/CHANGELOG.md b/pipelines/migration/projeto_subsidio_sppo/CHANGELOG.md
@@ -1,5 +1,11 @@
 # Changelog - projeto_subsidio_sppo
 
+## [1.0.4] - 2024-08-19
+
+### Adicionado
+
+- Adicionados os testes `Todas as viagens foram processadas com feed atualizado do GTFS` e `Todas as viagens foram atualizadas antes do processamento do subsídio` na constante `SUBSIDIO_SPPO_DATA_CHECKS_POS_LIST` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/147)
+
 ## [1.0.3] - 2024-08-08
 
 ### Adicionado

diff --git a/pipelines/migration/projeto_subsidio_sppo/constants.py b/pipelines/migration/projeto_subsidio_sppo/constants.py
@@ -429,6 +429,94 @@ class constants(Enum):  # pylint: disable=c0103
             """,
             "order_columns": ["dif"],
         },
+        "check_viagem_completa": {
+            "query": """
+            WITH
+                data_versao_efetiva AS (
+                SELECT
+                    *
+                FROM
+                    rj-smtr.projeto_subsidio_sppo.subsidio_data_versao_efetiva
+                WHERE
+                    DATA >= "2024-04-01"
+                    AND DATA BETWEEN DATE("{start_timestamp}")
+                    AND DATE("{end_timestamp}")),
+                viagem_completa AS (
+                SELECT
+                    *
+                FROM
+                    rj-smtr.projeto_subsidio_sppo.viagem_completa
+                WHERE
+                    DATA >= "2024-04-01"
+                    AND DATA BETWEEN DATE("{start_timestamp}")
+                    AND DATE("{end_timestamp}")),
+                feed_info AS (
+                SELECT
+                    *
+                FROM
+                    rj-smtr.gtfs.feed_info
+                WHERE
+                    feed_version IN (
+                    SELECT
+                    feed_version
+                    FROM
+                    data_versao_efetiva) )
+                SELECT
+                DISTINCT DATA
+                FROM
+                viagem_completa
+                LEFT JOIN
+                data_versao_efetiva AS d
+                USING
+                (DATA)
+                LEFT JOIN
+                feed_info AS i
+                ON
+                (DATA BETWEEN i.feed_start_date
+                    AND i.feed_end_date
+                    OR (DATA >= i.feed_start_date
+                    AND i.feed_end_date IS NULL))
+                WHERE
+                i.feed_start_date != d.feed_start_date
+                OR datetime_ultima_atualizacao < feed_update_datetime
+            """,
+            "order_columns": ["DATA"],
+        },
+        "teste_subsido_viagens_atualizadas": {
+            "query": """
+            WITH
+                viagem_completa AS (
+                SELECT
+                    data,
+                    datetime_ultima_atualizacao
+                FROM
+                    rj-smtr.projeto_subsidio_sppo.viagem_completa
+                WHERE
+                    DATA >= "2024-04-01"
+                    AND DATA BETWEEN DATE("{start_timestamp}")
+                    AND DATE("{end_timestamp}")),
+                sumario_servico_dia_historico AS (
+                SELECT
+                    data,
+                    datetime_ultima_atualizacao
+                FROM
+                    `rj-smtr.dashboard_subsidio_sppo.sumario_servico_dia_historico`
+                WHERE
+                    DATA BETWEEN DATE("{start_timestamp}")
+                    AND DATE("{end_timestamp}"))
+                SELECT
+                DISTINCT DATA
+                FROM
+                viagem_completa as c
+                LEFT JOIN
+                sumario_servico_dia_historico AS h
+                USING
+                (DATA)
+                WHERE
+                c.datetime_ultima_atualizacao > h.datetime_ultima_atualizacao
+            """,
+            "order_columns": ["DATA"],
+        },
     }
     SUBSIDIO_SPPO_DATA_CHECKS_PRE_LIST = {
         "general": {
@@ -606,5 +694,11 @@ class constants(Enum):  # pylint: disable=c0103
             "Todas viagens com valor de subsídio por km não nulo e maior ou igual a zero": {
                 "expression": "subsidio_km IS NOT NULL AND subsidio_km >= 0",
             },
+            "Todas viagens atualizadas antes do processamento do subsídio": {
+                "test": "teste_subsido_viagens_atualizadas"
+            },
+            "Todas viagens processadas com feed atualizado do GTFS": {
+                "test": "check_viagem_completa",
+            },
         },
     }
diff --git a/pipelines/migration/projeto_subsidio_sppo/flows.py b/pipelines/migration/projeto_subsidio_sppo/flows.py
@@ -3,7 +3,7 @@
 """
 Flows for projeto_subsidio_sppo
 
-DBT 2024-08-13
+DBT 2024-08-19
 """
 
 from prefect import Parameter, case, task

diff --git a/queries/models/dashboard_subsidio_sppo/CHANGELOG.md b/queries/models/dashboard_subsidio_sppo/CHANGELOG.md
@@ -1,5 +1,11 @@
 # Changelog - dashboard_subsidio_sppo
 
+## [7.0.1] - 2024-08-19
+
+## Adicionado
+
+- Adicionada coluna `datetime_ultima_atualizacao` na tabela `sumario_servico_dia_historico` (https://github.com/prefeitura-rio/pipelines_rj_smtr/pull/147)
+
 ## [7.0.0] - 2024-07-31
 
 ### Alterado

diff --git a/queries/models/dashboard_subsidio_sppo/sumario_dia.sql b/queries/models/dashboard_subsidio_sppo/sumario_dia.sql
@@ -16,7 +16,8 @@ WITH
     MAX(distancia_total_planejada) AS distancia_total_planejada,
     NULL AS viagens_planejadas
   FROM
-    {{ ref("viagem_planejada") }} --``rj-smtr`.`projeto_subsidio_sppo`.`viagem_planejada`
+    {{ ref("viagem_planejada") }}
+    -- `rj-smtr`.`projeto_subsidio_sppo`.`viagem_planejada`
   WHERE
     data >= "2022-06-01"
     AND data < DATE( "{{ var("DATA_SUBSIDIO_V2_INICIO") }}" )
@@ -34,7 +35,8 @@ WITH
     trip_id,
     COUNT(id_viagem) AS viagens_realizadas
   FROM
-    {{ ref("viagem_completa") }} -- `rj-smtr`.`projeto_subsidio_sppo`.`viagem_completa`
+    {{ ref("viagem_completa") }}
+    -- `rj-smtr`.`projeto_subsidio_sppo`.`viagem_completa`
   WHERE
     data >= "2022-06-01"
     AND data < DATE( "{{ var("DATA_SUBSIDIO_V2_INICIO") }}" )
@@ -98,7 +100,8 @@ WITH
     SELECT
       *
     FROM
-      {{ ref("subsidio_data_versao_efetiva") }} -- `rj-smtr`.`projeto_subsidio_sppo`.`subsidio_data_versao_efetiva`
+      {{ ref("subsidio_data_versao_efetiva") }}
+      -- `rj-smtr`.`projeto_subsidio_sppo`.`subsidio_data_versao_efetiva`
     WHERE
       data >= "2022-06-01"
       AND data < DATE( "{{ var("DATA_SUBSIDIO_V2_INICIO") }}" )) AS v

diff --git a/queries/models/dashboard_subsidio_sppo/sumario_servico_dia_historico.sql b/queries/models/dashboard_subsidio_sppo/sumario_servico_dia_historico.sql
@@ -140,7 +140,8 @@ dados_completos AS (
       sumario_glosa_suspensa )
 )
 SELECT
-  *
+  *,
+  CURRENT_DATETIME("America/Sao_Paulo") as datetime_ultima_atualizacao
 FROM
   dados_completos
 {% if is_incremental() %}