Deploying to gh-pages from @ 2824c10 🚀

prefeitura-rio · Jan 22, 2024 · e0bcd2f · e0bcd2f
1 parent ed7340b
commit e0bcd2f
Show file tree

Hide file tree

Showing 2 changed files with 75 additions and 80 deletions.
diff --git a/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.html b/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.html
@@ -251,6 +251,29 @@ <h1 class="title">Module <code>pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f
     default_parameters=bilhetagem_materializacao_integracao_parameters,
 )
 
+
+# GPS Validador
+
+bilhetagem_materializacao_gps_validador = deepcopy(default_materialization_flow)
+bilhetagem_materializacao_gps_validador.name = (
+    &#34;SMTR: Bilhetagem GPS Validador - Materialização (subflow)&#34;
+)
+bilhetagem_materializacao_gps_validador.storage = GCS(
+    emd_constants.GCS_FLOWS_BUCKET.value
+)
+bilhetagem_materializacao_gps_validador.run_config = KubernetesRun(
+    image=emd_constants.DOCKER_IMAGE.value,
+    labels=[emd_constants.RJ_SMTR_AGENT_LABEL.value],
+)
+
+bilhetagem_materializacao_gps_validador = set_default_parameters(
+    flow=bilhetagem_materializacao_gps_validador,
+    default_parameters=constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS.value,
+)
+
+bilhetagem_materializacao_gps_validador.state_handlers.append(skip_if_running_handler)
+
+
 # RECAPTURA #
 
 bilhetagem_recaptura = deepcopy(default_capture_flow)
@@ -421,53 +444,32 @@ <h1 class="title">Module <code>pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f
             raise_final_state=True,
         )
 
+        run_materializacao_gps_validador = create_flow_run(
+            flow_name=bilhetagem_materializacao_gps_validador.name,
+            project_name=emd_constants.PREFECT_DEFAULT_PROJECT.value,
+            labels=LABELS,
+            upstream_tasks=[
+                wait_materializacao_integracao,
+            ],
+            parameters={
+                &#34;timestamp&#34;: materialize_timestamp,
+            },
+        )
+
+        wait_materializacao_gps_validador = wait_for_flow_run(
+            run_materializacao_gps_validador,
+            stream_states=True,
+            stream_logs=True,
+            raise_final_state=True,
+        )
+
 bilhetagem_transacao_tratamento.storage = GCS(emd_constants.GCS_FLOWS_BUCKET.value)
 bilhetagem_transacao_tratamento.run_config = KubernetesRun(
     image=emd_constants.DOCKER_IMAGE.value,
     labels=[emd_constants.RJ_SMTR_AGENT_LABEL.value],
 )
 bilhetagem_transacao_tratamento.schedule = every_hour
 
-
-# with Flow(
-#     &#34;SMTR: Bilhetagem GPS Validador - Tratamento&#34;,
-#     code_owners=[&#34;caio&#34;, &#34;fernanda&#34;, &#34;boris&#34;, &#34;rodrigo&#34;, &#34;rafaelpinheiro&#34;],
-# ) as bilhetagem_gps_tratamento:
-#     timestamp = get_rounded_timestamp(
-#         interval_minutes=constants.BILHETAGEM_TRATAMENTO_INTERVAL.value
-#     )
-
-#     rename_flow_run = rename_current_flow_run_now_time(
-#         prefix=bilhetagem_transacao_tratamento.name + &#34; &#34;,
-#         now_time=timestamp,
-#     )
-
-#     LABELS = get_current_flow_labels()
-
-#     # Recaptura GPS
-
-#     run_recaptura_gps = create_flow_run(
-#         flow_name=bilhetagem_recaptura.name,
-#         project_name=emd_constants.PREFECT_DEFAULT_PROJECT.value,
-#         labels=LABELS,
-#         parameters=constants.BILHETAGEM_TRACKING_CAPTURE_PARAMS.value,
-#     )
-
-#     wait_recaptura_gps = wait_for_flow_run(
-#         run_recaptura_gps,
-#         stream_states=True,
-#         stream_logs=True,
-#         raise_final_state=True,
-#     )
-
-
-# bilhetagem_gps_tratamento.storage = GCS(emd_constants.GCS_FLOWS_BUCKET.value)
-# bilhetagem_gps_tratamento.run_config = KubernetesRun(
-#     image=emd_constants.DOCKER_IMAGE.value,
-#     labels=[emd_constants.RJ_SMTR_AGENT_LABEL.value],
-# )
-# # bilhetagem_gps_tratamento.schedule = every_hour
-
 # CAPTURA/TRATAMENTO - ORDEM PAGAMENTO:
 # CAPTURA + RECAPTURA + MATERIALIZAÇÃO
 

diff --git a/rj_smtr/constants.html b/rj_smtr/constants.html
@@ -482,26 +482,6 @@ <h1 class="title">Module <code>pipelines.rj_smtr.constants</code></h1>
             &#34;interval_minutes&#34;: BILHETAGEM_TRATAMENTO_INTERVAL,
             &#34;save_bucket_name&#34;: BILHETAGEM_PRIVATE_BUCKET,
         },
-        {
-            &#34;table_id&#34;: &#34;tipo_modal&#34;,
-            &#34;partition_date_only&#34;: True,
-            &#34;extract_params&#34;: {
-                &#34;database&#34;: &#34;principal_db&#34;,
-                &#34;query&#34;: &#34;&#34;&#34;
-                    SELECT
-                        *
-                    FROM
-                        TIPO_MODAL
-                    WHERE
-                        {update}
-                &#34;&#34;&#34;,
-                &#34;get_updates&#34;: [&#34;cd_tipo_modal&#34;, &#34;ds_tipo_modal&#34;],
-            },
-            &#34;primary_key&#34;: [
-                &#34;CD_TIPO_MODAL&#34;,
-            ],  # id column to nest data on
-            &#34;interval_minutes&#34;: BILHETAGEM_TRATAMENTO_INTERVAL,
-        },
     ]
 
     BILHETAGEM_MATERIALIZACAO_TRANSACAO_PARAMS = {
@@ -546,6 +526,20 @@ <h1 class="title">Module <code>pipelines.rj_smtr.constants</code></h1>
         },
     }
 
+    BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS = {
+        &#34;dataset_id&#34;: BILHETAGEM_DATASET_ID,
+        &#34;table_id&#34;: &#34;gps_validador&#34;,
+        &#34;upstream&#34;: True,
+        &#34;exclude&#34;: &#34;+operadoras +consorcios&#34;,
+        &#34;dbt_vars&#34;: {
+            &#34;date_range&#34;: {
+                &#34;table_run_datetime_column_name&#34;: &#34;datetime_captura&#34;,
+                &#34;delay_hours&#34;: 0,
+            },
+            &#34;version&#34;: {},
+        },
+    }
+
     BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS = {
         &#34;dataset_id&#34;: BILHETAGEM_DATASET_ID,
         &#34;secret_path&#34;: BILHETAGEM_SECRET_PATH,
@@ -1280,26 +1274,6 @@ <h2 class="section-title" id="header-classes">Classes</h2>
             &#34;interval_minutes&#34;: BILHETAGEM_TRATAMENTO_INTERVAL,
             &#34;save_bucket_name&#34;: BILHETAGEM_PRIVATE_BUCKET,
         },
-        {
-            &#34;table_id&#34;: &#34;tipo_modal&#34;,
-            &#34;partition_date_only&#34;: True,
-            &#34;extract_params&#34;: {
-                &#34;database&#34;: &#34;principal_db&#34;,
-                &#34;query&#34;: &#34;&#34;&#34;
-                    SELECT
-                        *
-                    FROM
-                        TIPO_MODAL
-                    WHERE
-                        {update}
-                &#34;&#34;&#34;,
-                &#34;get_updates&#34;: [&#34;cd_tipo_modal&#34;, &#34;ds_tipo_modal&#34;],
-            },
-            &#34;primary_key&#34;: [
-                &#34;CD_TIPO_MODAL&#34;,
-            ],  # id column to nest data on
-            &#34;interval_minutes&#34;: BILHETAGEM_TRATAMENTO_INTERVAL,
-        },
     ]
 
     BILHETAGEM_MATERIALIZACAO_TRANSACAO_PARAMS = {
@@ -1344,6 +1318,20 @@ <h2 class="section-title" id="header-classes">Classes</h2>
         },
     }
 
+    BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS = {
+        &#34;dataset_id&#34;: BILHETAGEM_DATASET_ID,
+        &#34;table_id&#34;: &#34;gps_validador&#34;,
+        &#34;upstream&#34;: True,
+        &#34;exclude&#34;: &#34;+operadoras +consorcios&#34;,
+        &#34;dbt_vars&#34;: {
+            &#34;date_range&#34;: {
+                &#34;table_run_datetime_column_name&#34;: &#34;datetime_captura&#34;,
+                &#34;delay_hours&#34;: 0,
+            },
+            &#34;version&#34;: {},
+        },
+    }
+
     BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS = {
         &#34;dataset_id&#34;: BILHETAGEM_DATASET_ID,
         &#34;secret_path&#34;: BILHETAGEM_SECRET_PATH,
@@ -1637,6 +1625,10 @@ <h3>Class variables</h3>
 <dd>
 <div class="desc"></div>
 </dd>
+<dt id="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS"><code class="name">var <span class="ident">BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS</span></code></dt>
+<dd>
+<div class="desc"></div>
+</dd>
 <dt id="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_INTEGRACAO_PARAMS"><code class="name">var <span class="ident">BILHETAGEM_MATERIALIZACAO_INTEGRACAO_PARAMS</span></code></dt>
 <dd>
 <div class="desc"></div>
@@ -2101,6 +2093,7 @@ <h4><code><a title="pipelines.rj_smtr.constants.constants" href="#pipelines.rj_s
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS">BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS</a></code></li>
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_GENERAL_CAPTURE_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_GENERAL_CAPTURE_PARAMS">BILHETAGEM_GENERAL_CAPTURE_PARAMS</a></code></li>
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_INTEGRACAO_CAPTURE_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_INTEGRACAO_CAPTURE_PARAMS">BILHETAGEM_INTEGRACAO_CAPTURE_PARAMS</a></code></li>
+<li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS">BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS</a></code></li>
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_INTEGRACAO_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_INTEGRACAO_PARAMS">BILHETAGEM_MATERIALIZACAO_INTEGRACAO_PARAMS</a></code></li>
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_ORDEM_PAGAMENTO_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_ORDEM_PAGAMENTO_PARAMS">BILHETAGEM_MATERIALIZACAO_ORDEM_PAGAMENTO_PARAMS</a></code></li>
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_TRANSACAO_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_TRANSACAO_PARAMS">BILHETAGEM_MATERIALIZACAO_TRANSACAO_PARAMS</a></code></li>