Deploying to gh-pages from @ 54b4c53 🚀

prefeitura-rio · Feb 8, 2024 · 7111a34 · 7111a34
1 parent 1ebb3a6
commit 7111a34
Show file tree

Hide file tree

Showing 2 changed files with 43 additions and 10 deletions.
diff --git a/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.html b/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.html
@@ -267,7 +267,7 @@ <h1 class="title">Module <code>pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f
 
 bilhetagem_materializacao_gps_validador = set_default_parameters(
     flow=bilhetagem_materializacao_gps_validador,
-    default_parameters=constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS.value,
+    default_parameters=constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS.value,
 )
 
 bilhetagem_materializacao_gps_validador.state_handlers.append(skip_if_running_handler)
@@ -406,12 +406,11 @@ <h1 class="title">Module <code>pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f
             flow_name=bilhetagem_materializacao_gps_validador.name,
             project_name=emd_constants.PREFECT_DEFAULT_PROJECT.value,
             labels=LABELS,
-            upstream_tasks=[
-                wait_materializacao_transacao,
-            ],
             parameters={
+                &#34;table_id&#34;: constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID.value,
                 &#34;timestamp&#34;: materialize_timestamp,
             },
+            upstream_tasks=[wait_materializacao_transacao],
         )
 
         wait_materializacao_gps_validador = wait_for_flow_run(
@@ -421,6 +420,24 @@ <h1 class="title">Module <code>pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f
             raise_final_state=True,
         )
 
+        run_materializacao_gps_validador_van = create_flow_run(
+            flow_name=bilhetagem_materializacao_gps_validador.name,
+            project_name=emd_constants.PREFECT_DEFAULT_PROJECT.value,
+            labels=LABELS,
+            parameters={
+                &#34;table_id&#34;: constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID.value,
+                &#34;timestamp&#34;: materialize_timestamp,
+            },
+            upstream_tasks=[wait_materializacao_gps_validador],
+        )
+
+        wait_materializacao_gps_validador_van = wait_for_flow_run(
+            run_materializacao_gps_validador_van,
+            stream_states=True,
+            stream_logs=True,
+            raise_final_state=True,
+        )
+
 bilhetagem_transacao_tratamento.storage = GCS(emd_constants.GCS_FLOWS_BUCKET.value)
 bilhetagem_transacao_tratamento.run_config = KubernetesRun(
     image=emd_constants.DOCKER_IMAGE.value,

diff --git a/rj_smtr/constants.html b/rj_smtr/constants.html
@@ -576,10 +576,10 @@ <h1 class="title">Module <code>pipelines.rj_smtr.constants</code></h1>
         },
     }
 
-    BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS = {
+    BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS = {
         &#34;dataset_id&#34;: BILHETAGEM_DATASET_ID,
-        &#34;table_id&#34;: &#34;gps_validador&#34;,
         &#34;upstream&#34;: True,
+        &#34;downstream&#34;: True,
         &#34;exclude&#34;: &#34;+operadoras +consorcios&#34;,
         &#34;dbt_vars&#34;: {
             &#34;date_range&#34;: {
@@ -590,6 +590,9 @@ <h1 class="title">Module <code>pipelines.rj_smtr.constants</code></h1>
         },
     }
 
+    BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID = &#34;gps_validador&#34;
+    BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID = &#34;gps_validador_van&#34;
+
     BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS = {
         &#34;dataset_id&#34;: BILHETAGEM_DATASET_ID,
         &#34;secret_path&#34;: BILHETAGEM_SECRET_PATH,
@@ -1418,10 +1421,10 @@ <h2 class="section-title" id="header-classes">Classes</h2>
         },
     }
 
-    BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS = {
+    BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS = {
         &#34;dataset_id&#34;: BILHETAGEM_DATASET_ID,
-        &#34;table_id&#34;: &#34;gps_validador&#34;,
         &#34;upstream&#34;: True,
+        &#34;downstream&#34;: True,
         &#34;exclude&#34;: &#34;+operadoras +consorcios&#34;,
         &#34;dbt_vars&#34;: {
             &#34;date_range&#34;: {
@@ -1432,6 +1435,9 @@ <h2 class="section-title" id="header-classes">Classes</h2>
         },
     }
 
+    BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID = &#34;gps_validador&#34;
+    BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID = &#34;gps_validador_van&#34;
+
     BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS = {
         &#34;dataset_id&#34;: BILHETAGEM_DATASET_ID,
         &#34;secret_path&#34;: BILHETAGEM_SECRET_PATH,
@@ -1725,7 +1731,15 @@ <h3>Class variables</h3>
 <dd>
 <div class="desc"></div>
 </dd>
-<dt id="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS"><code class="name">var <span class="ident">BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS</span></code></dt>
+<dt id="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS"><code class="name">var <span class="ident">BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS</span></code></dt>
+<dd>
+<div class="desc"></div>
+</dd>
+<dt id="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID"><code class="name">var <span class="ident">BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID</span></code></dt>
+<dd>
+<div class="desc"></div>
+</dd>
+<dt id="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID"><code class="name">var <span class="ident">BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID</span></code></dt>
 <dd>
 <div class="desc"></div>
 </dd>
@@ -2197,7 +2211,9 @@ <h4><code><a title="pipelines.rj_smtr.constants.constants" href="#pipelines.rj_s
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS">BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS</a></code></li>
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_GENERAL_CAPTURE_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_GENERAL_CAPTURE_PARAMS">BILHETAGEM_GENERAL_CAPTURE_PARAMS</a></code></li>
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_INTEGRACAO_CAPTURE_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_INTEGRACAO_CAPTURE_PARAMS">BILHETAGEM_INTEGRACAO_CAPTURE_PARAMS</a></code></li>
-<li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS">BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS</a></code></li>
+<li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS">BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS</a></code></li>
+<li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID">BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID</a></code></li>
+<li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID">BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID</a></code></li>
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_INTEGRACAO_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_INTEGRACAO_PARAMS">BILHETAGEM_MATERIALIZACAO_INTEGRACAO_PARAMS</a></code></li>
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_ORDEM_PAGAMENTO_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_ORDEM_PAGAMENTO_PARAMS">BILHETAGEM_MATERIALIZACAO_ORDEM_PAGAMENTO_PARAMS</a></code></li>
 <li><code><a title="pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_TRANSACAO_PARAMS" href="#pipelines.rj_smtr.constants.constants.BILHETAGEM_MATERIALIZACAO_TRANSACAO_PARAMS">BILHETAGEM_MATERIALIZACAO_TRANSACAO_PARAMS</a></code></li>