From 7111a34bbb0a90d2be75c37be03581b8b9a340c1 Mon Sep 17 00:00:00 2001 From: pixuimpou <74972217+pixuimpou@users.noreply.github.com> Date: Thu, 8 Feb 2024 21:56:48 +0000 Subject: [PATCH] =?UTF-8?q?Deploying=20to=20gh-pages=20from=20@=20prefeitu?= =?UTF-8?q?ra-rio/pipelines@54b4c538360f316311df185750469548f80f21d3=20?= =?UTF-8?q?=F0=9F=9A=80?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- .../br_rj_riodejaneiro_bilhetagem/flows.html | 25 ++++++++++++++--- rj_smtr/constants.html | 28 +++++++++++++++---- 2 files changed, 43 insertions(+), 10 deletions(-) diff --git a/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.html b/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.html index 195b2d341..77e6fab67 100644 --- a/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.html +++ b/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.html @@ -267,7 +267,7 @@

Module pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f bilhetagem_materializacao_gps_validador = set_default_parameters( flow=bilhetagem_materializacao_gps_validador, - default_parameters=constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS.value, + default_parameters=constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS.value, ) bilhetagem_materializacao_gps_validador.state_handlers.append(skip_if_running_handler) @@ -406,12 +406,11 @@

Module pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f flow_name=bilhetagem_materializacao_gps_validador.name, project_name=emd_constants.PREFECT_DEFAULT_PROJECT.value, labels=LABELS, - upstream_tasks=[ - wait_materializacao_transacao, - ], parameters={ + "table_id": constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID.value, "timestamp": materialize_timestamp, }, + upstream_tasks=[wait_materializacao_transacao], ) wait_materializacao_gps_validador = wait_for_flow_run( @@ -421,6 +420,24 @@

Module pipelines.rj_smtr.br_rj_riodejaneiro_bilhetagem.f raise_final_state=True, ) + run_materializacao_gps_validador_van = create_flow_run( + flow_name=bilhetagem_materializacao_gps_validador.name, + project_name=emd_constants.PREFECT_DEFAULT_PROJECT.value, + labels=LABELS, + parameters={ + "table_id": constants.BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID.value, + "timestamp": materialize_timestamp, + }, + upstream_tasks=[wait_materializacao_gps_validador], + ) + + wait_materializacao_gps_validador_van = wait_for_flow_run( + run_materializacao_gps_validador_van, + stream_states=True, + stream_logs=True, + raise_final_state=True, + ) + bilhetagem_transacao_tratamento.storage = GCS(emd_constants.GCS_FLOWS_BUCKET.value) bilhetagem_transacao_tratamento.run_config = KubernetesRun( image=emd_constants.DOCKER_IMAGE.value, diff --git a/rj_smtr/constants.html b/rj_smtr/constants.html index 6e88a54c0..d1481c213 100644 --- a/rj_smtr/constants.html +++ b/rj_smtr/constants.html @@ -576,10 +576,10 @@

Module pipelines.rj_smtr.constants

}, } - BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS = { + BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS = { "dataset_id": BILHETAGEM_DATASET_ID, - "table_id": "gps_validador", "upstream": True, + "downstream": True, "exclude": "+operadoras +consorcios", "dbt_vars": { "date_range": { @@ -590,6 +590,9 @@

Module pipelines.rj_smtr.constants

}, } + BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID = "gps_validador" + BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID = "gps_validador_van" + BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS = { "dataset_id": BILHETAGEM_DATASET_ID, "secret_path": BILHETAGEM_SECRET_PATH, @@ -1418,10 +1421,10 @@

Classes

}, } - BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS = { + BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS = { "dataset_id": BILHETAGEM_DATASET_ID, - "table_id": "gps_validador", "upstream": True, + "downstream": True, "exclude": "+operadoras +consorcios", "dbt_vars": { "date_range": { @@ -1432,6 +1435,9 @@

Classes

}, } + BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID = "gps_validador" + BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID = "gps_validador_van" + BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS = { "dataset_id": BILHETAGEM_DATASET_ID, "secret_path": BILHETAGEM_SECRET_PATH, @@ -1725,7 +1731,15 @@

Class variables

-
var BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS
+
var BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS
+
+
+
+
var BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID
+
+
+
+
var BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID
@@ -2197,7 +2211,9 @@

BILHETAGEM_GENERAL_CAPTURE_DEFAULT_PARAMS
  • BILHETAGEM_GENERAL_CAPTURE_PARAMS
  • BILHETAGEM_INTEGRACAO_CAPTURE_PARAMS
    • -
  • BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_PARAMS
    • +
  • BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_GENERAL_PARAMS
    • +
  • BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_TABLE_ID
    • +
  • BILHETAGEM_MATERIALIZACAO_GPS_VALIDADOR_VAN_TABLE_ID
  • BILHETAGEM_MATERIALIZACAO_INTEGRACAO_PARAMS
  • BILHETAGEM_MATERIALIZACAO_ORDEM_PAGAMENTO_PARAMS
  • BILHETAGEM_MATERIALIZACAO_TRANSACAO_PARAMS