[WIP] Refatora recapturas de GPS do SPPO #168
Conversation
|
===> 1 warning(s) found:
|
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
|
===> 1 warning(s) found:
|
1 similar comment
|
===> 1 warning(s) found:
|
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
|
===> 1 warning(s) found:
|
|
===> 1 warning(s) found:
|
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
| @@ -83,6 +85,9 @@ def pre_treatment_br_rj_riodejaneiro_onibus_gps( | |||
| timezone = constants.TIMEZONE.value | |||
|
|
|||
| log(f"Data received to treat: \n{status['data'][:5]}") | |||
| if status["data"] == []: | |||
There was a problem hiding this comment.
remover, ja esta na linha 80
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
Análise da árvore de códigoOs seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request: Os seguintes usuários devem ser avisados sobre a alteração: |
|
@Hellcassius esse pull request tem conflitos 😩 |
|
@Hellcassius esse pull request tem conflitos 😩 |
fernandascovino
changed the title
(1) Refatoração do flow
captura_sppo_v2: Ajustes para uso dacaptura_sppo_v2na recaptura *Changelog:
timestamp- quando há recaptura, utiliza parametro opcionaldatetime_filter, cc usa timestamp atual; fixa formatacao emisoformatupload_logs_to_bq: mantém log do erro anterior que foi recapturadorun_config: limita uso de cpu e memoria(2) Refatoração do flow
recaptura: Ajustes para uso dacaptura_sppo_v2na recapturaChangelog:
create_flow_run: usa o flow decaptura_sppo_v2para criar múltiplas runs do mesmo, substituindo o uso do método .map em cada taskquery_logs: aumenta limite de 40 para 60 recapturas por run; retorna dicionário com timestamp e erro + flag de recaptura, novos parametros que são passados nocreate_flow_runpara acaptura_sppo_v2run_config: limita uso de cpu e memoria(3) Refatoração do flow
materialize: Corrije atraso na materialização quando há falhasChangelog:
get_materialization_date_range: parametriza o delay da materialização de acordo com o flow + variastart_tspara preencher buracos de materialização (caso haja algum), fixandoend_tscom base nodelay_hour