Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

Cria flow de captura de dados de tracking do Jae #532

Merged
merged 168 commits into from
Oct 23, 2023
Merged

Cria flow de captura de dados de tracking do Jae #532

merged 168 commits into from
Oct 23, 2023

Conversation

pixuimpou
Copy link
Contributor

ChangeLog

  • Cria flow SMTR: Bilhetagem GPS VALIDADOR - Captura

fernandascovino and others added 30 commits September 25, 2023 19:09
@fernandascovino
remove task de particao nao usada
b6089fa
@fernandascovino
unifica tasks de particao de data e hora
dc197cc
@pre-commit-ci
[pre-commit.ci] auto fixes from pre-commit.com hooks
66e84a1 
for more information, see https://pre-commit.ci
@fernandascovino
corrige condicional
7cb436b
@mergify
Merge branch 'master' into hotfix-smtr-partition-date-only
8903027
@pixuimpou
change capture flow
588fe7d
@mergify
Merge branch 'master' into hotfix-smtr-partition-date-only
da92c19
@pixuimpou
change generic capture flow
97746e1
@fernandascovino
Merge branch 'master' into staging/flow-captura-generico
7a11896
@fernandascovino
Merge branch 'hotfix-smtr-partition-date-only' into staging/flow-capt…
b62473c 
…ura-generico
@fernandascovino
atualiza esquema do flow padrao
6f12477
@pixuimpou
change default capture flow structure
0c3df1b
@pixuimpou
change generic capture flow
f6ca7ab
@pixuimpou
adjust constant structure
fa17be2
@pixuimpou
change bilhetagem to new capture flow structure
bdc3881
@pixuimpou
fix get_storage_blob function
fc61c47
@pixuimpou
fix get_storage_blob call
0fc26cb
@pixuimpou
organize constants order
634df85
@pixuimpou
fix get_raw_from_sources function call
bda52aa
@pixuimpou
change transform_raw_to_json to read_raw_data
b2548d6
@pixuimpou
transform transform_raw_data_to_json to read_raw_data
307863a
@pixuimpou
fix nout task parameter
7f2c1e3
@pixuimpou
fix timedelta instantiation
51977c1
@pixuimpou
set upstream tasks
8ef0b5d
@pixuimpou
declare raw_filepath
4f21f0a
@eng-rodrigocunha
update docstrings
11b9735
@pixuimpou
adjust get_raw_from_sources return
f484b88
@pixuimpou
Merge branch 'staging/flow-captura-generico' of https://github.com/pr…
50626a9 
…efeitura-rio/pipelines into staging/flow-captura-generico
@pixuimpou
fix errors
2df4318
@pixuimpou
change agent label to dev
df6525a
@github-actions
Copy link

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
- pipelines/rj_smtr/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/veiculo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @eng-rodrigocunha
- @pixuimpou
- @Hellcassius
- @borismarinho
- @lingsv

@github-actions
Copy link

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/veiculo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/rj_smtr/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
- pipelines/rj_smtr/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @lingsv
- @fernandascovino
- @eng-rodrigocunha
- @borismarinho
- @pixuimpou
- @Hellcassius

@github-actions
Copy link

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
- pipelines/rj_smtr/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/veiculo/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @eng-rodrigocunha
- @borismarinho
- @fernandascovino
- @lingsv
- @Hellcassius
- @pixuimpou

@github-actions
Copy link

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/veiculo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/tasks.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/flows.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @pixuimpou
- @lingsv
- @Hellcassius
- @eng-rodrigocunha
- @borismarinho

@github-actions
Copy link

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/veiculo/flows.py
- pipelines/rj_smtr/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
- pipelines/rj_smtr/tasks.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @lingsv
- @eng-rodrigocunha
- @borismarinho
- @Hellcassius
- @fernandascovino
- @pixuimpou

@github-actions
Copy link

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/veiculo/flows.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/tasks.py
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @lingsv
- @eng-rodrigocunha
- @borismarinho
- @pixuimpou
- @fernandascovino
- @Hellcassius

@github-actions
Copy link

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/veiculo/flows.py
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/tasks.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @lingsv
- @fernandascovino
- @eng-rodrigocunha
- @Hellcassius
- @borismarinho
- @pixuimpou

@github-actions
Copy link

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/rj_smtr/veiculo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
- pipelines/rj_smtr/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius
- @eng-rodrigocunha
- @pixuimpou
- @lingsv
- @borismarinho

@github-actions
Copy link

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/tasks.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/veiculo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
- pipelines/rj_smtr/flows.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @borismarinho
- @eng-rodrigocunha
- @fernandascovino
- @pixuimpou
- @Hellcassius
- @lingsv

@eng-rodrigocunha eng-rodrigocunha changed the title [WIP] Cria flow de captura de dados de tracking do Jae Cria flow de captura de dados de tracking do Jae Oct 23, 2023
@github-actions
Copy link

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/registros_ocr_rir/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/tasks.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_bilhetagem/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/utils.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/tasks.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/tasks.py
- pipelines/rj_smtr/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/tasks.py
- pipelines/rj_smtr/constants.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/veiculo/flows.py
- pipelines/rj_smtr/schedules.py
- pipelines/rj_smtr/registros_ocr_rir/flows.py
- pipelines/rj_smtr/projeto_subsidio_sppo/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_rdo/utils.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius
- @pixuimpou
- @borismarinho
- @lingsv
- @eng-rodrigocunha

@pixuimpou pixuimpou merged commit 880e951 into master Oct 23, 2023
10 checks passed
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Reviewers

@eng-rodrigocunha eng-rodrigocunha eng-rodrigocunha approved these changes

Assignees

@pixuimpou pixuimpou

Labels
rj-smtr
Projects
None yet
Milestone
No milestone
Development

Successfully merging this pull request may close these issues.
4 participants
@pixuimpou @eng-rodrigocunha @fernandascovino @lingsv