Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Acompanhamento do timestamp do stream #7

Open
filipebraida opened this issue Aug 15, 2020 · 7 comments · May be fixed by #31
Open

Acompanhamento do timestamp do stream #7

filipebraida opened this issue Aug 15, 2020 · 7 comments · May be fixed by #31
Labels
question Further information is requested

Comments

@filipebraida
Copy link
Contributor

Será que uma opção para retornar em conjunto o timestamp é necessário?

@filipebraida filipebraida added the question Further information is requested label Aug 15, 2020
@yaansz
Copy link
Member

yaansz commented Sep 4, 2020

Isso se refere a função "listen"ter a opção de retornar o event.time?
algo como listen(stream::BatchStream; timestamp::Bool = false) ?

@filipebraida
Copy link
Contributor Author

na verdade na criação de um stream.
uma coisa que fiquei pensando, pois pode ser que o dado não tenha o tempo

uma coisa que eu pensei rapido aqui seria um modifier que altera e adiciona o tempo tb...

@filipebraida
Copy link
Contributor Author

inclusive, ele pode ser um AlterModifier.
a minha questão é que o tempo seria do listen do drift no total e não para cada instância

@yaansz
Copy link
Member

yaansz commented Sep 4, 2020

não entendi muito bem. O construtor do BatchStream poderia retornar o event.time caso fosse requisitado? Mas qual seria a utilidade, já que o tempo sempre começa com 0?

@filipebraida
Copy link
Contributor Author

não seria isso não. Seria adicionar uma nova coluna com o timestamp. Esse timestamp é o tempo mesmo (horário e data).

@yaansz
Copy link
Member

yaansz commented Sep 5, 2020

Então basicamente, no momento que eu construo o BatchStream

stream = EasyStream.BatchStream(conn_df; timestamp= true, batch = 5);

o timestamp gera um Modifier que sempre vai rodar pra gerar a coluna na stream com um tempo igual pras 5 instancias que criei ? ou ele geraria o mesmo horário pra todos os elementos do connector?

@filipebraida
Copy link
Contributor Author

Eu estava pensando sobre isso ontem. Eu acho que, por enquanto, podemos adicionar um Modifier que cria a coluna. Essa é a modificação menos intrusiva.

Então basicamente, no momento que eu construo o BatchStream
Quando existir essa dúvida, você pode sempre fazer a pergunta: "de quem é a resposabilidade de saber o horário"
Isso ajuda para definir quem ficará com essa responsabilidade.

Eu acho que deveria ser no Conector, pois o Stream não teria essa responsabilidade de saber como manipular e que dados estão vindo. O que você acha?

o timestamp gera um Modifier que sempre vai rodar pra gerar a coluna na stream com um tempo igual pras 5 instancias que criei ?
Na verdade seria um CreateTimestampModifier (?) e ele irá adicionar no DataFrame a coluna do tempo que esse Modifier foi chamado.

@yaansz yaansz linked a pull request Sep 6, 2020 that will close this issue
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
question Further information is requested
Projects
None yet
Development

Successfully merging a pull request may close this issue.

2 participants