Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

add id column in latest data json file #210

Merged
merged 4 commits into from
Sep 30, 2022
Merged

add id column in latest data json file #210

merged 4 commits into from
Sep 30, 2022

Conversation

chris0765
Copy link
Contributor

upload_data.py 코드 내부의 update_latest 모듈에서, latest data로 업로드할 dataframe에 id columns을 추가하였습니다.
index를 그대로 column으로 가져와 column name을 id로 변경하는 구조로 작성하였으며, 에러 없이 정상적으로 작동하는 것을 확인하였습니다.

@chris0765 chris0765 requested a review from kmu-leeky September 26, 2022 09:11
@chris0765
Copy link
Contributor Author

query 데이터 형식과의 통일성을 위해 id columns이 1부터 시작하도록 수정하였으며,
누락되었던 time columns 데이터를 latest_aws.json 파일에 추가했습니다.

또한, latest data에 한해서, InstanceType, AZ, Region 중 하나라도 NA 값이 있는 row는 제거하였습니다.

@chris0765
Copy link
Contributor Author

chris0765 commented Sep 30, 2022

NA값을 -1로 채우도록 변경하였습니다. 아직 Collector에 반영하진 않았습니다.

@chris0765
Copy link
Contributor Author

한가지 걱정되는것이, aws의 기존 데이터들은 NA값을 0으로 채워서 DB에 write하고 있었는데, 중간에 -1로 바꿔도 괜찮을까요?

@kmu-leeky
Copy link
Member

그것도 좀 그렇기는 한데. 0보다는 -1 이 그래도 NA 라는 느낌은 조금 더 드는것 같아. 우선 그 상황을 기억해두고 있자. 추가적인 작업이 필요할수도있겠다.

@chris0765
Copy link
Contributor Author

넵, 그러면 우선 merge해두고 이후 Collector에 반영시 #157 에 기록해두도록 하겠습니다.

@chris0765 chris0765 merged commit b6b7186 into main Sep 30, 2022
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

2 participants