About fine tuning

[Taeyoung-kim-korea]

안녕하세요!
Fine tunning을 하고 검증하기 위해서 tutorial에 있는 코드로 검증을 해보았습니다.

지금 pre-training model과 fine-tuning model 모두 shift가 있는데, 어떤 이슈가 있을지 궁금합니다.

또한 추후 논문에 report할때 그래프를 넣으면 좋을것같아 validation하는 방법에 대해 궁금합니다.

[YutackPark]

안녕하세요, 튜토리얼 코드에 있는 데이터를 그대로 사용하신 건가요? 아니면 자체 데이터에 시도해보셨나요?

Total energy shift의 경우 7net-0가 학습된 (PBE52 pseudopotential + materials project setting) DFT 세팅과 일치하지 않으면 불가피하게 조금씩은 항상 있는 편입니다.

Fine tuning을 하면 개선이 되긴하나, 튜토리얼 코드는 최대한대로 가볍게 만든 toy example이라 실제로는 튜토리얼보다 학습을 더 길게, 데이터도 조금 더 넣는것이 좋습니다.

단, 이런 total energy shift는 위에 적은대로 계산 세팅에 의존성이 심하고 값자체에 물리적인 의미가 있는게 아니기 때문에 모델의 정확도로 볼 수는 없는 점 참고하시면 좋을 것 같습니다.

[YutackPark]

Validation의 경우 모델로 하시고자 하는 application에따라 크게 달라 답변드리기가 어렵습니다. 가장 단순하게 본다면 타겟 system의 DFT 계산결과와 force error를 보는 것일텐데, plot으로는 이미 가지고 계신 force parity plot이 있고, cli를 사용하신다면 sevenn_inference 커맨드를 쓰면 후처리에 용이한 .csv 파일을 생성해줍니다.

[Taeyoung-kim-korea]

csv 파일을 기반으로 바로 plot하니 튜토리얼에 나온 그래프처럼은 되지 않아서 헤매는 중입니다.

혹시 이후에 어떻게 해야할지 참고할만한 자료가 있을까요?

[YutackPark]

직접 7net-0 를 생산하신 데이터 셋에 fine-tuning 하신 후 validation set에 그린 것이시지요? 어떻게 fine-tuning하셨는지와 (python이라면 code, 커맨드라인으로 하셨다면 input으로 사용된 yaml 파일) 학습셋과 inference 하신 셋에 각각 어떤것인지 대략적으로라도 알려주시면 답변드리기 쉬울 것 같습니다.

아래 논문이 7net-0를 fine-tuning 및 validation한 과정이 적혀있으니 사용된 세팅들을 참고하시면 도움이 될 것 같습니다.
https://arxiv.org/pdf/2501.05211

학습셋과 validation set이 중요한 이유는, 두 셋의 차이가 심하면 7net-0가 학습셋으로 overfitting되어 기존보다 성능이 나빠질 수 있기 때문입니다 (catastrophic forgetting이라고 ML 커뮤니티에선 부릅니다.) 이를 방지하기 위한 방법도 여러가지가 있는데, 이 부분은 아직 공유드릴 수 있는 코드나 논문은 없는 상황입니다.

[Taeyoung-kim-korea]

7net-0로 돌린 결과에서 일부 문제가 생겨 해결하기 위해 소수의 SCF 데이터를 학습시킨 상태입니다.

학습 시킨 전/후의 데이터를 객관적으로 비교할 수 있으면 좋겠다고 판단하여, 질문 본문의 그래프처럼 plot해서 확인해보고자 했습니다.

학습셋에는 vasp으로 계산한 SCF 데이터를 넣은 상황이고, inference 셋에도 동일한 셋을 넣은 상황입니다.

per_atom.csv 파일에서 dft 값와 inferred 값을 각각 x축과 y축으로 그대로 사용하여 plot하였지만 방법이 맞는거 같지 않아 문의드렸습니다.

[Taeyoung-kim-korea]

튜토리얼 코드에서 평가하는 파트만 사용하였습니다.

저희가 SCF 계산을 통해 얻은 데이터로 fine tuning model을 튜토리얼 코드에 있는 코드를 통해 비교하였습니다.

sevenn_inference 커맨드로도 per_graph.csv 파일을 얻었습니다.
제가 이해한게 맞다면, atom.csv 파일로 force을 graph.csv에서 stress와 energy 그래프를 plot할 수 있을것 같습니다.
7net-0을 reference로 하고 있는데, sevenn_inference 커맨드에 7net-0을 넣으면 될지 궁금합니다.

늦은 밤에도 빠르게 답장해주셔서 감사합니다.

[YutackPark]

맞는 방법으로 보입니다. 제가 쓰는 실수를 확인하는 방법 중 하나는 (training과 inference셋이 같다고 하셨으니) training log의 energy, force, stress 에러와 inference 로 얻으린 폴더 아래 error.txt를 비교하는 것입니다. Training 로그의 에러는 매 학습 step마다 얻은 에러를 평균내므로 둘이 정확히 같진 않으나 비슷한 스케일이어야 합니다. 추가로, plot에서 후처리하면서 파이썬코드로 직접얻은 error까지도 비교할 수 있습니다. Force 에러의 경우 여기선 단순히 x,y,z component를 펼치고 구한 MAE 에러입니다 (stress도 마찬가지입니다) 2025년 2월 9일 (일) 오후 11:10, Taeyoung_kim ***@***.***>님이 작성:

…

7net-0로 돌린 결과에서 일부 문제가 생겨 해결하기 위해 소수의 SCF 데이터를 학습시킨 상태입니다. 학습 시킨 전/후의 데이터를 객관적으로 비교할 수 있으면 좋겠다고 판단하여, 질문 본문의 그래프처럼 plot해서 확인해보고자 했습니다. 학습셋에는 vasp으로 계산한 SCF 데이터를 넣은 상황이고, inference 셋에도 동일한 셋을 넣은 상황입니다. per_atom.csv 파일에서 dft 값와 inferred 값을 각각 x축과 y축으로 그대로 사용하여 plot하였지만 방법이 맞는거 같지 않아 문의드렸습니다. — Reply to this email directly, view it on GitHub <#171 (reply in thread)>, or unsubscribe <https://github.com/notifications/unsubscribe-auth/A2RQY23I4H3BUEA4EQFIBED2O5OW3AVCNFSM6AAAAABWVZ6NPWVHI2DSMVQWIX3LMV43URDJONRXK43TNFXW4Q3PNVWWK3TUHMYTEMJQHA4TIOI> . You are receiving this because you commented.Message ID: ***@***.***>