#7. Validation script check and update

[olesar]

Текущий скрипт измеряет точность UPOS, LEMMA, FEATures, UAS, LAS и alignment score.
Требуется создать дополнение, измеряющее MLAS (morphology-aware labeled attachment score) и AgreementScore.
Формат ввода/вывода тот же, что у скрипта в репозитории GramEval2020.

Для MLAS можно использовать/адаптировать скрипт https://universaldependencies.org/conll18/conll18_ud_eval.py для MLAS
(собственно, там и содержится описание, как что считается).

AgreementScore учитывает совпадение тегов значений в категориях Animacy, Case, Gender, Number в парах слов, связанных следующими отношениями и со следующими характеристиками:

• NOUN/PROPN -amod-> ADJ/DET/VERB{VerbForm=Part}
• NOUN/PROPN -acl-> VERB{VerbForm=Part}
• NOUN/PROPN/PRON{Case=Nom} <-nsubj- VERB/AUX{VerbForm=Fin/PartRes,Tense=Past}
• NOUN/PROPN/PRON{Case=Nom} <-nsubj- ADJ{Variant=Short}

Учитывается, что

• значение тегов совпадает с gold
• в gold категория Case, Gender, Number присутствует и совпадает у обоих элементов пары
• значения всех доступных тегов в паре совпадает, пара получает бинарную оценку 0 или 1 (local score)

Все пары, которые включают некоторое слово, подсчитываются отдельно. Согласующиеся пары слов, не связанных синтаксическим отношением, не учитываются.

Пример

новые ADJ Animacy=Inan...Case=Acc...Gender=Masc...Number=Plur
люди  NOUN Animacy=Anim...Case=Nom...Gender=Masc...Number=Plur
# graded: no  yes  yes  yes, isGradedInGold = 1
# output: no + 0 + 1 + 1
# local score:  0

AgreementScore = total score = SUM(local scores) / SUM (isGradedInGold),
т. е. результат учитывается доля позитивных local scores среди всех согласуемых пар в gold.