Update translation expected results

stanford-oval · Jun 28, 2021 · dbe744a · dbe744a
1 parent a3a4907
commit dbe744a
Show file tree

Hide file tree

Showing 2 changed files with 3 additions and 3 deletions.
diff --git a/tests/expected_results/translation/marian_en_de.tsv b/tests/expected_results/translation/marian_en_de.tsv
@@ -1,5 +1,5 @@
 Wer hat eine 8 Sterne Bewertung mit über 8 Bewertungen in " fonte " ?
-" catalan " " sauna " in der Nähe Hotels mit einem "Katalan " und " Sauna "
+zeigen Sie mir in der Nähe Hotels mit einem " catalan " und " sauna "
 Leute finden, die Stanford graduieren.
 was ist das am höchsten bewertete Hotel ?
 Hotels mit 2 Sterne Bewertungen finden.

diff --git a/tests/test_translation.sh b/tests/test_translation.sh
@@ -11,10 +11,10 @@ for model in "Helsinki-NLP/opus-mt-en-de" "sshleifer/tiny-mbart" ; do
 
     if [[ $model == Helsinki-NLP* ]] ; then
       base_model="marian"
-      expected_result='{"bleu": 95.37006954777766}'
+      expected_result='{"sacrebleu": 88.04086004116694}'
     elif [[ $model == *mbart* ]] ; then
       base_model="mbart"
-      expected_result='{"bleu": 0}'
+      expected_result='{"sacrebleu": 0}'
     fi
 
     mv $workdir/translation/en-de/dev_"$base_model"_aligned.tsv $workdir/translation/almond/train.tsv