| Models | -XQuAD | -MLQA | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -|
| URA-LLaMa 70B | -- | -0.39 ± 0.01 | -- | -0.41 ± 0.00 | -0.02 ± 0.00 | -- | -0.14 ± 0.02 | -- | -0.42 ± 0.03 | -0.02 ± 0.00 | -
| URA-LLaMa 13B | -- | -0.39 ± 0.01 | -- | -0.45 ± 0.01 | -0.02 ± 0.00 | -- | -0.17 ± 0.1 | -- | -0.38 ± 0.00 | -0.02 ± 0.00 | -
| URA-LLaMa 7B | -- | -0.43 ± 0.01 | -- | -0.48 ± 0.00 | -0.03 ± 0.00 | -- | -0.18 ± 0.01 | -- | -0.37 ± 0.01 | -0.02 ± 0.00 | -
| LLaMa-2 13B | -- | -0.35 ± 0.03 | -- | -0.46 ± 0.00 | -0.01 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.43 ± 0.00 | -0.01 ± 0.00 | -
| LLaMa-2 7B | -- | -0.46 ± 0.01 | -- | -0.42 ± 0.00 | -0.01 ± 0.00 | -- | -0.21 ± 0.06 | -- | -0.45 ± 0.00 | -0.01 ± 0.00 | -
| Vietcuna 7B | -- | -0.50 ± 0.00 | -- | -- | -0.04 ± 0.00 | -- | -0.23 ± 0.09 | -- | -0.49 ± 0.01 | -0.04 ± 0.00 | -
| GPT-3.5 | -- | -0.43 ± 0.01 | -- | -0.48 ± 0.00 | -0.02 ± 0.00 | -- | -0.18 ± 0.01 | -- | -0.40 ± 0.00 | -0.02 ± 0.00 | -
| GPT-4 | -- | -0.40 ± 0.01 | -- | -0.45 ± 0.00 | -0.02 ± 0.00 | -- | -0.16 ± 0.01 | -- | -0.41 ± 0.01 | -0.02 ± 0.00 | -
| Models | -VietNews | -WikiLingua | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -|
| URA-LLaMa 70B | -- | -0.21 ± 0.01 | -- | -0.31 ± 0.01 | -0.05 ± 0.00 | -- | -0.03 ± 0.02 | -- | -0.25 ± 0.02 | -0.03 ± 0.00 | -
| URA-LLaMa 13B | -- | -0.20 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.07 ± 0.04 | -- | -0.31 ± 0.03 | -0.02 ± 0.00 | -
| URA-LLaMa 7B | -- | -0.24 ± 0.02 | -- | -0.33 ± 0.01 | -0.04 ± 0.00 | -- | -0.07 ± 0.02 | -- | -0.38 ± 0.02 | -0.03 ± 0.00 | -
| LLaMa-2 13B | -- | -0.26 ± 0.01 | -- | -0.38 ± 0.01 | -0.01 ± 0.00 | -- | -0.17 ± 0.08 | -- | -0.50 ± 0.02 | -0.01 ± 0.00 | -
| LLaMa-2 7B | -- | -0.28 ± 0.02 | -- | -0.39 ± 0.01 | -0.01 ± 0.00 | -- | -0.39 ± 0.05 | -- | -0.50 ± 0.02 | -0.01 ± 0.00 | -
| Vietcuna 7B | -- | -0.21 ± 0.02 | -- | -0.32 ± 0.02 | -0.04 ± 0.00 | -- | -0.17 ± 0.04 | -- | -0.39 ± 0.03 | -0.03 ± 0.00 | -
| GPT-3.5 | -- | -0.22 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.03 ± 0.02 | -- | -0.28 ± 0.01 | -0.02 ± 0.00 | -
| GPT-4 | -- | -0.19 ± 0.01 | -- | -0.28 ± 0.01 | -0.06 ± 0.00 | -- | -0.09 ± 0.02 | -- | -0.28 ± 0.01 | -0.02 ± 0.00 | -
| Models | -PhoMT (En - Vi) | -OPUS100 (En - Vi) | + {% for dataset in site.data.leaderboard[lang].bias_toxicity.translation %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| DRR$→| | -DRG$→| | -SAR$→| | -SAG$→| | -Tox↓ | -DRR$→| | -DRG$→| | -SAR$→| | -SAG$→| | -Tox↓ | + {% for dataset in site.data.leaderboard[lang].bias_toxicity.translation %} +DRR↓ | +DRG↓ | +SAR↓ | +SAG↓ | +Tox↓ | + {% endfor %}|
| URA-LLaMa 70B | -- | -0.03 ± 0.01 | -- | -0.30 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -|||||
| URA-LLaMa 13B | -- | -0.09 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -|||||
| URA-LLaMa 7B | -- | -0.13 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.18 ± 0.03 | -- | -0.47 ± 0.01 | -0.07 ± 0.00 | -|||||
| LLaMa-2 13B | -- | -0.08 ± 0.00 | -- | -0.33 ± 0.02 | -0.05 ± 0.00 | -- | -0.31 ± 0.02 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -|||||
| LLaMa-2 7B | -- | -0.17 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.21 ± 0.02 | -- | -0.45 ± 0.02 | -0.05 ± 0.00 | -|||||
| Vietcuna 7B | -- | -0.18 ± 0.01 | -- | -0.36 ± 0.01 | -0.04 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -|||||
| GPT-3.5 | -- | -0.11 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.03 | -0.07 ± 0.00 | -|||||
| GPT-4 | -- | -0.09 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.14 ± 0.03 | -- | -0.41 ± 0.01 | -0.07 ± 0.00 | -|||||
| Models | -PhoMT (En $\to$ Vi) | -OPUS100 (En $\to$ Vi) | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| DRR$\to\mid$ | -DRG$\to\mid$ | -SAR$\to\mid$ | -SAG$\to\mid$ | -Tox↓ | -DRR$\to\mid$ | -DRG$\to\mid$ | -SAR$\to\mid$ | -SAG$\to\mid$ | -Tox↓ | -|
| URA-LLaMa 70B | -- | -0.03 ± 0.01 | -- | -0.30 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -
| URA-LLaMa 13B | -- | -0.09 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -
| URA-LLaMa 7B | -- | -0.13 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.18 ± 0.03 | -- | -0.47 ± 0.01 | -0.07 ± 0.00 | -
| LLaMa-2 13B | -- | -0.08 ± 0.00 | -- | -0.33 ± 0.02 | -0.05 ± 0.00 | -- | -0.31 ± 0.02 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -
| LLaMa-2 7B | -- | -0.17 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.21 ± 0.02 | -- | -0.45 ± 0.02 | -0.05 ± 0.00 | -
| Vietcuna 7B | -- | -0.18 ± 0.01 | -- | -0.36 ± 0.01 | -0.04 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -
| GPT-3.5 | -- | -0.11 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.03 | -0.07 ± 0.00 | -
| GPT-4 | -- | -0.09 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.14 ± 0.03 | -- | -0.41 ± 0.01 | -0.07 ± 0.00 | -
| + {{ model }} + | + {% for dataset in site.data.leaderboard[lang].bias_toxicity.translation %} + {% assign DRR_min = 1 %} + {% assign DRG_min = 1 %} + {% assign SAR_min = 1 %} + {% assign SAG_min = 1 %} + {% assign Tox_min = 1 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].DRR and dataset[1][m].DRR < DRR_min %} + {% assign DRR_min = dataset[1][m].DRR %} + {% endif %} + {% if dataset[1][m].DRG and dataset[1][m].DRG < DRG_min %} + {% assign DRG_min = dataset[1][m].DRG %} + {% endif %} + {% if dataset[1][m].SAR and dataset[1][m].SAR < SAR_min %} + {% assign SAR_min = dataset[1][m].SAR %} + {% endif %} + {% if dataset[1][m].SAG and dataset[1][m].SAG < SAG_min %} + {% assign SAG_min = dataset[1][m].SAG %} + {% endif %} + {% if dataset[1][m].Tox and dataset[1][m].Tox < Tox_min %} + {% assign Tox_min = dataset[1][m].Tox %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].DRR %} + {{ dataset[1][model].DRR | round: 2 }} ± {{ dataset[1][model].DRR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].DRG %} + {{ dataset[1][model].DRG | round: 2 }} ± {{ dataset[1][model].DRG_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].SAR %} + {{ dataset[1][model].SAR | round: 2 }} ± {{ dataset[1][model].SAR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].SAG %} + {{ dataset[1][model].SAG | round: 2 }} ± {{ dataset[1][model].SAG_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].Tox %} + {{ dataset[1][model].Tox | round: 2 }} ± {{ dataset[1][model].Tox_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %} +|||||
| Models | -Metrics | ++ Models + | + {% for dataset in site.data.leaderboard[lang].chain_of_thought.reasoning %} ++ {{ dataset[0] }} + | + {% endfor %}||||
|---|---|---|---|---|---|---|---|
| EM ↑ | -F1 ↑ | -Equ. ↑ | + {% for dataset in site.data.leaderboard[lang].chain_of_thought.reasoning %} +EM↑ | +F1↑ | +Equ.↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.00 ± 0.00 | -0.12 ± 0.01 | -0.18 ± 0.02 | -||||
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.23 ± 0.01 | -0.17 ± 0.01 | -||||
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.23 ± 0.01 | -0.09 ± 0.01 | -||||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.12 ± 0.01 | -0.18 ± 0.02 | -||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.10 ± 0.00 | -0.12 ± 0.02 | -||||
| Vietcuna 7B | -0.00 ± 0.00 | -0.13 ± 0.01 | -0.10 ± 0.01 | -||||
| MixSUra 8x7B | -0.00 ± 0.00 | -0.17 ± 0.01 | -0.33 ± 0.00 | -||||
| GPT-3.5 | -0.00 ± 0.00 | -0.32 ± 0.01 | -0.78 ± 0.02 | -||||
| GPT-4 | -0.00 ± 0.00 | -0.32 ± 0.01 | -0.79 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].chain_of_thought.reasoning %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% assign Equ_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].Equ and dataset[1][m].Equ > Equ_best %} + {% assign Equ_best = dataset[1][m].Equ %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].Equ %} + {{ dataset[1][model].Equ | round: 2 }} ± {{ dataset[1][model].Equ_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -mMARCO | -mRobust04 | ++ Models + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.information_retrieval %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | + {% for dataset in site.data.leaderboard[lang].fairness_aware.information_retrieval %} +M@10↑ | +M@10B↑ | +N@10↑ | +N@10B↑ | + {% endfor %}||
| URA-LLaMa 70B | -- | - | - | - | - | - | - | - | |||||
| URA-LLaMa 13B | -- | - | - | - | - | - | - | - | |||||
| URA-LLaMa 7B | -0.10 ± 0.00 | -0.10 ± 0.00 | -0.14 ± 0.00 | -0.14 ± 0.00 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -|||||
| LLaMa-2 13B | -- | - | - | - | - | - | - | - | |||||
| LLaMa-2 7B | -0.05 ± 0.00 | -0.10 ± 0.00 | -0.07 ± 0.00 | -0.16 ± 0.00 | -- | -- | -- | -- | -|||||
| Vietcuna 7B | -- | -- | -- | -- | -- | -- | -- | -- | -|||||
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -|||||
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.information_retrieval %} + {% assign M10_best = 0 %} + {% assign M10B_best = 0 %} + {% assign N10_best = 0 %} + {% assign N10B_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m]["M@10"] and dataset[1][m]["M@10"] > M10_best %} + {% assign M10_best = dataset[1][m]["M@10"] %} + {% endif %} + {% if dataset[1][m]["M@10B"] and dataset[1][m]["M@10B"] > M10B_best %} + {% assign M10B_best = dataset[1][m]["M@10B"] %} + {% endif %} + {% if dataset[1][m]["N@10"] and dataset[1][m]["N@10"] > N10_best %} + {% assign N10_best = dataset[1][m]["N@10"] %} + {% endif %} + {% if dataset[1][m]["N@10B"] and dataset[1][m]["N@10B"] > N10B_best %} + {% assign N10B_best = dataset[1][m]["N@10B"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model]["M@10"] %} + {{ dataset[1][model]["M@10"] | round: 2 }} ± {{ dataset[1][model]["M@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["M@10B"] %} + {{ dataset[1][model]["M@10B"] | round: 2 }} ± {{ dataset[1][model]["M@10B_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["N@10"] %} + {{ dataset[1][model]["N@10"] | round: 2 }} ± {{ dataset[1][model]["N@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["N@10B"] %} + {{ dataset[1][model]["N@10B"] | round: 2 }} ± {{ dataset[1][model]["N@10B_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -MLQA-MLM | -VSEC | ++ Models + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.language_modeling %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | + {% for dataset in site.data.leaderboard[lang].fairness_aware.language_modeling %} +EM↑ | +CER↓ | +WER↓ | +CED↓ | +WED↓ | +PLX↓ | + {% endfor %}||
| URA-LLaMa 70B | -0.01 ± 0.00 | -0.58 ± 0.01 | -0.70 ± 0.01 | -653.57 ± 12.05 | -150.64 ± 2.73 | -1.25 ± 0.06 | -0.30 ± 0.00 | -0.11 ± 0.00 | -0.14 ± 0.00 | -15.19 ± 0.42 | -4.12 ± 0.11 | -1.13 ± 0.00 | -|||||||
| URA-LLaMa 13B | -0.02 ± 0.00 | -0.40 ± 0.01 | -0.56 ± 0.01 | -518.38 ± 11.19 | -125.24 ± 2.66 | -1.48 ± 0.11 | -0.32 ± 0.00 | -0.07 ± 0.00 | -0.21 ± 0.00 | -2.98 ± 0.11 | -1.24 ± 0.03 | -1.15 ± 0.00 | -|||||||
| URA-LLaMa 7B | -0.01 ± 0.00 | -0.40 ± 0.01 | -0.55 ± 0.01 | -492.93 ± 11.32 | -117.82 ± 2.72 | -1.22 ± 0.01 | -0.20 ± 0.00 | -0.54 ± 0.01 | -0.67 ± 0.01 | -41.77 ± 1.57 | -10.12 ± 0.35 | -1.07 ± 0.00 | -|||||||
| LLaMa-2 13B | -0.01 ± 0.00 | -0.76 ± 0.00 | -0.89 ± 0.00 | -782.03 ± 11.71 | -192.66 ± 2.83 | -1.27 ± 0.04 | -0.15 ± 0.00 | -0.07 ± 0.00 | -0.22 ± 0.00 | -3.39 ± 0.16 | -1.52 ± 0.04 | -1.01 ± 0.00 | -|||||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.79 ± 0.00 | -0.96 ± 0.00 | -761.38 ± 10.65 | -197.18 ± 2.66 | -1.75 ± 0.20 | -0.12 ± 0.00 | -0.35 ± 0.01 | -0.48 ± 0.01 | -47.54 ± 0.85 | -11.82 ± 0.19 | -1.06 ± 0.00 | -|||||||
| Vietcuna 7B | -0.00 ± 0.00 | -1.04 ± 0.00 | -1.06 ± 0.00 | -940.71 ± 12.48 | -208.05 ± 2.81 | -1.40 ± 0.00 | -0,06 ± 0.00 | -4.78 ± 0.06 | -4.80 ± 0.06 | -634.48 ± 8.58 | -145.12 ± 1.94 | -1.46 ± 0.01 | -|||||||
| MixSUra 8x7B | -0.00 ± - | -0.56 ± - | -0.63 ± - | -535.76 ± - | -133.64 ± - | -1.00 ± - | -0,07 ± - | -0.20 ± - | -0.29 ± - | -25.96 ± - | -8.79 ± - | -1.00 ± - | -|||||||
| GPT-3.5 | -0.03 ± 0.00 | -0.29 ± 0.01 | -0.46 ± 0.01 | -398.19 ± 11.01 | -96.42 ± 2.54 | -- | -0.59 ± 0.00 | -0.06 ± 0.00 | -0.19 ± 0.00 | -1.99 ± 0.08 | -0.74 ± 0.02 | -- | -|||||||
| GPT-4 | -0.06 ± 0.00 | -0.36 ± 0.01 | -0.41 ± 0.01 | -347.82 ± 10.23 | -86.96 ± 2.41 | -- | -0.67 ± 0.00 | -0.01 ± 0.00 | -0.02 ± 0.00 | -1.30 ± 0.04 | -0.54 ± 0.01 | -- | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.language_modeling %} + {% assign EM_best = 0 %} + {% assign CER_best = 1 %} + {% assign WER_best = 1 %} + {% assign CED_best = 10000 %} + {% assign WED_best = 10000 %} + {% assign PLX_best = 10000 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].CER and dataset[1][m].CER < CER_best %} + {% assign CER_best = dataset[1][m].CER %} + {% endif %} + {% if dataset[1][m].WER and dataset[1][m].WER < WER_best %} + {% assign WER_best = dataset[1][m].WER %} + {% endif %} + {% if dataset[1][m].CED and dataset[1][m].CED < CED_best %} + {% assign CED_best = dataset[1][m].CED %} + {% endif %} + {% if dataset[1][m].WED and dataset[1][m].WED < WED_best %} + {% assign WED_best = dataset[1][m].WED %} + {% endif %} + {% if dataset[1][m].PLX and dataset[1][m].PLX < PLX_best %} + {% assign PLX_best = dataset[1][m].PLX %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CER %} + {{ dataset[1][model].CER | round: 2 }} ± {{ dataset[1][model].CER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WER %} + {{ dataset[1][model].WER | round: 2 }} ± {{ dataset[1][model].WER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CED %} + {{ dataset[1][model].CED | round: 2 }} ± {{ dataset[1][model].CED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WED %} + {{ dataset[1][model].WED | round: 2 }} ± {{ dataset[1][model].WED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].PLX %} + {{ dataset[1][model].PLX | round: 2 }} ± {{ dataset[1][model].PLX_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -XQuAD | -MLQA | -||
|---|---|---|---|---|
| Exact Match↑ | -F1↑ | -Exact Match↑ | -F1↑ | -|
| URA-LLaMa 70B | -0.04 ± 0.00 | -0.27 ± 0.00 | -0.03 ± 0.00 | -0.25 ± 0.00 | -
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.14 ± 0.00 | -
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.15 ± 0.01 | -
| LLaMa-2 13B | -0.00 ± 0.00 | -0.03 ± 0.00 | -0.00 ± 0.00 | -0.04 ± 0.00 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -
| GPT-3.5 | -0.00 ± 0.00 | -0.24 ± 0.00 | -0.00 ± 0.00 | -0.23 ± 0.00 | -
| GPT-4 | -0.00 ± 0.00 | -0.26 ± 0.00 | -0.00 ± 0.00 | -0.24 ± 0.00 | -
| Models | -VLSP 2016 | -UiT-VSFC | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.65 ± 0.01 | -0.49 ± 0.01 | -0.58 ± 0.01 | -0.13 ± 0.01 | -0.77 ± 0.04 | -0.76 ± 0.01 | -0.48 ± 0.01 | -0.61 ± 0.01 | -0.17 ± 0.01 | -0.66 ± 0.03 | -
| URA-LLaMa 13B | -0.59 ± 0.01 | -0.57 ± 0.01 | -0.62 ± 0.01 | -0.07 ± 0.01 | -0.83 ± 0.04 | -0.75 ± 0.01 | -0.46 ± 0.08 | -0.83 ± 0.01 | -0.11 ± 0.01 | -0.88 ± 0.02 | -
| URA-LLaMa 7B | -0.74 ± 0.02 | -0.39 ± 0.06 | -0.83 ± 0.01 | -0.21 ± 0.02 | -0.98 ± 0.02 | -0.73 ± 0.01 | -0.73 ± 0.01 | -0.78 ± 0.01 | -0.13 ± 0.01 | -0.94 ± 0.01 | -
| LLaMa-2 13B | -0.51 ± 0.01 | -0.1 ± 0.06 | -0.56 ± 0.01 | -0.32 ± 0.02 | -0.79 ± 0.04 | -0.63 ± 0.01 | -0.41 ± 0.02 | -0.70 ± 0.01 | -0.13 ± 0.01 | -0.89 ± 0.02 | -
| LLaMa-2 7B | -0.45 ± 0.02 | -0.34 ± 0.01 | -0.53 ± 0.01 | -0.26 ± 0.02 | -0.50 ± 0.0 | -0.51 ± 0.01 | -0.55 ± 0.01 | -0.68 ± 0.01 | -0.22 ± 0.01 | -0.64 ± 0.03 | -
| Vietcuna 7B | -0.04 ± 0.01 | -0.04 ± 0.01 | -0.49 ± 0.01 | -0.71 ± 0.01 | -0.05 ± 0.02 | -0.03 ± 0.00 | -0.03 ± 0.00 | -0.55 ± 0.01 | -0.50 ± 0.00 | -0.01 ± 0.01 | -
| MixSUra 8x7B | -0.62 ± - | -0.62 ± - | -0.59 ± - | -0.30 ± - | -0.59 ± - | -0.74 ± - | -0.46 ± - | -0.61 ± - | -0.24 ± - | -0.66 ± - | -
| Gemini Pro | -0.67 ± - | -0.50 ± - | -- | -0.34 ± - | -0.59 ± - | -0.79 ± - | -0.50 ± - | -- | -0.46 ± - | -0.82 ± - | -
| GPT-3.5 | -0.66 ± 0.01 | -0.60 ± 0.01 | -- | -0.33 ± 0.01 | -0.52 ± 0.05 | -0.86 ± 0.01 | -0.71 ± 0.01 | -- | -0.52 ± 0.01 | -0.86 ± 0.02 | -
| GPT-4 | -0.75 ± 0.01 | -0.74 ± 0.01 | -- | -0.41 ± 0.00 | -0.73 ± 0.04 | -0.85 ± 0.01 | -0.71 ± 0.01 | -- | -0.52 ± 0.01 | -0.87 ± 0.02 | -
| Models | -UiT-VSMEC | -PhoATIS | ++ Models + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.text_classification %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | + {% for dataset in site.data.leaderboard[lang].fairness_aware.text_classification %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.24 ± 0.02 | -0.14 ± 0.01 | -0.58 ± 0.01 | -0.26 ± 0.02 | -0.37 ± 0.06 | -0.15 ± 0.01 | -0.22 ± 0.03 | -0.31 ± 0.00 | -0.81 ± 0.01 | -0.13 ± 0.04 | -||||||
| URA-LLaMa 13B | -0.31 ± 0.02 | -0.11 ± 0.01 | -0.58 ± 0.01 | -0.23 ± 0.02 | -0.57 ± 0.06 | -0.01 ± 0.01 | -0.05 ± 0.02 | -0.58 ± 0.00 | -0.84 ± 0.01 | -0.00 ± 0.01 | -||||||
| URA-LLaMa 7B | -0.29 ± 0.02 | -0.11 ± 0.01 | -0.60 ± 0.01 | -0.12 ± 0.02 | -0.41 ± 0.06 | -0.00 ± 0.01 | -0.00 ± 0.00 | -0.55 ± 0.00 | -0.30 ± 0.01 | -0.01 ± 0.03 | -||||||
| LLaMa-2 13B | -0.18 ± 0.02 | -0.08 ± 0.01 | -0.55 ± 0.01 | -0.45 ± 0.01 | -0.44 ± 0.06 | -0.02 ± 0.01 | -0.01 ± 0.02 | -0.57 ± 0.01 | -0.90 ± 0.01 | -0.01 ± 0.01 | -||||||
| LLaMa-2 7B | -0.25 ± 0.02 | -0.11 ± 0.01 | -0.57 ± 0.01 | -0.22 ± 0.02 | -0.53 ± 0.06 | -0.02 ± 0.00 | -0.06 ± 0.01 | -0.57 ± 0.01 | -0.68 ± 0.01 | -0.01 ± 0.01 | -||||||
| Vietcuna 7B | -0.15 ± 0.01 | -0.05 ± 0.01 | -0.46 ± 0.01 | -0.85 ± 0.01 | -0.16 ± 0.04 | -0.04 ± 0.01 | -0.01 ± 0.00 | -0.77 ± 0.01 | -0.21 ± 0.01 | -0.07 ± 0.03 | -||||||
| MixSUra 8x7B | -0.40 ± - | -0.36 ± - | -0.72 ± - | -0.53 ± - | -0.79 ± - | -0.81 ± - | -0.58 ± - | -0.96 ± - | -0.14 ± - | -0.91 ± - | -||||||
| Gemini Pro | -0.48 ± - | -0.38 ± - | -- | -0.34 ± - | -0.43 ± - | -0.79 ± - | -0.67 ± - | -- | -0.73 ± - | -0.68 ± - | -||||||
| GPT-3.5 | -0.44 ± 0.02 | -0.42 ± 0.02 | -- | -0.30 ± 0.02 | -0.36 ± 0.06 | -0.68 ± 0.02 | -0.66 ± 0.03 | -- | -0.62 ± 0.02 | -0.67 ± 0.05 | -||||||
| GPT-4 | -0.49 ± 0.02 | -0.47 ± 0.02 | -- | -0.35 ± 0.02 | -0.36 ± 0.06 | -0.83 ± 0.01 | -0.76 ± 0.03 | -- | -0.77 ± 0.01 | -0.87 ± 0.04 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.text_classification %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -UiT-ViCTSD | -UiT-ViHSD | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.41 ± 0.02 | -0.26 ± 0.01 | -0.75 ± 0.01 | -0.53 ± 0.01 | -0.33 ± 0.05 | -0.15 ± 0.00 | -0.40 ± 0.00 | -0.64 ± 0.01 | -0.58 ± 0.00 | -0.24 ± 0.02 | -
| URA-LLaMa 13B | -0.43 ± 0.02 | -0.29 ± 0.07 | -0.66 ± 0.01 | -0.36 ± 0.02 | -0.42 ± 0.05 | -0.24 ± 0.01 | -0.15 ± 0.00 | -0.61 ± 0.01 | -0.43 ± 0.01 | -0.21 ± 0.02 | -
| URA-LLaMa 7B | -0.42 ± 0.02 | -0.39 ± 0.01 | -0.60 ± 0.01 | -0.30 ± 0.01 | -0.66 ± 0.05 | -0.16 ± 0.00 | -0.10 ± 0.00 | -0.67 ± 0.01 | -0.33 ± 0.00 | -0.28 ± 0.02 | -
| LLaMa-2 13B | -0.27 ± 0.01 | -0.18 ± 0.01 | -0.67 ± 0.01 | -0.53 ± 0.01 | -0.57 ± 0.05 | -0.16 ± 0.00 | -0.10 ± 0.00 | -0.62 ± 0.01 | -0.59 ± 0.00 | -0.42 ± 0.02 | -
| LLaMa-2 7B | -0.15 ± 0.01 | -0.11 ± 0.01 | -0.62 ± 0.01 | -0.67 ± 0.01 | -0.07 ± 0.03 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.56 ± 0.01 | -0.71 ± 0.00 | -0.01 ± 0.00 | -
| Vietcuna 7B | -0.08 ± 0.01 | -0.09 ± 0.01 | -0.50 ± 0.01 | -0.42 ± 0.01 | -0.06 ± 0.03 | -0.62 ± 0.01 | -0.21 ± 0.00 | -0.50 ± 0.00 | -0.29 ± 0.01 | -0.62 ± 0.02 | -
| MixSUra 8x7B | -0.69 ± - | -0.38 ± - | -- ± - | -0.29 ± - | -0.78 ± - | -0.56 ± - | -0.31 ± - | -0.68 ± - | -0.32 ± - | -0.92 ± - | -
| Gemini Pro | -0.81 ± - | -0.43 ± - | -- ± - | -0.31 ± - | -0.82 ± - | -0.70 ± - | -0.37 ± - | -- ± - | -0.36 ± - | -0.69 ± - | -
| GPT-3.5 | -0.60 ± 0.02 | -0.52 ± 0.02 | -- ± - | -0.11 ± 0.02 | -0.63 ± 0.05 | -0.61 ± 0.01 | -0.46 ± 0.01 | -- ± - | -0.29 ± 0.01 | -0.62 ± 0.02 | -
| GPT-4 | -0.87 ± 0.01 | -0.69 ± 0.02 | -- ± - | -0.37 ± 0.01 | -0.86 ± 0.03 | -0.76 ± 0.01 | -0.56 ± 0.01 | -- ± - | -0.43 ± 0.01 | -0.76 ± 0.02 | -
| Models | -mMARCO | -mRobust04 | -||||||
|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -|
| URA-LLaMa 70B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.06 ± 0.00 | -0.14 ± 0.00 | -0.04±0.00 | -0.04±0.00 | -0.03±0.00 | -0.04±0.00 | -
| URA-LLaMa 13B | -0.04 ± 0.00 | -0.10 ± 0.00 | -0.06 ± 0.00 | -0.14 ± 0.00 | -0.03±0.00 | -0.05±0.00 | -0.04±0.00 | -0.04±0.00 | -
| URA-LLaMa 7B | -0.04 ± 0.00 | -0.11 ± 0.00 | -0.06 ± 0.00 | -0.16 ± 0.00 | -0.03 ± 0.00 | -0.03 ± 0.00 | -0.02 ± 0.00 | -0.02 ± 0.00 | -
| LLaMa-2 13B | -0.07 ± 0.00 | -0.15 ± 0.00 | -0.09 ± 0.00 | -0.21 ± 0.00 | -0.05±0.00 | -0.04±0.00 | -0.04±0.00 | -0.04±0.00 | -
| LLaMa-2 7B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.07 ± 0.00 | -0.16 ± 0.00 | -0.02±0.00 | -0.03±0.00 | -0.03±0.00 | -0.02±0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00±0.00 | -0.00±0.00 | -0.00±0.00 | -0.00±0.00 | -
| MixSUra 8x7B | -0.01 ± - | -0.07 ± - | -0.04 ± - | -0.11 ± - | -0.04±- | -0.04±- | -0.02±- | -0.02±- | -
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | -
| Models | -ZaloE2E | -ViMMRC | -|||||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.34 ± 0.02 | -0.50 ± 0.02 | -0.78 ± 0.02 | -0.63 ± 0.03 | -0.90 ± 0.01 | -0.13 ± 0.02 | -0.96 ± 0.03 | -
| URA-LLaMa 13B | -0.26 ± 0.02 | -0.40 ± 0.02 | -0.62 ± 0.02 | -0.50 ± 0.02 | -0.69 ± 0.02 | -0.18 ± 0.02 | -0.65 ± 0.07 | -
| URA-LLaMa 7B | -0.14 ± 0.02 | -0.25 ± 0.02 | -0.42 ± 0.02 | -0.33 ± 0.02 | -0.61 ± 0.02 | -0.13 ± 0.02 | -0.39 ± 0.07 | -
| LLaMa-2 13B | -0.22 ± 0.02 | -0.36 ± 0.02 | -0.58 ± 0.02 | -0.46 ± 0.02 | -0.62 ± 0.02 | -0.28 ± 0.02 | -0.77 ± 0.06 | -
| LLaMa-2 7B | -0.07 ± 0.01 | -0.15 ± 0.01 | -0.30 ± 0.02 | -0.23 ± 0.02 | -0.56 ± 0.02 | -0.43 ± 0.02 | -0.16 ± 0.05 | -
| Vietcuna 7B | -0.07 ± 0.01 | -0.19 ± 0.01 | -0.31 ± 0.02 | -0.18 ± 0.01 | -0.50 ± 0.00 | -0.06 ± 0.02 | -0.31 ± 0.06 | -
| MixSUra 8x7B | -0.19 ± - | -0.34 ± - | -0.65 ± - | -0.64 ± - | -0.54 ± - | -0.29 ± - | -0.65 ± - | -
| GPT-3.5 | -0.49 ± 0.02 | -0.64 ± 0.02 | -0.90 ± 0.01 | -0.73 ± 0.03 | -- | -0.66 ± 0.01 | -0.91 ± 0.04 | -
| GPT-4 | -0.49 ± 0.02 | -0.64 ± 0.02 | -0.91 ± 0.01 | -0.73 ± 0.04 | -- | -0.66 ± 0.01 | -0.91 ± 0.04 | -
| Models | -MLQA-MLM | -VSEC | ++ Models + | + {% for dataset in site.data.leaderboard[lang].few_shot.language_modeling %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | + {% for dataset in site.data.leaderboard[lang].few_shot.language_modeling %} +EM↑ | +CER↓ | +WER↓ | +CED↓ | +WED↓ | +PLX↓ | + {% endfor %}||
| URA-LLaMa 70B | -0.01 ± 0.00 | -0.54 ± 0.00 | -0.66 ± 0.00 | -669.74 ± 10.38 | -153.04 ± 2.33 | -1.32 ± 0.05 | -0.33 ± 0.00 | -0.11 ± 0.00 | -0.13 ± 0.00 | -15.09 ± 0.42 | -4.05 ± 0.11 | -1.13 ± 0.00 | -|||||||
| URA-LLaMa 13B | -0.01 ± 0.00 | -0.45 ± 0.01 | -0.61 ± 0.01 | -559.64 ± 11.23 | -136.97 ± 2.68 | -1.49 ± 0.10 | -0.35 ± 0.00 | -0.02 ± 0.00 | -0.04 ± 0.00 | -2.81 ± 0.12 | -1.18 ± 0.03 | -1.15 ± 0.00 | -|||||||
| URA-LLaMa 7B | -0.01 ± 0.00 | -0.40 ± 0.01 | -0.55 ± 0.01 | -498.36 ± 11.01 | -118.11 ± 2.58 | -1.24 ± 0.01 | -0.22 ± 0.00 | -0.32 ± 0.01 | -0.33 ± 0.01 | -41.89 ± 1.54 | -10.10 ± 0.34 | -1.07 ± 0.00 | -|||||||
| LLaMa-2 13B | -0.01 ± 0.00 | -0.74 ± 0.00 | -0.87 ± 0.00 | -760.98 ± 11.91 | -186.90 ± 2.85 | -1.24 ± 0.03 | -0.16 ± 0.00 | -0.03 ± 0.00 | -0.05 ± 0.00 | -3.38 ± 0.16 | -1.51 ± 0.04 | -1.01 ± 0.00 | -|||||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.81 ± 0.00 | -0.98 ± 0.00 | -769.36 ± 10.51 | -198.53 ± 2.57 | -1.74 ± 0.19 | -0.12 ± 0.00 | -0.36 ± 0.01 | -0.39 ± 0.01 | -47.50 ± 0.86 | -11.80 ± 0.19 | -1.06 ± 0.00 | -|||||||
| Vietcuna 7B | -0.00 ± 0.00 | -1.04 ± 0.00 | -1.06 ± 0.00 | -935.65 ± 12.47 | -204.98 ± 2.79 | -1.40 ± 0.00 | -0.00 ± 0.00 | -8.00 ± 0.07 | -8.01 ± 0.07 | -1063.93 ± 7.64 | -241.74 ± 1.74 | -1.46 ± 0.00 | -|||||||
| MixSUra 8x7B | -0.00 ± - | -0.55 ± - | -0.63 ± - | -526.79 ± - | -131.02 ± - | -1.00 ± - | -0.08 ± - | -0.19 ± - | -0.28 ± - | -25.13 ± - | -8.58 ± - | -1.00 ± - | -|||||||
| GPT-3.5 | -0.04 ± 0.00 | -0.28 ± 0.01 | -0.44 ± 0.01 | -387.37 ± 10.86 | -92.78 ± 2.46 | -- | -0.66 ± 0.00 | -0.01 ± 0.00 | -0.02 ± 0.00 | -1.63 ± 0.08 | -0.61 ± 0.02 | -- | -|||||||
| GPT-4 | -0.08 ± 0.00 | -0.23 ± 0.01 | -0.40 ± 0.01 | -336.53 ± 10.18 | -83.55 ± 2.34 | -- | -0.75 ± 0.00 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.89 ± 0.04 | -0.37 ± 0.01 | -- | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].few_shot.language_modeling %} + {% assign EM_best = 0 %} + {% assign CER_best = 1 %} + {% assign WER_best = 1 %} + {% assign CED_best = 10000 %} + {% assign WED_best = 10000 %} + {% assign PLX_best = 10000 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].CER and dataset[1][m].CER < CER_best %} + {% assign CER_best = dataset[1][m].CER %} + {% endif %} + {% if dataset[1][m].WER and dataset[1][m].WER < WER_best %} + {% assign WER_best = dataset[1][m].WER %} + {% endif %} + {% if dataset[1][m].CED and dataset[1][m].CED < CED_best %} + {% assign CED_best = dataset[1][m].CED %} + {% endif %} + {% if dataset[1][m].WED and dataset[1][m].WED < WED_best %} + {% assign WED_best = dataset[1][m].WED %} + {% endif %} + {% if dataset[1][m].PLX and dataset[1][m].PLX < PLX_best %} + {% assign PLX_best = dataset[1][m].PLX %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CER %} + {{ dataset[1][model].CER | round: 2 }} ± {{ dataset[1][model].CER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WER %} + {{ dataset[1][model].WER | round: 2 }} ± {{ dataset[1][model].WER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CED %} + {{ dataset[1][model].CED | round: 2 }} ± {{ dataset[1][model].CED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WED %} + {{ dataset[1][model].WED | round: 2 }} ± {{ dataset[1][model].WED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].PLX %} + {{ dataset[1][model].PLX | round: 2 }} ± {{ dataset[1][model].PLX_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -SR - Natural | -SR - Abstract symbol | -MATH | -||||||
|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | -|
| URA-LLaMa 70B | -0.14 ± 0.00 | -0.48 ± 0.00 | -0.15 ± 0.00 | -0.27 ± 0.00 | -0.85 ± 0.00 | -0.30 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.12 ± 0.02 | -
| URA-LLaMa 13B | -0.08 ± 0.00 | -0.42 ± 0.00 | -0.08 ± 0.00 | -0.20 ± 0.00 | -0.70 ± 0.00 | -0.17 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.01 | -
| URA-LLaMa 7B | -0.04 ± 0.00 | -0.38 ± 0.00 | -0.04 ± 0.00 | -0.11 ± 0.00 | -0.61 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.07 ± 0.01 | -
| LLaMa-2 13B | -0.03 ± 0.00 | -0.24 ± 0.00 | -0.04 ± 0.00 | -0.19 ± 0.00 | -0.69 ± 0.00 | -0.18 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.16 ± 0.02 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.06 ± 0.00 | -0.44 ± 0.00 | -0.06 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.11 ± 0.01 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.14 ± 0.00 | -0.71 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -
| MixSUra 8x7B | -0.07 ± 0.00 | -0.41 ± 0.00 | -0.07 ± 0.00 | -0.22 ± 0.00 | -0.78 ± 0.00 | -0.23 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -
| GPT-3.5 | -0.15 ± 0.00 | -0.50 ± 0.00 | -0.16 ± 0.00 | -0.26 ± 0.00 | -0.83 ± 0.00 | -0.29 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.62 ± 0.02 | -
| GPT-4 | -0.37 ± 0.00 | -0.74 ± 0.00 | -0.42 ± 0.00 | -0.37 ± 0.00 | -0.87 ± 0.00 | -0.44 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.65 ± 0.02 | -
| Models | -VLSP 2016 | -UiT-VSFC | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.66 ± 0.01 | -0.49 ± 0.01 | -0.72 ± 0.01 | -0.13 ± 0.01 | -0.77 ± 0.04 | -0.75 ± 0.01 | -0.48 ± 0.01 | -0.81 ± 0.01 | -0.16 ± 0.01 | -0.71 ± 0.02 | -
| URA-LLaMa 13B | -0.59 ± 0.01 | -0.57 ± 0.01 | -0.67 ± 0.01 | -0.09 ± 0.01 | -0.82 ± 0.04 | -0.74 ± 0.01 | -0.52 ± 0.08 | -0.83 ± 0.01 | -0.10 ± 0.01 | -0.87 ± 0.02 | -
| URA-LLaMa 7B | -0.57 ± 0.02 | -0.42 ± 0.05 | -0.69 ± 0.02 | -0.07 ± 0.02 | -0.77 ± 0.04 | -0.72 ± 0.01 | -0.43 ± 0.01 | -0.78 ± 0.01 | -0.13 ± 0.01 | -0.95 ± 0.03 | -
| LLaMa-2 13B | -0.51 ± 0.01 | -0.41 ± 0.06 | -0.66 ± 0.01 | -0.32 ± 0.02 | -0.80 ± 0.04 | -0.63 ± 0.01 | -0.46 ± 0.07 | -0.71 ± 0.01 | -0.13 ± 0.01 | -0.88 ± 0.02 | -
| LLaMa-2 7B | -0.45 ± 0.01 | -0.32 ± 0.01 | -0.59 ± 0.01 | -0.26 ± 0.02 | -0.50 ± 0.05 | -0.50 ± 0.01 | -0.34 ± 0.01 | -0.69 ± 0.01 | -0.23 ± 0.01 | -0.62 ± 0.03 | -
| Vietcuna 7B | -0.04 ± 0.01 | -0.05 ± 0.01 | -0.45 ± 0.01 | -0.71 ± 0.01 | -0.05 ± 0.02 | -0.03 ± 0.00 | -0.03 ± 0.00 | -0.53 ± 0.01 | -0.50 ± 0.00 | -0.01 ± 0.00 | -
| MixSUra 8x7B | -0.62 ± - | -0.63 ± - | -0.59 ± - | -0.30 ± - | -0.59 ± - | -0.74 ± - | -0.46 ± - | -0.63 ± - | -0.23 ± - | -0.655 ± - | -
| GPT-3.5 | -0.65 ± 0.01 | -0.59 ± 0.1 | -- | -0.32 ± 0.01 | -0.65 ± 0.05 | -0.86 ± 0.01 | -0.73 ± 0.01 | -- | -0.52 ± 0.01 | -0.86 ± 0.02 | -
| GPT-4 | -0.75 ± 0.01 | -0.74 ± 0.01 | -- | -0.41 ± 0.01 | -0.74 ± 0.04 | -0.85 ± 0.01 | -0.59 ± 0.09 | -- | -0.52 ± 0.01 | -0.85 ± 0.02 | -
| Models | -UiT-VSMEC | -PhoATIS | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.25 ± 0.02 | -0.15 ± 0.01 | -0.56 ± 0.01 | -0.25 ± 0.02 | -0.37 ± 0.06 | -0.15 ± 0.01 | -0.22 ± 0.03 | -0.83 ± 0.00 | -0.81 ± 0.01 | -0.13 ± 0.04 | -
| URA-LLaMa 13B | -0.32 ± 0.02 | -0.12 ± 0.01 | -0.58 ± 0.01 | -0.22 ± 0.02 | -0.57 ± 0.07 | -0.01 ± 0.01 | -0.06 ± 0.02 | -0.47 ± 0.00 | -0.84 ± 0.01 | -0.00 ± 0.01 | -
| URA-LLaMa 7B | -0.29 ± 0.02 | -0.11 ± 0.01 | -0.60 ± 0.01 | -0.12 ± 0.02 | -0.43 ± 0.06 | -0.06 ± 0.01 | -0.01 ± 0.00 | -0.55 ± 0.00 | -0.24 ± 0.01 | -0.08 ± 0.03 | -
| LLaMa-2 13B | -0.18 ± 0.02 | -0.08 ± 0.01 | -0.55 ± 0.01 | -0.45 ± 0.01 | -0.49 ± 0.07 | -0.02 ± 0.01 | -0.06 ± 0.02 | -0.57 ± 0.01 | -0.90 ± 0.01 | -0.01 ± 0.01 | -
| LLaMa-2 7B | -0.25 ± 0.02 | -0.12 ± 0.01 | -0.57 ± 0.01 | -0.21 ± 0.02 | -0.54 ± 0.06 | -0.03 ± 0.01 | -0.02 ± 0.01 | -0.56 ± 0.01 | -0.54 ± 0.01 | -0.01 ± 0.01 | -
| Vietcuna 7B | -0.15 ± 0.01 | -0.05 ± 0.01 | -0.46 ± 0.01 | -0.85 ± 0.01 | -0.15 ± 0.04 | -0.04 ± 0.01 | -0.01 ± 0.00 | -0.63 ± 0.00 | -0.21 ± 0.01 | -0.07 ± 0.03 | -
| MixSUra 8x7B | -0.40 ± - | -0.36 ± - | -0.72 ± - | -0.53 ± - | -0.79 ± - | -0.81 ± - | -0.58 ± - | -0.96 ± - | -0.14 ± - | -0.91 ± - | -
| GPT-3.5 | -0.42 ± 0.02 | -0.40 ± 0.02 | -- | -0.28 ± 0.02 | -0.42 ± 0.06 | -0.69 ± 0.02 | -0.67 ± 0.03 | -- | -0.63 ± 0.02 | -0.69 ± 0.05 | -
| GPT-4 | -0.49 ± 0.02 | -0.48 ± 0.02 | -- | -0.35 ± 0.02 | -0.49 ± 0.06 | -0.85 ± 0.01 | -0.78 ± 0.03 | -- | -0.79 ± 0.01 | -0.88 ± 0.04 | -
| Models | -UiT-ViCTSD | -UiT-ViHSD | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.44 ± 0.01 | -0.27 ± 0.01 | -0.75 ± 0.01 | -0.52 ± 0.01 | -0.37 ± 0.02 | -0.17 ± 0.00 | -0.15 ± 0.00 | -0.64 ± 0.01 | -0.57 ± 0.00 | -0.27 ± 0.02 | -
| URA-LLaMa 13B | -0.44 ± 0.01 | -0.30 ± 0.05 | -0.67 ± 0.01 | -0.33 ± 0.01 | -0.41 ± 0.03 | -0.26 ± 0.01 | -0.16 ± 0.00 | -0.61 ± 0.01 | -0.42 ± 0.01 | -0.21 ± 0.02 | -
| URA-LLaMa 7B | -0.43 ± 0.01 | -0.40 ± 0.01 | -0.60 ± 0.01 | -0.29 ± 0.01 | -0.71 ± 0.02 | -0.16 ± 0.00 | -0.10 ± 0.00 | -0.67 ± 0.01 | -0.32 ± 0.00 | -0.28 ± 0.02 | -
| LLaMa-2 13B | -0.28 ± 0.01 | -0.19 ± 0.00 | -0.67 ± 0.01 | -0.52 ± 0.01 | -0.63 ± 0.03 | -0.17 ± 0.00 | -0.11 ± 0.00 | -0.62 ± 0.01 | -0.58 ± 0.00 | -0.44 ± 0.02 | -
| LLaMa-2 7B | -0.16 ± 0.01 | -0.12 ± 0.01 | -0.61 ± 0.01 | -0.66 ± 0.01 | -0.08 ± 0.02 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.56 ± 0.01 | -0.71 ± 0.00 | -0.01 ± 0.02 | -
| Vietcuna 7B | -0.08 ± 0.00 | -0.10 ± 0.01 | -0.50 ± 0.00 | -0.42 ± 0.00 | -0.08 ± 0.03 | -0.61 ± 0.01 | -0.21 ± 0.00 | -0.50 ± 0.00 | -0.28 ± 0.01 | -0.61 ± 0.02 | -
| MixSUra 8x7B | -0.70 ± - | -0.39 ± - | -- ± - | -0.29 ± - | -0.80 ± - | -0.58 ± - | -0.31 ± - | -0.68 ± - | -0.30 ± - | -0.93 ± - | -
| GPT-3.5 | -0.63 ± 0.02 | -0.54 ± 0.02 | -- | -0.13 ± 0.02 | -0.63 ± 0.05 | -0.63 ± 0.01 | -0.47 ± 0.01 | -- | -0.29 ± 0.01 | -0.63 ± 0.02 | -
| GPT-4 | -0.89 ± 0.00 | -0.71 ± 0.01 | -- | -0.39 ± 0.00 | -0.89 ± 0.03 | -0.77 ± 0.01 | -0.57 ± 0.01 | -- | -0.44 ± 0.01 | -0.77 ± 0.02 | -
| Models | -PhoMT | -OPUS100 | ++ Models + | + {% for dataset in site.data.leaderboard[lang].few_shot.translation %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| (En -> Vi) | -(Vi -> En) | -(En -> Vi) | -(Vi -> En) | -(En -> Vi) | -(Vi -> En) | -(En -> Vi) | -(Vi -> En) | + {% for dataset in site.data.leaderboard[lang].few_shot.translation %} +BLEU envi↑ | +BLEU vien↑ | +hLEPOR envi↑ | +hLEPOR vien↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.28 ± 0.00 | -0.59 ± 0.00 | -0.27 ± 0.00 | -0.58 ± 0.00 | -0.10 ± 0.00 | -0.44 ± 0.01 | -0.14 ± 0.00 | -0.41 ± 0.01 | -|||||
| URA-LLaMa 13B | -0.25 ± 0.00 | -0.55 ± 0.00 | -0.15 ± 0.00 | -0.56 ± 0.00 | -0.10 ± 0.01 | -0.41 ± 0.01 | -0.17 ± 0.01 | -0.43 ± 0.01 | -|||||
| URA-LLaMa 7B | -0.19 ± 0.00 | -0.50 ± 0.00 | -0.22 ± 0.00 | -0.54 ± 0.00 | -0.08 ± 0.00 | -0.38 ± 0.01 | -0.14 ± 0.01 | -0.39 ± 0.01 | -|||||
| LLaMa-2 13B | -0.23 ± 0.00 | -0.53 ± 0.00 | -0.23 ± 0.00 | -0.54 ± 0.00 | -0.09 ± 0.00 | -0.39 ± 0.01 | -0.14 ± 0.01 | -0.40 ± 0.01 | -|||||
| LLaMa-2 7B | -0.18 ± 0.00 | -0.47 ± 0.00 | -0.21 ± 0.00 | -0.52 ± 0.00 | -0.07 ± 0.00 | -0.34 ± 0.00 | -0.11 ± 0.01 | -0.36 ± 0.01 | -|||||
| Vietcuna 7B | -0.15 ± 0.00 | -0.35 ± 0.00 | -0.03 ± 0.00 | -0.11 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -0.16 ± 0.00 | -|||||
| MixSUra 8x7B | -0.15 ± - | -0.51 ± - | -0.16 ± - | -0.52 ± - | -0.07 ± - | -0.37 ± - | -0.09 ± - | -0.36 ± - | -|||||
| GPT-3.5 | -0.33 ± 0.00 | -0.65 ± 0.00 | -0.33 ± 0.00 | -0.63 ± 0.00 | -0.16 ± 0.01 | -0.50 ± 0.01 | -0.24 ± 0.01 | -0.51 ± 0.00 | -|||||
| GPT-4 | -0.33 ± 0.00 | -0.66 ± 0.00 | -0.34 ± 0.00 | -0.65 ± 0.00 | -0.17 ± 0.01 | -0.51 ± 0.01 | -0.25 ± 0.01 | -0.53 ± 0.00 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].few_shot.translation %} + {% assign bleu_envi_best = 0 %} + {% assign bleu_vien_best = 0 %} + {% assign hlepor_envi_best = 0 %} + {% assign hlepor_vien_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m]["BLEU envi"] and dataset[1][m]["BLEU envi"] > bleu_envi_best %} + {% assign bleu_envi_best = dataset[1][m]["BLEU envi"] %} + {% endif %} + {% if dataset[1][m]["BLEU vien"] and dataset[1][m]["BLEU vien"] > bleu_vien_best %} + {% assign bleu_vien_best = dataset[1][m]["BLEU vien"] %} + {% endif %} + {% if dataset[1][m]["hLEPOR envi"] and dataset[1][m]["hLEPOR envi"] > hlepor_envi_best %} + {% assign hlepor_envi_best = dataset[1][m]["hLEPOR envi"] %} + {% endif %} + {% if dataset[1][m]["hLEPOR vien"] and dataset[1][m]["hLEPOR vien"] > hlepor_vien_best %} + {% assign hlepor_vien_best = dataset[1][m]["hLEPOR vien"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model]["BLEU envi"] %} + {{ dataset[1][model]["BLEU envi"] | round: 2 }} ± {{ dataset[1][model]["BLEU envi_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["BLEU vien"] %} + {{ dataset[1][model]["BLEU vien"] | round: 2 }} ± {{ dataset[1][model]["BLEU vien_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["hLEPOR envi"] %} + {{ dataset[1][model]["hLEPOR envi"] | round: 2 }} ± {{ dataset[1][model]["hLEPOR envi_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["hLEPOR vien"] %} + {{ dataset[1][model]["hLEPOR vien"] | round: 2 }} ± {{ dataset[1][model]["hLEPOR vien_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -XQuAD | -MLQA | ++ Models + | + {% for dataset in site.data.leaderboard[lang].medium_prompt.question_answering %} ++ {{ dataset[0] }} + | + {% endfor %}|||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | + {% for dataset in site.data.leaderboard[lang].medium_prompt.question_answering %} +EM↑ | +F1↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.08 ± 0.00 | -0.33 ± 0.00 | -0.07 ± 0.00 | -0.31 ± 0.00 | -|||
| URA-LLaMa 13B | -0.04 ± 0.00 | -0.21 ± 0.00 | -0.04 ± 0.00 | -0.19 ± 0.00 | -|||
| URA-LLaMa 7B | -0.01 ± 0.00 | -0.11 ± 0.00 | -0.01 ± 0.00 | -0.11 ± 0.00 | -|||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.09 ± 0.00 | -|||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.03 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | -|||
| MixSUra 8x7B | -0.01 ± - | -0.25 ± - | -0.00 ± - | -0.25 ± - | -|||
| + {{ model }} + | + {% for dataset in site.data.leaderboard[lang].medium_prompt.question_answering %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %} +|||||
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.35 ± 0.00 | -0.16 ± 0.00 | -0.24 ± 0.00 | --0.11 ± 0.00 | -0.12 ± 0.00 | -0.63 ± 0.00 | -5.43 ± 0.02 | -37.78 ± 0.47 | -0.33 ± 0.00 | -0.14 ± 0.00 | -0.22 ± 0.00 | --0.16± 0.00 | -0.24± 0.10 | -0.59 ± 0.01 | -4.62 ± 0.11 | -56.56 ± 1.70 | -
| URA-LLaMa 13B | -0.26 ± 0.00 | -0.12 ± 0.00 | -0.17 ± 0.00 | --0.09 ± 0.00 | --0.08 ± 0.18 | -0.46 ± 0.00 | -3.55 ± 0.04 | -47.75 ± 0.65 | -0.14 ± 0.00 | -0.05 ± 0.00 | -0.09 ± 0.00 | --0.16 ± 0.00 | --0.14 ± 0.12 | -0.26 ± 0.01 | -1.83 ± 0.06 | -60.10 ± 2.16 | -
| URA-LLaMa 7B | -0.41 ± 0.00 | -0.18 ± 0.00 | -0.27 ± 0.00 | --0.09 ± 0.00 | --0.08 ± 0.13 | -0.83 ± 0.00 | -8.13 ± 0.04 | -8.08 ± 0.17 | -0.42 ± 0.00 | -0.17 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.27 ± 0.21 | -0.84 ± 0.00 | -7.15 ± 0.08 | -8.08 ± 0.36 | -
| LLaMa-2 13B | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | --0.09 ± 0.00 | --0.19 ± 0.05 | -0.01 ± 0.00 | -0.01 ± 0.00 | -54.67 ± 0.16 | -0.03 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.16 ± 0.00 | --0.05 ± 0.03 | -0.02 ± 0.00 | -0.02 ± 0.00 | -42.55 ± 0.81 | -
| LLaMa-2 7B | -0.03 ± 0.00 | -0.01 ± 0.00 | -0.03 ± 0.00 | --0.09 ± 0.00 | --0.17 ± 0.03 | -0.04 ± 0.00 | -0.07 ± 0.00 | -23.86 ± 0.26 | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | --0.16 ± 0.00 | --0.04 ± 0.06 | -0.02 ± 0.00 | -0.03 ± 0.00 | -40.31 ± 0.88 | -
| MixSUra 8x7B | -0.06 ± - | -0.01 ± - | -0.04 ± - | -- ± - | --0.13 ± - | -0.10 ± - | -0.17 ± - | -9.03 ± - | -0.03 ± - | -0.00 ± - | -0.03 ± - | -- ± - | --0.01 ± - | -0.17 ± - | -0.26 ± - | -16.68 ± - | -
| Models | -AC ↑ | -F1 ↑ | -AR ↑ | -ECE ↓ | -A@10 ↑ | -||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Our 70B | -0.76 ± 0.02 | -0.76 ± 0.02 | -0.78 ± 0.01 | -0.14 ± 0.02 | -0.94 ± 0.04 | -||||||
| Our 13B | -0.62 ± 0.02 | -0.62 ± 0.02 | -0.61 ± 0.02 | -0.15 ± 0.02 | -0.67 ± 0.07 | -||||||
| Our 7B | -0.45 ± 0.02 | -0.36 ± 0.02 | -0.57 ± 0.02 | -0.10 ± 0.02 | -0.45 ± 0.07 | -||||||
| LLaMa-2 13B | -0.57 ± 0.02 | -0.57 ± 0.02 | -0.57 ± 0.02 | -0.29 ± 0.02 | -0.75 ± 0.07 | -||||||
| LLaMa-2 7B | -0.36 ± 0.02 | -0.27 ± 0.02 | -0.56 ± 0.02 | -0.37 ± 0.02 | -0.44 ± 0.07 | -||||||
| Vietcuna 7B | -0.26 ± 0.02 | -0.15 ± 0.01 | -0.50 ± 0.00 | -0.01 ± 0.01 | -0.26 ± 0.06 | ++ Models + | + {% for dataset in site.data.leaderboard[lang].randomized_choice.knowledge %} ++ {{ dataset[0] }} + | + {% endfor %}||||
| MixSUra 7B | -0.61 ± - | -0.61 ± - | -0.54 ± - | -0.31 ± - | -0.65 ± - | -||||||
| GPT-3.5 | -0.92 ± 0.01 | -0.74 ± 0.04 | -- | -0.67 ± 0.01 | -0.92 ± 0.04 | + {% for dataset in site.data.leaderboard[lang].randomized_choice.knowledge %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}|
| GPT-4 | -0.92 ± 0.01 | -0.74 ± 0.04 | -- | -0.67 ± 0.01 | -0.92 ± 0.04 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].randomized_choice.knowledge %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -mMARCO | -mRobust04 | -||||||
|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -|
| URA-LLaMa 70B | -- | - | - | - | - | - | - | - |
| URA-LLaMa 13B | -- | - | - | - | - | - | - | - |
| URA-LLaMa 7B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.07 ± 0.00 | -0.17 ± 0.00 | -- | -- | -- | -- | -
| LLaMa-2 13B | -0.06 ± 0.00 | -0.13 ± 0.00 | -0.19 ± 0.00 | -0.19 ± 0.00 | -- | - | - | - |
| LLaMa-2 7B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.08 ± 0.00 | -0.16 ± 0.00 | -- | -- | -- | -- | -
| Vietcuna 7B | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | -
| Models | -ZaloE2E | -ViMMRC | -|||||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.23 ± 0.00 | -0.37 ± 0.00 | -0.65 ± 0.00 | -0.53 ± 0.00 | -0.84 ± 0.00 | -0.11 ± 0.00 | -0.77 ± 0.00 | -
| URA-LLaMa 13B | -0.18 ± 0.00 | -0.30 ± 0.00 | -0.41 ± 0.00 | -0.34 ± 0.00 | -0.61 ± 0.00 | -0.22 ± 0.00 | -0.58 ± 0.00 | -
| URA-LLaMa 7B | -0.10 ± 0.00 | -0.18 ± 0.00 | -0.33 ± 0.02 | -0.28 ± 0.02 | -0.61 ± 0.01 | -0.19 ± 0.02 | -0.33 ± 0.06 | -
| LLaMa-2 13B | -0.13 ± 0.00 | -0.21 ± 0.00 | -0.39 ± 0.00 | -0.31 ± 0.00 | -0.56 ± 0.00 | -0.46 ± 0.00 | -0.33 ± 0.00 | -
| LLaMa-2 7B | -0.02 ± 0.00 | -0.05 ± 0.00 | -0.26 ± 0.01 | -0.20 ± 0.01 | -0.51 ± 0.01 | -0.46 ± 0.01 | -0.13 ± 0.03 | -
| Vietcuna 7B | -0.05 ± 0.00 | -0.15 ± 0.00 | -0.26 ± 0.01 | -0.14 ± 0.00 | -0.50 ± 0.00 | -0.01 ± 0.01 | -0.21 ± 0.07 | -
| MixSUra 8x7B | -0.13 ± - | -0.24 ± - | -0.57 ± - | -0.45 ± - | -0.53 ± - | -0.35 ± - | -0.58 ± - | -
| GPT-3.5 | -0.45 ± 0.01 | -0.61 ± 0.01 | -0.90 ± 0.01 | -0.72 ± 0.04 | -- | -0.65 ± 0.01 | -0.88 ± 0.07 | -
| GPT-4 | -0.44 ± 0.01 | -0.61 ± 0.01 | -0.91 ± 0.01 | -0.73 ± 0.07 | -- | -0.66 ± 0.07 | -0.88 ± 0.04 | -
| Models | -XQuAD | -MLQA | ++ Models + | + {% for dataset in site.data.leaderboard[lang].robustness_aware.question_answering %} ++ {{ dataset[0] }} + | + {% endfor %}|||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | + {% for dataset in site.data.leaderboard[lang].robustness_aware.question_answering %} +EM↑ | +F1↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.01 ± 0.00 | -0.17 ± 0.00 | -0.01 ± 0.00 | -0.18 ± 0.00 | -|||
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.09 ± 0.00 | -0.00 ± 0.00 | -0.10 ± 0.00 | -|||
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.09 ± 0.00 | -0.00 ± 0.00 | -0.10 ± 0.00 | -|||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | -|||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | -|||
| Vietcuna 7B | -0.00 ± 0.00 | -0.06 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -|||
| MixSUra 8x7B | -0.00 ± - | -0.11 ± - | -0.00 ± - | -0.12 ± - | -|||
| GPT-3.5 | -0.00 ± 0.00 | -0.19 ± 0.00 | -0.00 ± 0.00 | -0.20 ± 0.00 | -|||
| GPT-4 | -0.00 ± 0.00 | -0.24 ± 0.00 | -0.00 ± 0.00 | -0.25 ± 0.00 | -|||
| + {{ model }} + | + {% for dataset in site.data.leaderboard[lang].robustness_aware.question_answering %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %} +|||||
| Models | -VLSP 2016 | -UiT-VSFC | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.63 ± 0.01 | -0.48 ± 0.01 | -0.60 ± 0.01 | -0.09 ± 0.01 | -0.83 ± 0.04 | -0.71 ± 0.01 | -0.45 ± 0.01 | -0.80 ± 0.01 | -0.08 ± 0.01 | -0.99 ± 0.01 | -
| URA-LLaMa 13B | -0.55 ± 0.02 | -0.52 ± 0.02 | -0.59 ± 0.01 | -0.06 ± 0.01 | -0.74 ± 0.05 | -0.72 ± 0.01 | -0.44 ± 0.05 | -0.77 ± 0.01 | -0.18 ± 0.01 | -0.77 ± 0.02 | -
| URA-LLaMa 7B | -0.52 ± 0.02 | -0.36 ± 0.03 | -0.59 ± 0.01 | -0.07 ± 0.01 | -0.66 ± 0.05 | -0.73 ± 0.01 | -0.41 ± 0.01 | -0.71 ± 0.01 | -0.16 ± 0.01 | -0.87 ± 0.02 | -
| LLaMa-2 13B | -0.46 ± 0.02 | -0.30 ± 0.01 | -0.55 ± 0.01 | -0.39 ± 0.02 | -0.70 ± 0.05 | -0.66 ± 0.01 | -0.40 ± 0.01 | -0.63 ± 0.01 | -0.11 ± 0.01 | -0.89 ± 0.02 | -
| LLaMa-2 7B | -0.45 ± 0.02 | -0.36 ± 0.01 | -0.54 ± 0.01 | -0.20 ± 0.02 | -0.51 ± 0.05 | -0.51 ± 0.01 | -0.33 ± 0.01 | -0.65 ± 0.01 | -0.15 ± 0.01 | -0.80 ± 0.02 | -
| Vietcuna 7B | -0.44 ± 0.02 | -0.27 ± 0.01 | -0.51 ± 0.01 | -0.23 ± 0.02 | -0.53 ± 0.05 | -0.49 ± 0.01 | -0.25 ± 0.03 | -0.46 ± 0.01 | -0.33 ± 0.01 | -0.34 ± 0.03 | -
| MixSUra 8x7B | -0.59 ± - | -0.59 ± - | -0.55 ± - | -0.34 ± - | -0.52 ± - | -0.69 ± - | -0.44 ± - | -0.61 ± - | -0.29 ± - | -0.66 ± - | -
| GPT-3.5 | -0.64 ± 0.01 | -0.60 ± 0.01 | -- | -0.31 ± 0.01 | -0.54 ± 0.05 | -0.86 ± 0.01 | -0.71 ± 0.01 | -- | -0.53 ± 0.01 | -0.86 ± 0.02 | -
| GPT-4 | -0.74 ± 0.00 | -0.73 ± 0.00 | -- | -0.41 ± 0.00 | -0.71 ± 0.00 | -0.83 ± 0.00 | -0.70 ± 0.00 | -- | -0.50 ± 0.00 | -0.85 ± 0.00 | -
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.34 ± 0.00 | -0.15 ± 0.00 | -0.23 ± 0.00 | --0.06 ± 0.00 | --0.11 ± 0.18 | -0.10 ± 0.00 | -0.10 ± 0.00 | -39.63 ± 0.87 | -0.28 ± 0.00 | -0.11 ± 0.00 | -0.19 ± 0.00 | --0.16 ± 0.00 | -0.25 ± 0.23 | -0.50 ± 0.01 | -0.50 ± 0.01 | -167.42 ± 7.09 | -
| URA-LLaMa 13B | -0.35 ± 0.00 | -0.14 ± 0.00 | -0.23 ± 0.00 | --0.09 ± 0.00 | --0.07 ± 0.17 | -0.64 ± 0.00 | -0.65 ± 0.00 | -134.65 ± 3.76 | -0.20 ± 0.00 | -0.07 ± 0.00 | -0.13 ± 0.00 | --0.17 ± 0.00 | -0.20 ± 0.11 | -0.38 ± 0.00 | -0.38 ± 0.00 | -103.69 ± 3.33 | -
| URA-LLaMa 7B | -0.37 ± 0.00 | -0.12 ± 0.00 | -0.24 ± 0.00 | --0.10 ± 0.00 | --0.24 ± 0.18 | -0.65 ± 0.00 | -0.65 ± 0.00 | -17.92 ± 0.87 | -0.37 ± 0.00 | -0.12 ± 0.00 | -0.24 ± 0.00 | --0.17 ± 0.00 | -0.11 ± 0.18 | -0.65 ± 0.00 | -0.65 ± 0.00 | -20.49 ± 0.95 | -
| LLaMa-2 13B | -0.05 ± 0.00 | -0.01 ± 0.00 | -0.04 ± 0.00 | --0.15 ± 0.00 | --0.24 ± 0.18 | -0.03 ± 0.00 | -0.03 ± 0.00 | -55.91 ± 0.65 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.17 ± 0.00 | -0.09 ± 0.00 | -0.05 ± 0.00 | -0.05 ± 0.00 | -66.85 ± 6.72 | -
| LLaMa-2 7B | -0.05 ± 0.00 | -0.01 ± 0.00 | -0.05 ± 0.00 | --0.10 ± 0.00 | --0.19 ± 0.04 | -0.07 ± 0.00 | -0.07 ± 0.00 | -55.29 ± 0.88 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.04 ± 0.00 | --0.17 ± 0.00 | -0.15 ± 0.00 | -0.06 ± 0.00 | -0.06 ± 0.00 | -58.32 ± 3.32 | -
| Vietcuna 7B | -0.03 ± 0.00 | -0.01 ± 0.00 | -0.02 ± 0.00 | --0.10 ± 0.00 | --0.18 ± 0.06 | -0.91 ± 0.00 | -0.91 ± 0.00 | -1026.61 ± 3.86 | -0.08 ± 0.00 | -0.02 ± 0.00 | -0.05 ± 0.00 | --0.17 ± 0.00 | --0.19 ± 0.05 | -0.78 ± 0.00 | -0.78 ± 0.00 | -505.45 ± 8.64 | -
| MixSUra 8x7B | -0.41 ± - | -0.19 ± - | -0.26 ± - | -- ± - | --0.03 ± - | -0.86 ± - | -0.87 ± - | -29.15 ± - | -0.46 ± - | -0.21 ± - | -0.28 ± - | -- ± - | -0.26 ± - | -0.88 ± - | -0.98 ± - | -19.10 ± - | -
| GPT-3.5 | -0.34 ± 0.00 | -0.19 ± 0.00 | -0.23 ± 0.00 | --0.10 ± 0.00 | -0.05 ± 0.14 | -0.81 ± 0.00 | -0.81 ± 0.00 | -128.44 ± 2.94 | -0.39 ± 0.00 | -0.19 ± 0.00 | -0.25 ± 0.00 | --0.17 ± 0.00 | -0.28 ± 0.11 | -0.82 ± 0.00 | -0.82 ± 0.00 | -200.90 ± 7.40 | -
| GPT-4 | -0.39 ± 0.00 | -0.21 ± 0.00 | -0.26 ± 0.00 | --0.10 ± 0.09 | -0.04 ± 0.00 | -0.83 ± 0.00 | -0.83 ± 0.71 | -24.48 ± 0.00 | -0.45 ± 0.00 | -0.20 ± 0.00 | -0.27 ± 0.00 | --0.17 ± 0.00 | -0.28 ± 0.00 | -0.80 ± 0.03 | -0.81 ± 0.00 | -20.40 ± 1.59 | -
| Models | -UiT-VSMEC | -PhoATIS | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.25 ± 0.00 | -0.16 ± 0.00 | -0.56 ± 0.02 | -0.20 ± 0.00 | -0.33 ± 0.00 | -0.16 ± 0.02 | -0.26 ± 0.03 | -0.79 ± 0.00 | -0.79 ± 0.02 | -0.08 ± 0.06 | -
| URA-LLaMa 13B | -0.30 ± 0.00 | -0.11 ± 0.00 | -0.51 ± 0.01 | -0.26 ± 0.00 | -0.44 ± 0.00 | -0.01 ± 0.01 | -0.05 ± 0.01 | -0.47 ± 0.01 | -0.84 ± 0.01 | -0.00 ± 0.04 | -
| URA-LLaMa 7B | -0.29 ± 0.00 | -0.10 ± 0.00 | -0.57 ± 0.01 | -0.17 ± 0.00 | -0.30 ± 0.00 | -0.02 ± 0.01 | -0.04 ± 0.00 | -0.55 ± 0.01 | -0.18 ± 0.01 | -0.01 ± 0.02 | -
| LLaMa-2 13B | -0.19 ± 0.00 | -0.07 ± 0.00 | -0.52 ± 0.01 | -0.47 ± 0.00 | -0.43 ± 0.00 | -0.02 ± 0.00 | -0.06 ± 0.00 | -0.57 ± 0.01 | -0.91 ± 0.00 | -0.01 ± 0.00 | -
| LLaMa-2 7B | -0.17 ± 0.00 | -0.10 ± 0.00 | -0.55 ± 0.00 | -0.33 ± 0.00 | -0.29 ± 0.00 | -0.01 ± 0.01 | -0.00 ± 0.00 | -0.56 ± 0.00 | -0.69 ± 0.01 | -0.02 ± 0.02 | -
| Vietcuna 7B | -0.09 ± 0.00 | -0.09 ± 0.00 | -0.51 ± 0.01 | -0.91 ± 0.00 | -0.09 ± 0.00 | -0.02 ± 0.01 | -0.01 ± 0.00 | -0.55 ± 0.01 | -0.23 ± 0.01 | -0.02 ± 0.01 | -
| MixSUra 8x7B | -0.35 ± - | -0.27 ± - | -0.70 ± - | -0.58 ± - | -0.70 ± - | -0.80 ± - | -55 ± - | -0.94 ± - | -0.15 ± - | -0.88 ± - | -
| GPT-3.5 | -0.42 ± 0.00 | -0.41 ± 0.00 | -- | -0.28 ± 0.00 | -0.30 ± 0.00 | -0.68 ± 0.02 | -0.64 ± 0.03 | -- | -0.62 ± 0.02 | -0.70 ± 0.05 | -
| GPT-4 | -0.48 ± 0.00 | -0.45 ± 0.00 | -- | -0.33 ± 0.00 | -0.40 ± 0.00 | -0.86 ± 0.01 | -0.80 ± 0.02 | -- | -0.80 ± 0.01 | -0.91 ± 0.03 | -
| Models | -UiT-ViCTSD | -UiT-ViHSD | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.32 ± 0.00 | -0.21 ± 0.00 | -0.72 ± 0.01 | -0.62 ± 0.00 | -0.33 ± 0.00 | -0.14 ± 0.00 | -0.12 ± 0.00 | -0.64 ± 0.02 | -0.61 ± 0.00 | -0.23 ± 0.00 | -
| URA-LLaMa 13B | -0.27 ± 0.00 | -0.26 ± 0.00 | -0.56 ± 0.00 | -0.56 ± 0.00 | -0.12 ± 0.00 | -0.18 ± 0.00 | -0.11 ± 0.00 | -0.57 ± 0.01 | -0.45 ± 0.00 | -0.20 ± 0.00 | -
| URA-LLaMa 7B | -0.22 ± 0.00 | -0.21 ± 0.00 | -0.63 ± 0.00 | -0.39 ± 0.00 | -0.36 ± 0.00 | -0.12 ± 0.00 | -0.07 ± 0.00 | -0.62 ± 0.00 | -0.38 ± 0.00 | -0.19 ± 0.00 | -
| LLaMa-2 13B | -0.12 ± 0.00 | -0.11 ± 0.00 | -0.56 ± 0.01 | -0.66 ± 0.00 | -0.12 ± 0.00 | -0.10 ± 0.00 | -0.07 ± 0.00 | -0.59 ± 0.01 | -0.62 ± 0.00 | -0.24 ± 0.00 | -
| LLaMa-2 7B | -0.04 ± 0.00 | -0.04 ± 0.00 | -0.62 ± 0.00 | -0.86 ± 0.00 | -0.02 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.54 ± 0.00 | -0.79 ± 0.00 | -0.00 ± 0.00 | -
| Vietcuna 7B | -0.11 ± 0.00 | -0.11 ± 0.00 | -0.54 ± 0.00 | -0.39 ± 0.00 | -0.13 ± 0.00 | -0.09 ± 0.00 | -0.05 ± 0.00 | -0.5 ± 0.00 | -0.24 ± 0.00 | -0.08 ± 0.00 | -
| MixSUra 8x7B | -0.72 ± - | -0.39 ± - | -- ± - | -0.25 ± - | -0.81 ± - | -0.66 ± - | -0.31 ± - | -0.67 ± - | -0.21 ± - | -0.82 ± - | -
| GPT-3.5 | -0.51 ± 0.00 | -0.46 ± 0.00 | -0.5 ± 0.00 | -0.01 ± 0.00 | -0.54 ± 0.00 | -0.64 ± 0.00 | -0.47 ± 0.00 | -- ± - | -0.30 ± 0.00 | -0.63 ± 0.00 | -
| GPT-4 | -0.88 ± 0.00 | -0.71 ± 0.00 | -- ± - | -0.38 ± 0.00 | -0.88 ± 0.00 | -0.78 ± 0.00 | -0.56 ± 0.00 | -- ± - | -0.44 ± 0.00 | -0.78 ± 0.00 | -
| Models | -PhoMT | -OPUS100 | -||||||
|---|---|---|---|---|---|---|---|---|
| (En → Vi) | -(Vi → En) | -(En → Vi) | -(Vi → En) | -(En → Vi) | -(Vi → En) | -(En → Vi) | -(Vi → En) | -|
| URA-LLaMa 70B | -0.25 ± 0.00 | -0.58 ± 0.00 | -0.11 ± 0.00 | -0.51 ± 0.00 | -0.05 ± 0.00 | -0.40 ± 0.01 | -0.06 ± 0.00 | -0.36 ± 0.00 | -
| URA-LLaMa 13B | -0.23 ± 0.00 | -0.55 ± 0.00 | -0.10 ± 0.00 | -0.50 ± 0.00 | -0.03 ± 0.00 | -0.38 ± 0.01 | -0.05 ± 0.00 | -0.38 ± 0.00 | -
| URA-LLaMa 7B | -0.15 ± 0.00 | -0.48 ± 0.00 | -0.06 ± 0.00 | -0.46 ± 0.00 | -0.02 ± 0.00 | -0.35 ± 0.00 | -0.03 ± 0.00 | -0.34 ± 0.01 | -
| LLaMa-2 13B | -0.20 ± 0.00 | -0.51 ± 0.00 | -0.07 ± 0.00 | -0.44 ± 0.00 | -0.03 ± 0.00 | -0.36 ± 0.01 | -0.04 ± 0.00 | -0.32 ± 0.00 | -
| LLaMa-2 7B | -0.13 ± 0.00 | -0.41 ± 0.00 | -0.05 ± 0.00 | -0.42 ± 0.00 | -0.02 ± 0.00 | -0.31 ± 0.00 | -0.03 ± 0.00 | -0.30 ± 0.00 | -
| Vietcuna 7B | -0.17 ± 0.00 | -0.43 ± 0.00 | -0.07 ± 0.01 | -0.41 ± 0.00 | -0.09 ± 0.01 | -0.38 ± 0.01 | -0.09 ± 0.01 | -0.33 ± 0.00 | -
| MixSUra 8x7B | -0.14 ± - | -0.50 ± - | -0.11 ± - | -0.46 ± - | -0.06 ± - | -0.36 ± - | -0.06 ± - | -0.31 ± - | -
| GPT-3.5 | -0.31 ± 0.00 | -0.64 ± 0.00 | -0.17 ± 0.00 | -0.59 ± 0.00 | -0.15 ± 0.01 | -0.49 ± 0.01 | -0.21 ± 0.01 | -0.48 ± 0.00 | -
| GPT-4 | -0.31 ± 0.00 | -0.65 ± 0.00 | -0.20 ± 0.00 | -0.62 ± 0.00 | -0.16 ± 0.01 | -0.50 ± 0.01 | -0.23 ± 0.01 | -0.51 ± 0.00 | -
| Models | -XQuAD | -MLQA | -||
|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | -|
| URA-LLaMa 70B | -0.21 ± 0.01 | -0.47 ± 0.01 | -0.14 ± 0.01 | -0.41 ± 0.00 | -
| URA-LLaMa 13B | -0.22 ± 0.01 | -0.43 ± 0.01 | -0.17 ± 0.01 | -0.40 ± 0.01 | -
| URA-LLaMa 7B | -0.13 ± 0.00 | -0.32 ± 0.00 | -0.10 ± 0.00 | -0.32 ± 0.00 | -
| LLaMa-2 13B | -0.04 ± 0.00 | -0.28 ± 0.00 | -0.04 ± 0.00 | -0.28 ± 0.00 | -
| LLaMa-2 7B | -0.06 ± 0.00 | -0.24 ± 0.00 | -0.05 ± 0.00 | -0.24 ± 0.00 | -
| MixSUra 8x7b | -0.13 ±- | -0.38 ± - | -0.09 ± - | -0.36 ± - | -
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.49 ± 0.00 | -0.23 ± 0.00 | -0.31 ± 0.00 | --0.08 ± 0.00 | -0.05 ± 0.11 | -0.89 ± 0.00 | -8.90 ± 0.03 | -18.48 ± 0.59 | -0.47 ± 0.00 | -0.20 ± 0.00 | -0.29 ± 0.00 | --0.16 ± 0.00 | -0.19 ± 0.13 | -0.86 ± 0.00 | -6.83 ± 0.09 | -25.30 ± 1.86 | -
| URA-LLaMa 13B | -0.27 ± 0.00 | -0.12 ± 0.00 | -0.18 ± 0.00 | --0.09 ± 0.00 | -0.05 ± 0.11 | -0.56 ± 0.00 | -5.00 ± 0.04 | -153.55 ± 0.99 | -0.22 ± 0.00 | -0.09 ± 0.00 | -0.14 ± 0.00 | --0.16 ± 0.00 | -0.20 ± 0.007 | -0.48 ± 0.00 | -3.49 ± 0.04 | -190.09 ± 4.92 | -
| URA-LLaMa 7B | -0.45 ± 0.00 | -0.21 ± 0.00 | -0.29 ± 0.00 | --0.08 ± 0.00 | -0.03 ± 0.09 | -0.91 ± 0.00 | -9.43 ± 0.03 | -6.42 ± 0.05 | -0.42 ± 0.00 | -0.18 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.07 ± 0.12 | -0.89 ± 0.00 | -7.58 ± 0.05 | -7.14 ± 0.14 | -
| LLaMa-2 13B | -0.45 ± 0.00 | -0.22 ± 0.00 | -0.29 ± 0.00 | --0.09 ± 0.00 | -0.00 ± 0.14 | -0.92 ± 0.00 | -9.49 ± 0.02 | -8.46 ± 0.29 | -0.47 ± 0.00 | -0.22 ± 0.00 | -0.29 ± 0.00 | --0.16 ± 0.00 | -0.34 ± 0.12 | -0.92 ± 0.00 | -9.39 ± 0.05 | -17.94 ± 2.84 | -
| LLaMa-2 7B | -0.36 ± 0.00 | -0.17 ± 0.00 | -0.23 ± 0.00 | --0.09 ± 0.00 | --0.15 ± 0.12 | -0.69 ± 0.00 | -6.35 ± 0.03 | -7.59 ± 0.21 | -0.45 ± 0.00 | -0.20 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.36 ± 0.00 | -0.83 ± 0.00 | -7.71 ± 0.07 | -12.39 ± 1.46 | -
| MixSUra 8x7B | -0.44 ± - | -0.22 ± - | -0.29 ± - | -- ± - | -0.07 ± - | -0.97 ± - | -35.67 ± - | -9.43 ± - | -0.47 ± - | -0.22 ± - | -0.29 ± - | -- ± - | -0.19 ± - | -0.97 ± - | -28.97 ± - | -10.27 ± - | -
| Models | -mMARCO | -mRobust04 | -||||||
|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -|
| URA-LLaMa 70B | -- | -- | -- | -- | -- | -- | -- | -- | -
| URA-LLaMa 13B | -- | -- | -- | -- | -- | -- | -- | -- | -
| URA-LLaMa 7B | -0.06 ± 0.00 | -0.14 ± 0.00 | -0.09 ± 0.00 | -0.21 ± 0.00 | -- | -- | -- | -- | -
| LLaMa-2 13B | -- | -- | -- | -- | -- | -- | -- | -- | -
| LLaMa-2 7B | -0.06 ± 0.00 | -0.11 ± 0.00 | -0.08 ± 0.00 | -0.17 ± 0.00 | -- | -- | -- | -- | -
| Vietcuna 7B | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | -
| Models | -ZaloE2E | -ViMMRC | -|||||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.28 ± 0.02 | -0.44 ± 0.02 | -0.80 ± 0.02 | -0.80 ± 0.02 | -0.85 ± 0.01 | -0.10 ± 0.02 | -0.96 ± 0.03 | -
| URA-LLaMa 13B | -0.12 ± 0.01 | -0.22 ± 0.01 | -0.40 ± 0.02 | -0.31 ± 0.02 | -0.57 ± 0.02 | -0.48 ± 0.02 | -0.42 ± 0.08 | -
| URA-LLaMa 7B | -0.09 ± 0.01 | -0.20 ± 0.02 | -0.30 ± 0.02 | -0.10 ± 0.01 | -0.56 ± 0.02 | -0.27 ± 0.02 | -0.56 ± 0.07 | -
| LLaMa-2 13B | -0.06 ± 0.01 | -0.10 ± 0.01 | -0.52 ± 0.02 | -0.41 ± 0.02 | -0.64 ± 0.02 | -0.33 ± 0.02 | -0.73 ± 0.07 | -
| LLaMa-2 7B | -0.03 ± 0.01 | -0.07 ± 0.01 | -0.37 ± 0.02 | -0.25 ± 0.02 | -0.51 ± 0.02 | -0.35 ± 0.02 | -0.29 ± 0.06 | -
| Vietcuna 7B | -0.03 ± 0.01 | -0.06 ± 0.01 | -0.32 ± 0.02 | -0.22 ± 0.02 | -0.50 ± 0.00 | -0.07 ± 0.02 | -0.33 ± 0.07 | -
| GPT-3.5 | -0.37 ± 0.02 | -0.56 ± 0.02 | -0.90 ± 0.01 | -0.72 ± 0.01 | -- | -0.65 ± 0.01 | -0.90 ± 0.04 | -
| GPT-4 | -0.38 ± 0.02 | -0.55 ± 0.02 | -0.92 ± 0.01 | -0.73 ± 0.06 | -- | -0.67 ± 0.01 | -0.90 ± 0.04 | -
| Models | -MLQA-MLM | -VSEC | -||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -|
| URA-LLaMa 70B | -0.00 ± 0.00 | -0.50 ± 0.01 | -0.64 ± 0.01 | -519.09 ± 10.96 | -115.82 ± 2.45 | -1.08 ± 0.01 | -0.00 ± 0.00 | -0.88 ± 0.00 | -1.01 ± 0.00 | -113.51 ± 0.57 | -29.91 ± 0.15 | -1.09 ± 0.00 | -
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.67 ± 0.00 | -0.78 ± 0.00 | -697.85 ± 11.62 | -161.34 ± 2.64 | -1.16 ± 0.02 | -0.01 ± 0.00 | -0.42 ± 0.01 | -0.56 ± 0.01 | -54.88 ± 0.77 | -14.50 ± 0.19 | -1.26 ± 0.00 | -
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.73 ± 0.00 | -0.88 ± 0.01 | -684.00 ± 13.18 | -166.87 ± 3.18 | -1.25 ± 0.01 | -0.01 ± 0.00 | -3.33 ± 0.04 | -3.14 ± 0.03 | -420.34 ± 5.66 | -85.79 ± 0.96 | -1.33 ± 0.00 | -
| LLaMa-2 13B | -0.00 ± 0.00 | -0.90 ± 0.00 | -1.00 ± 0.00 | -881.97 ± 11.23 | -208.52 ± 2.52 | -1.10 ± 0.01 | -0.00 ± 0.00 | -1.32 ± 0.01 | -1.40 ± 0.01 | -160.06 ± 1.16 | -38.12 ± 0.23 | -1.11 ± 0.00 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.95 ± 0.00 | -1.07 ± 0.01 | -860.42 ± 13.18 | -210.21 ± 3.18 | -1.25 ± 0.01 | -0.00 ± 0.00 | -1.54 ± 0.04 | -1.55 ± 0.03 | -171.28 ± 5.66 | -40.18 ± 0.96 | -1.14 ± 0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -1.00 ± 0.00 | -1.00 ± 0.00 | -951.53 ± 12.37 | -208.57 ± 2.73 | -1.48 ± 0.01 | -0.01 ± 0.00 | -1.11 ± 0.01 | -1.20 ± 0.01 | -139.90 ± 1.39 | -33.94 ± 0.33 | -1.61 ± 0.00 | -
| GPT-3.5 | -0.00 ± 0.00 | -0.34 ± 0.01 | -0.50 ± 0.01 | -422.30 ± 10.79 | -100.33 ± 2.44 | -- | -0.02 ± 0.00 | -0.16 ± 0.00 | -0.30 ± 0.00 | -12.63 ± 0.34 | -3.48 ± 0.09 | -- | -
| GPT-4 | -0.04 ± 0.00 | -0.40 ± 0.01 | -0.45 ± 0.01 | -381.88 ± 10.26 | -93.34 ± 2.39 | -- | -0.60 ± 0.01 | -0.14 ± 0.00 | -0.26 ± 0.00 | -13.58 ± 0.45 | -3.67 ± 0.12 | -- | -
| Models | -XQuAD | -MLQA | -||
|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | -|
| URA-LLaMa 70B | -0.06 ± 0.00 | -0.30 ± 0.00 | -0.04 ± 0.00 | -0.28 ± 0.00 | -
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.14 ± 0.00 | -0.00 ± 0.00 | -0.15 ± 0.00 | -
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.14 ± 0.00 | -0.00 ± 0.00 | -0.16 ± 0.00 | -
| LLaMa-2 13B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.02 | -0.05 ± 0.00 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.05 ± 0.00 | -0.00 ± 0.00 | -0.06 ± 0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -
| GPT-3.5 | -0.00 ± 0.00 | -0.24 ± 0.00 | -0.00 ± 0.00 | -0.25 ± 0.00 | -
| GPT-4 | -0.00 ± 0.00 | -0.27 ± 0.00 | -0.00 ± 0.00 | -0.27 ± 0.00 | -
| Models | -SR - Natural | -SR - Abstract symbol | -MATH | ++ Models + | + {% for dataset in site.data.leaderboard[lang].zero_shot.reasoning %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | + {% for dataset in site.data.leaderboard[lang].zero_shot.reasoning %} +EM↑ | +F1↑ | +Equ↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.06 ± 0.00 | -0.34 ± 0.00 | -0.06 ± 0.00 | -0.02 ± 0.00 | -0.24 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.24 ± 0.02 | -||||
| URA-LLaMa 13B | -0.01 ± 0.00 | -0.31 ± 0.00 | -0.02 ± 0.00 | -0.02 ± 0.00 | -0.24 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.14 ± 0.02 | -||||
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.26 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.17 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.01 | -||||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.06 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | -0.19 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.16 ± 0.02 | -||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.06 ± 0.01 | -||||
| Vietcuna 7B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -||||
| GPT-3.5 | -0.21 ± 0.00 | -0.59 ± 0.00 | -0.32 ± 0.00 | -0.09 ± 0.00 | -0.28 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.72 ± 0.02 | -||||
| GPT-4 | -0.21 ± 0.00 | -0.59 ± 0.00 | -0.32 ± 0.00 | -0.09 ± 0.00 | -0.28 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.76 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].zero_shot.reasoning %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% assign Equ_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m]["Equ"] and dataset[1][m]["Equ"] > Equ_best %} + {% assign Equ_best = dataset[1][m]["Equ"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["Equ"] %} + {{ dataset[1][model]["Equ"] | round: 2 }} ± {{ dataset[1][model]["Equ_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -VLSP 2016 | -UiT-VSFC | ++ Models + | + {% for dataset in site.data.leaderboard[lang].zero_shot.sentiment_analysis %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | + {% for dataset in site.data.leaderboard[lang].zero_shot.sentiment_analysis %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.63 ± 0.02 | -0.63 ± 0.02 | -0.74 ± 0.01 | -0.15 ± 0.01 | -0.87 ± 0.03 | -0.64 ± 0.01 | -0.54 ± 0.01 | -0.85 ± 0.01 | -0.14 ± 0.00 | -0.98 ± 0.01 | -||||||
| URA-LLaMa 13B | -0.52 ± 0.02 | -0.35 ± 0.01 | -0.60 ± 0.01 | -0.10 ± 0.01 | -0.64 ± 0.05 | -0.70 ± 0.01 | -0.40 ± 0.01 | -0.72 ± 0.01 | -0.23 ± 0.01 | -0.95 ± 0.01 | -||||||
| URA-LLaMa 7B | -0.35 ± 0.02 | -0.24 ± 0.01 | -0.54 ± 0.01 | -0.24 ± 0.01 | -0.31 ± 0.05 | -0.27 ± 0.01 | -0.18 ± 0.00 | -0.52 ± 0.01 | -0.37 ± 0.01 | -0.03 ± 0.01 | -||||||
| LLaMa-2 13B | -0.25 ± 0.01 | -0.25 ± 0.01 | -0.49 ± 0.01 | -0.39 ± 0.01 | -0.29 ± 0.05 | -0.29 ± 0.01 | -0.24 ± 0.01 | -0.52 ± 0.01 | -0.42 ± 0.01 | -0.30 ± 0.03 | -||||||
| LLaMa-2 7B | -0.15 ± 0.01 | -0.15 ± 0.01 | -0.58 ± 0.01 | -0.73 ± 0.01 | -0.12 ± 0.03 | -0.04 ± 0.00 | -0.06 ± 0.01 | -0.49 ± 0.01 | -0.79 ± 0.00 | -0.01 ± 0.01 | -||||||
| Vietcuna 7B | -0.11 ± 0.01 | -0.12 ± 0.01 | -0.49 ± 0.01 | -0.68 ± 0.01 | -0.11 ± 0.03 | -0.05 ± 0.00 | -0.06 ± 0.00 | -0.56 ± 0.01 | -0.73 ± 0.00 | -0.05 ± 0.01 | -||||||
| MixSUra 8x7B | -0.45 ± - | -0.30 ± - | -0.62 ± - | -0.50 ± - | -0.49 ± - | -0.55 ± - | -0.40 ± - | -0.66 ± - | -0.41 ± - | -0.60 ± - | -||||||
| Gemini Pro | -0.64 ± - | -0.47 ± - | -- | -0.31 ± - | -0.53 ± - | -0.76 ± - | -0.49 ± - | -- | -0.43 ± - | -0.77 ± - | -||||||
| GPT-3.5 | -0.62 ± 0.02 | -0.56 ± 0.01 | -- | -0.29 ± 0.02 | -0.62 ± 0.05 | -0.81 ± 0.31 | -0.68 ± 0.31 | -- | -0.48 ± 0.01 | -0.83 ± 0.02 | -||||||
| GPT-4 | -0.71 ± 0.01 | -0.68 ± 0.01 | -- | -0.37 ± 0.01 | -0.70 ± 0.04 | -0.80 ± 0.01 | -0.67 ± 0.01 | -- | -0.47 ± 0.01 | -0.85 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].zero_shot.sentiment_analysis %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.42 ± 0.17 | -0.21 ± 0.12 | -0.28 ± 0.00 | --0.11 ± 0.00 | -0.03 ± 0.19 | -0.85 ± 0.00 | -14.59 ± 0.05 | -17.21 ± 0.33 | -0.37 ± 0.00 | -0.16 ± 0.00 | -0.24 ± 0.00 | --0.22 ± 0.00 | -0.26 ± 0.16 | -0.17 ± 0.00 | -0.22 ± 0.00 | -22.24 ± 0.97 | -
| URA-LLaMa 13B | -0.38 ± 0.00 | -0.18 ± 0.00 | -0.25 ± 0.00 | --0.09 ± 0.00 | -0.01 ± 0.18 | -0.71 ± 0.00 | -6.01 ± 0.07 | -24.27 ± 0.61 | -0.22 ± 0.00 | -0.08 ± 0.00 | -0.14 ± 0.00 | --0.16 ± 0.00 | --0.13 ± 0.12 | -0.42 ± 0.01 | -3.06 ± 0.10 | -49.58 ± 1.16 | -
| URA-LLaMa 7B | -0.38 ± 0.00 | -0.14 ± 0.00 | -0.25 ± 0.00 | --0.09 ± 0.00 | -0.04 ± 0.12 | -0.65 ± 0.00 | -4.88 ± 0.03 | -7.77 ± 0.05 | -0.40 ± 0.00 | -0.15 ± 0.00 | -0.26 ± 0.00 | --0.16 ± 0.00 | -0.19 ± 0.07 | -0.73 ± 0.00 | -4.79 ± 0.07 | -6.22 ± 0.07 | -
| LLaMa-2 13B | -0.06 ± 0.00 | -0.02 ± 0.00 | -0.04 ± 0.00 | --0.09 ± 0.00 | --0.18 ± 0.04 | -0.07 ± 0.00 | -0.43 ± 0.01 | -28.25 ± 0.24 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.16 ± 0.00 | --0.11 ± 0.08 | -0.03 ± 0.00 | -0.07 ± 0.01 | -19.55 ± 0.51 | -
| LLaMa-2 7B | -0.06 ± 0.00 | -0.01 ± 0.00 | -0.05 ± 0.00 | --0.09 ± 0.00 | --0.23 ± 0.04 | -0.06 ± 0.00 | -0.21 ± 0.00 | -15.75 ± 0.20 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.16 ± 0.00 | --0.14 ± 0.07 | -0.03 ± 0.00 | -0.06 ± 0.00 | -17.84 ± 0.50 | -
| Vietcuna 7B | -0.28 ± 0.00 | -0.06 ± 0.00 | -0.18 ± 0.00 | --0.09 ± 0.00 | --0.09 ± 0.09 | -0.31 ± 0.00 | -0.80 ± 0.01 | -171.63 ± 1.71 | -0.24 ± 0.00 | -0.06 ± 0.00 | -0.15 ± 0.00 | --0.16 ± 0.00 | --0.18 ± 0.07 | -0.51 ± 0.01 | -1.16 ± 0.01 | -238.67 ± 3.37 | -
| GPT-3.5 | -0.36 ± 0.00 | -0.20 ± 0.00 | -0.24 ± 0.00 | --0.09 ± 0.00 | -0.04 ± 0.13 | -0.86 ± 0.00 | -3.97 ± 0.02 | -13.32 ± 0.65 | -0.43 ± 0.00 | -0.21 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.22 ± 0.03 | -0.87 ± 0.00 | -3.29 ± 0.03 | -35.50 ± 0.82 | -
| GPT-4 | -0.41 ± 0.00 | -0.21 ± 0.00 | -0.26 ± 0.00 | --0.08 ± 0.00 | --0.04 ± 0.11 | -0.84 ± 0.00 | -3.45 ± 0.00 | -15.43 ± 0.49 | -0.44 ± 0.00 | -0.21 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.24 ± 0.04 | -0.82 ± 0.00 | -2.37 ± 0.01 | -6.61 ± 0.16 | -
| Models | -UiT-VSMEC | -PhoATIS | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.40 ± 0.02 | -0.32 ± 0.02 | -0.68 ± 0.01 | -0.14 ± 0.02 | -0.60 ± 0.06 | -0.56 ± 0.02 | -0.48 ± 0.03 | -0.85 ± 0.00 | -0.25 ± 0.02 | -0.56 ± 0.06 | -
| URA-LLaMa 13B | -0.29 ± 0.02 | -0.25 ± 0.02 | -0.52 ± 0.01 | -0.09 ± 0.01 | -0.23 ± 0.05 | -0.10 ± 0.01 | -0.10 ± 0.01 | -0.72 ± 0.00 | -0.52 ± 0.01 | -0.14 ± 0.04 | -
| URA-LLaMa 7B | -0.13 ± 0.01 | -0.11 ± 0.01 | -0.50 ± 0.01 | -0.15 ± 0.01 | -0.21 ± 0.05 | -0.04 ± 0.01 | -0.04 ± 0.02 | -0.77 ± 0.00 | -0.30 ± 0.01 | -0.04 ± 0.02 | -
| LLaMa-2 13B | -0.11 ± 0.01 | -0.10 ± 0.01 | -0.49 ± 0.01 | -0.31 ± 0.01 | -0.09 ± 0.04 | -0.03 ± 0.01 | -0.02 ± 0.00 | -0.45 ± 0.01 | -0.28 ± 0.01 | -0.03 ± 0.02 | -
| LLaMa-2 7B | -0.07 ± 0.01 | -0.08 ± 0.01 | -0.52 ± 0.01 | -0.35 ± 0.01 | -0.07 ± 0.03 | -0.00 ± 0.06 | -0.00 ± 0.06 | -0.61 ± 0.01 | -0.32 ± 0.00 | -0.00 ± 0.00 | -
| Vietcuna 7B | -0.05 ± 0.01 | -0.02 ± 0.01 | -0.52 ± 0.01 | -0.95 ± 0.01 | -0.03 ± 0.02 | -0.05 ± 0.01 | -0.01 ± 0.00 | -0.66 ± 0.00 | -0.20 ± 0.01 | -0.01 ± 0.21 | -
| GPT-3.5 | -0.43 ± 0.02 | -0.37 ± 0.02 | -- | -0.29 ± 0.02 | -0.43 ± 0.06 | -0.44 ± 0.02 | -0.38 ± 0.03 | -- | -0.38 ± 0.02 | -0.44 ± 0.05 | -
| GPT-4 | -0.49 ± 0.02 | -0.46 ± 0.02 | -- | -0.35 ± 0.02 | -0.50 ± 0.06 | -0.89 ± 0.01 | -0.69 ± 0.02 | -- | -0.83 ± 0.01 | -0.89 ± 0.03 | -
| Models | -UiT-ViCTSD | -UiT-ViHSD | ++ Models + | + {% for dataset in site.data.leaderboard[lang].zero_shot.toxicity_detection %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | + {% for dataset in site.data.leaderboard[lang].zero_shot.toxicity_detection %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.61 ± 0.01 | -0.52 ± 0.01 | -0.77 ± 0.01 | -0.17 ± 0.01 | -0.97 ± 0.01 | -0.38 ± 0.01 | -0.34 ± 0.01 | -0.74 ± 0.01 | -0.25 ± 0.01 | -0.91 ± 0.01 | -||||||
| URA-LLaMa 13B | -0.46 ± 0.01 | -0.28 ± 0.03 | -0.53 ± 0.02 | -0.22 ± 0.01 | -0.48 ± 0.03 | -0.33 ± 0.01 | -0.18 ± 0.00 | -0.60 ± 0.01 | -0.35 ± 0.01 | -0.54 ± 0.02 | -||||||
| URA-LLaMa 7B | -0.25 ± 0.01 | -0.19 ± 0.01 | -0.53 ± 0.01 | -0.38 ± 0.01 | -0.13 ± 0.02 | -0.19 ± 0.00 | -0.13 ± 0.00 | -0.55 ± 0.01 | -0.46 ± 0.01 | -0.13 ± 0.01 | -||||||
| LLaMa-2 13B | -0.16 ± 0.01 | -0.14 ± 0.00 | -0.40 ± 0.01 | -0.50 ± 0.01 | -0.24 ± 0.02 | -0.09 ± 0.00 | -0.13 ± 0.00 | -0.38 ± 0.01 | -0.63 ± 0.00 | -0.10 ± 0.01 | -||||||
| LLaMa-2 7B | -0.13 ± 0.01 | -0.14 ± 0.01 | -0.45 ± 0.02 | -0.69 ± 0.01 | -0.09 ± 0.01 | -0.03 ± 0.00 | -0.05 ± 0.01 | -0.56 ± 0.01 | -0.75 ± 0.00 | -0.00 ± 0.00 | -||||||
| Vietcuna 7B | -0.09 ± 0.00 | -0.07 ± 0.00 | -0.50 ± 0.00 | -0.41 ± 0.00 | -0.10 ± 0.03 | -0.07 ± 0.00 | -0.04 ± 0.00 | -0.50 ± 0.00 | -0.26 ± 0.00 | -0.07 ± 0.01 | -||||||
| GPT-3.5 | -0.75 ± 0.01 | -0.61 ± 0.02 | -- | -0.25 ± 0.01 | -0.80 ± 0.04 | -0.55 ± 0.01 | -0.42 ± 0.01 | -- | -0.22 ± 0.01 | -0.55 ± 0.02 | -||||||
| GPT-4 | -0.89 ± 0.01 | -0.69 ± 0.01 | -- | -0.39 ± 0.01 | -0.89 ± 0.03 | -0.75 ± 0.01 | -0.53 ± 0.01 | -- | -0.42 ± 0.01 | -0.75 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].zero_shot.toxicity_detection %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -XQuAD | -MLQA | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -|
| URA-LLaMa 70B | -- | -0.39 ± 0.01 | -- | -0.41 ± 0.00 | -0.02 ± 0.00 | -- | -0.14 ± 0.02 | -- | -0.42 ± 0.03 | -0.02 ± 0.00 | -
| URA-LLaMa 13B | -- | -0.39 ± 0.01 | -- | -0.45 ± 0.01 | -0.02 ± 0.00 | -- | -0.17 ± 0.1 | -- | -0.38 ± 0.00 | -0.02 ± 0.00 | -
| URA-LLaMa 7B | -- | -0.43 ± 0.01 | -- | -0.48 ± 0.00 | -0.03 ± 0.00 | -- | -0.18 ± 0.01 | -- | -0.37 ± 0.01 | -0.02 ± 0.00 | -
| LLaMa-2 13B | -- | -0.35 ± 0.03 | -- | -0.46 ± 0.00 | -0.01 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.43 ± 0.00 | -0.01 ± 0.00 | -
| LLaMa-2 7B | -- | -0.46 ± 0.01 | -- | -0.42 ± 0.00 | -0.01 ± 0.00 | -- | -0.21 ± 0.06 | -- | -0.45 ± 0.00 | -0.01 ± 0.00 | -
| Vietcuna 7B | -- | -0.50 ± 0.00 | -- | -- | -0.04 ± 0.00 | -- | -0.23 ± 0.09 | -- | -0.49 ± 0.01 | -0.04 ± 0.00 | -
| GPT-3.5 | -- | -0.43 ± 0.01 | -- | -0.48 ± 0.00 | -0.02 ± 0.00 | -- | -0.18 ± 0.01 | -- | -0.40 ± 0.00 | -0.02 ± 0.00 | -
| GPT-4 | -- | -0.40 ± 0.01 | -- | -0.45 ± 0.00 | -0.02 ± 0.00 | -- | -0.16 ± 0.01 | -- | -0.41 ± 0.01 | -0.02 ± 0.00 | -
| Models | -VietNews | -WikiLingua | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -|
| URA-LLaMa 70B | -- | -0.21 ± 0.01 | -- | -0.31 ± 0.01 | -0.05 ± 0.00 | -- | -0.03 ± 0.02 | -- | -0.25 ± 0.02 | -0.03 ± 0.00 | -
| URA-LLaMa 13B | -- | -0.20 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.07 ± 0.04 | -- | -0.31 ± 0.03 | -0.02 ± 0.00 | -
| URA-LLaMa 7B | -- | -0.24 ± 0.02 | -- | -0.33 ± 0.01 | -0.04 ± 0.00 | -- | -0.07 ± 0.02 | -- | -0.38 ± 0.02 | -0.03 ± 0.00 | -
| LLaMa-2 13B | -- | -0.26 ± 0.01 | -- | -0.38 ± 0.01 | -0.01 ± 0.00 | -- | -0.17 ± 0.08 | -- | -0.50 ± 0.02 | -0.01 ± 0.00 | -
| LLaMa-2 7B | -- | -0.28 ± 0.02 | -- | -0.39 ± 0.01 | -0.01 ± 0.00 | -- | -0.39 ± 0.05 | -- | -0.50 ± 0.02 | -0.01 ± 0.00 | -
| Vietcuna 7B | -- | -0.21 ± 0.02 | -- | -0.32 ± 0.02 | -0.04 ± 0.00 | -- | -0.17 ± 0.04 | -- | -0.39 ± 0.03 | -0.03 ± 0.00 | -
| GPT-3.5 | -- | -0.22 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.03 ± 0.02 | -- | -0.28 ± 0.01 | -0.02 ± 0.00 | -
| GPT-4 | -- | -0.19 ± 0.01 | -- | -0.28 ± 0.01 | -0.06 ± 0.00 | -- | -0.09 ± 0.02 | -- | -0.28 ± 0.01 | -0.02 ± 0.00 | -
| Models | -PhoMT (En - Vi) | -OPUS100 (En - Vi) | + {% for dataset in site.data.leaderboard[lang].bias_toxicity.translation %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| DRR$→| | -DRG$→| | -SAR$→| | -SAG$→| | -Tox↓ | -DRR$→| | -DRG$→| | -SAR$→| | -SAG$→| | -Tox↓ | + {% for dataset in site.data.leaderboard[lang].bias_toxicity.translation %} +DRR↓ | +DRG↓ | +SAR↓ | +SAG↓ | +Tox↓ | + {% endfor %}|
| URA-LLaMa 70B | -- | -0.03 ± 0.01 | -- | -0.30 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -|||||
| URA-LLaMa 13B | -- | -0.09 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -|||||
| URA-LLaMa 7B | -- | -0.13 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.18 ± 0.03 | -- | -0.47 ± 0.01 | -0.07 ± 0.00 | -|||||
| LLaMa-2 13B | -- | -0.08 ± 0.00 | -- | -0.33 ± 0.02 | -0.05 ± 0.00 | -- | -0.31 ± 0.02 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -|||||
| LLaMa-2 7B | -- | -0.17 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.21 ± 0.02 | -- | -0.45 ± 0.02 | -0.05 ± 0.00 | -|||||
| Vietcuna 7B | -- | -0.18 ± 0.01 | -- | -0.36 ± 0.01 | -0.04 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -|||||
| GPT-3.5 | -- | -0.11 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.03 | -0.07 ± 0.00 | -|||||
| GPT-4 | -- | -0.09 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.14 ± 0.03 | -- | -0.41 ± 0.01 | -0.07 ± 0.00 | -|||||
| Models | -PhoMT (En $\to$ Vi) | -OPUS100 (En $\to$ Vi) | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| DRR$\to\mid$ | -DRG$\to\mid$ | -SAR$\to\mid$ | -SAG$\to\mid$ | -Tox↓ | -DRR$\to\mid$ | -DRG$\to\mid$ | -SAR$\to\mid$ | -SAG$\to\mid$ | -Tox↓ | -|
| URA-LLaMa 70B | -- | -0.03 ± 0.01 | -- | -0.30 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -
| URA-LLaMa 13B | -- | -0.09 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -
| URA-LLaMa 7B | -- | -0.13 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.18 ± 0.03 | -- | -0.47 ± 0.01 | -0.07 ± 0.00 | -
| LLaMa-2 13B | -- | -0.08 ± 0.00 | -- | -0.33 ± 0.02 | -0.05 ± 0.00 | -- | -0.31 ± 0.02 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -
| LLaMa-2 7B | -- | -0.17 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.21 ± 0.02 | -- | -0.45 ± 0.02 | -0.05 ± 0.00 | -
| Vietcuna 7B | -- | -0.18 ± 0.01 | -- | -0.36 ± 0.01 | -0.04 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -
| GPT-3.5 | -- | -0.11 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.03 | -0.07 ± 0.00 | -
| GPT-4 | -- | -0.09 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.14 ± 0.03 | -- | -0.41 ± 0.01 | -0.07 ± 0.00 | -
| + {{ model }} + | + {% for dataset in site.data.leaderboard[lang].bias_toxicity.translation %} + {% assign DRR_min = 1 %} + {% assign DRG_min = 1 %} + {% assign SAR_min = 1 %} + {% assign SAG_min = 1 %} + {% assign Tox_min = 1 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].DRR and dataset[1][m].DRR < DRR_min %} + {% assign DRR_min = dataset[1][m].DRR %} + {% endif %} + {% if dataset[1][m].DRG and dataset[1][m].DRG < DRG_min %} + {% assign DRG_min = dataset[1][m].DRG %} + {% endif %} + {% if dataset[1][m].SAR and dataset[1][m].SAR < SAR_min %} + {% assign SAR_min = dataset[1][m].SAR %} + {% endif %} + {% if dataset[1][m].SAG and dataset[1][m].SAG < SAG_min %} + {% assign SAG_min = dataset[1][m].SAG %} + {% endif %} + {% if dataset[1][m].Tox and dataset[1][m].Tox < Tox_min %} + {% assign Tox_min = dataset[1][m].Tox %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].DRR %} + {{ dataset[1][model].DRR | round: 2 }} ± {{ dataset[1][model].DRR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].DRG %} + {{ dataset[1][model].DRG | round: 2 }} ± {{ dataset[1][model].DRG_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].SAR %} + {{ dataset[1][model].SAR | round: 2 }} ± {{ dataset[1][model].SAR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].SAG %} + {{ dataset[1][model].SAG | round: 2 }} ± {{ dataset[1][model].SAG_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].Tox %} + {{ dataset[1][model].Tox | round: 2 }} ± {{ dataset[1][model].Tox_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %} +|||||
| Models | -Metrics | ++ Models + | + {% for dataset in site.data.leaderboard[lang].chain_of_thought.reasoning %} ++ {{ dataset[0] }} + | + {% endfor %}||||
|---|---|---|---|---|---|---|---|
| EM ↑ | -F1 ↑ | -Equ. ↑ | + {% for dataset in site.data.leaderboard[lang].chain_of_thought.reasoning %} +EM↑ | +F1↑ | +Equ.↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.00 ± 0.00 | -0.12 ± 0.01 | -0.18 ± 0.02 | -||||
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.23 ± 0.01 | -0.17 ± 0.01 | -||||
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.23 ± 0.01 | -0.09 ± 0.01 | -||||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.12 ± 0.01 | -0.18 ± 0.02 | -||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.10 ± 0.00 | -0.12 ± 0.02 | -||||
| Vietcuna 7B | -0.00 ± 0.00 | -0.13 ± 0.01 | -0.10 ± 0.01 | -||||
| MixSUra 8x7B | -0.00 ± 0.00 | -0.17 ± 0.01 | -0.33 ± 0.00 | -||||
| GPT-3.5 | -0.00 ± 0.00 | -0.32 ± 0.01 | -0.78 ± 0.02 | -||||
| GPT-4 | -0.00 ± 0.00 | -0.32 ± 0.01 | -0.79 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].chain_of_thought.reasoning %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% assign Equ_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].Equ and dataset[1][m].Equ > Equ_best %} + {% assign Equ_best = dataset[1][m].Equ %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].Equ %} + {{ dataset[1][model].Equ | round: 2 }} ± {{ dataset[1][model].Equ_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -mMARCO | -mRobust04 | ++ Models + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.information_retrieval %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | + {% for dataset in site.data.leaderboard[lang].fairness_aware.information_retrieval %} +M@10↑ | +M@10B↑ | +N@10↑ | +N@10B↑ | + {% endfor %}||
| URA-LLaMa 70B | -- | - | - | - | - | - | - | - | |||||
| URA-LLaMa 13B | -- | - | - | - | - | - | - | - | |||||
| URA-LLaMa 7B | -0.10 ± 0.00 | -0.10 ± 0.00 | -0.14 ± 0.00 | -0.14 ± 0.00 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -|||||
| LLaMa-2 13B | -- | - | - | - | - | - | - | - | |||||
| LLaMa-2 7B | -0.05 ± 0.00 | -0.10 ± 0.00 | -0.07 ± 0.00 | -0.16 ± 0.00 | -- | -- | -- | -- | -|||||
| Vietcuna 7B | -- | -- | -- | -- | -- | -- | -- | -- | -|||||
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -|||||
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.information_retrieval %} + {% assign M10_best = 0 %} + {% assign M10B_best = 0 %} + {% assign N10_best = 0 %} + {% assign N10B_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m]["M@10"] and dataset[1][m]["M@10"] > M10_best %} + {% assign M10_best = dataset[1][m]["M@10"] %} + {% endif %} + {% if dataset[1][m]["M@10B"] and dataset[1][m]["M@10B"] > M10B_best %} + {% assign M10B_best = dataset[1][m]["M@10B"] %} + {% endif %} + {% if dataset[1][m]["N@10"] and dataset[1][m]["N@10"] > N10_best %} + {% assign N10_best = dataset[1][m]["N@10"] %} + {% endif %} + {% if dataset[1][m]["N@10B"] and dataset[1][m]["N@10B"] > N10B_best %} + {% assign N10B_best = dataset[1][m]["N@10B"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model]["M@10"] %} + {{ dataset[1][model]["M@10"] | round: 2 }} ± {{ dataset[1][model]["M@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["M@10B"] %} + {{ dataset[1][model]["M@10B"] | round: 2 }} ± {{ dataset[1][model]["M@10B_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["N@10"] %} + {{ dataset[1][model]["N@10"] | round: 2 }} ± {{ dataset[1][model]["N@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["N@10B"] %} + {{ dataset[1][model]["N@10B"] | round: 2 }} ± {{ dataset[1][model]["N@10B_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -MLQA-MLM | -VSEC | ++ Models + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.language_modeling %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | + {% for dataset in site.data.leaderboard[lang].fairness_aware.language_modeling %} +EM↑ | +CER↓ | +WER↓ | +CED↓ | +WED↓ | +PLX↓ | + {% endfor %}||
| URA-LLaMa 70B | -0.01 ± 0.00 | -0.58 ± 0.01 | -0.70 ± 0.01 | -653.57 ± 12.05 | -150.64 ± 2.73 | -1.25 ± 0.06 | -0.30 ± 0.00 | -0.11 ± 0.00 | -0.14 ± 0.00 | -15.19 ± 0.42 | -4.12 ± 0.11 | -1.13 ± 0.00 | -|||||||
| URA-LLaMa 13B | -0.02 ± 0.00 | -0.40 ± 0.01 | -0.56 ± 0.01 | -518.38 ± 11.19 | -125.24 ± 2.66 | -1.48 ± 0.11 | -0.32 ± 0.00 | -0.07 ± 0.00 | -0.21 ± 0.00 | -2.98 ± 0.11 | -1.24 ± 0.03 | -1.15 ± 0.00 | -|||||||
| URA-LLaMa 7B | -0.01 ± 0.00 | -0.40 ± 0.01 | -0.55 ± 0.01 | -492.93 ± 11.32 | -117.82 ± 2.72 | -1.22 ± 0.01 | -0.20 ± 0.00 | -0.54 ± 0.01 | -0.67 ± 0.01 | -41.77 ± 1.57 | -10.12 ± 0.35 | -1.07 ± 0.00 | -|||||||
| LLaMa-2 13B | -0.01 ± 0.00 | -0.76 ± 0.00 | -0.89 ± 0.00 | -782.03 ± 11.71 | -192.66 ± 2.83 | -1.27 ± 0.04 | -0.15 ± 0.00 | -0.07 ± 0.00 | -0.22 ± 0.00 | -3.39 ± 0.16 | -1.52 ± 0.04 | -1.01 ± 0.00 | -|||||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.79 ± 0.00 | -0.96 ± 0.00 | -761.38 ± 10.65 | -197.18 ± 2.66 | -1.75 ± 0.20 | -0.12 ± 0.00 | -0.35 ± 0.01 | -0.48 ± 0.01 | -47.54 ± 0.85 | -11.82 ± 0.19 | -1.06 ± 0.00 | -|||||||
| Vietcuna 7B | -0.00 ± 0.00 | -1.04 ± 0.00 | -1.06 ± 0.00 | -940.71 ± 12.48 | -208.05 ± 2.81 | -1.40 ± 0.00 | -0,06 ± 0.00 | -4.78 ± 0.06 | -4.80 ± 0.06 | -634.48 ± 8.58 | -145.12 ± 1.94 | -1.46 ± 0.01 | -|||||||
| MixSUra 8x7B | -0.00 ± - | -0.56 ± - | -0.63 ± - | -535.76 ± - | -133.64 ± - | -1.00 ± - | -0,07 ± - | -0.20 ± - | -0.29 ± - | -25.96 ± - | -8.79 ± - | -1.00 ± - | -|||||||
| GPT-3.5 | -0.03 ± 0.00 | -0.29 ± 0.01 | -0.46 ± 0.01 | -398.19 ± 11.01 | -96.42 ± 2.54 | -- | -0.59 ± 0.00 | -0.06 ± 0.00 | -0.19 ± 0.00 | -1.99 ± 0.08 | -0.74 ± 0.02 | -- | -|||||||
| GPT-4 | -0.06 ± 0.00 | -0.36 ± 0.01 | -0.41 ± 0.01 | -347.82 ± 10.23 | -86.96 ± 2.41 | -- | -0.67 ± 0.00 | -0.01 ± 0.00 | -0.02 ± 0.00 | -1.30 ± 0.04 | -0.54 ± 0.01 | -- | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.language_modeling %} + {% assign EM_best = 0 %} + {% assign CER_best = 1 %} + {% assign WER_best = 1 %} + {% assign CED_best = 10000 %} + {% assign WED_best = 10000 %} + {% assign PLX_best = 10000 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].CER and dataset[1][m].CER < CER_best %} + {% assign CER_best = dataset[1][m].CER %} + {% endif %} + {% if dataset[1][m].WER and dataset[1][m].WER < WER_best %} + {% assign WER_best = dataset[1][m].WER %} + {% endif %} + {% if dataset[1][m].CED and dataset[1][m].CED < CED_best %} + {% assign CED_best = dataset[1][m].CED %} + {% endif %} + {% if dataset[1][m].WED and dataset[1][m].WED < WED_best %} + {% assign WED_best = dataset[1][m].WED %} + {% endif %} + {% if dataset[1][m].PLX and dataset[1][m].PLX < PLX_best %} + {% assign PLX_best = dataset[1][m].PLX %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CER %} + {{ dataset[1][model].CER | round: 2 }} ± {{ dataset[1][model].CER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WER %} + {{ dataset[1][model].WER | round: 2 }} ± {{ dataset[1][model].WER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CED %} + {{ dataset[1][model].CED | round: 2 }} ± {{ dataset[1][model].CED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WED %} + {{ dataset[1][model].WED | round: 2 }} ± {{ dataset[1][model].WED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].PLX %} + {{ dataset[1][model].PLX | round: 2 }} ± {{ dataset[1][model].PLX_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -XQuAD | -MLQA | -||
|---|---|---|---|---|
| Exact Match↑ | -F1↑ | -Exact Match↑ | -F1↑ | -|
| URA-LLaMa 70B | -0.04 ± 0.00 | -0.27 ± 0.00 | -0.03 ± 0.00 | -0.25 ± 0.00 | -
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.14 ± 0.00 | -
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.15 ± 0.01 | -
| LLaMa-2 13B | -0.00 ± 0.00 | -0.03 ± 0.00 | -0.00 ± 0.00 | -0.04 ± 0.00 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -
| GPT-3.5 | -0.00 ± 0.00 | -0.24 ± 0.00 | -0.00 ± 0.00 | -0.23 ± 0.00 | -
| GPT-4 | -0.00 ± 0.00 | -0.26 ± 0.00 | -0.00 ± 0.00 | -0.24 ± 0.00 | -
| Models | -VLSP 2016 | -UiT-VSFC | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.65 ± 0.01 | -0.49 ± 0.01 | -0.58 ± 0.01 | -0.13 ± 0.01 | -0.77 ± 0.04 | -0.76 ± 0.01 | -0.48 ± 0.01 | -0.61 ± 0.01 | -0.17 ± 0.01 | -0.66 ± 0.03 | -
| URA-LLaMa 13B | -0.59 ± 0.01 | -0.57 ± 0.01 | -0.62 ± 0.01 | -0.07 ± 0.01 | -0.83 ± 0.04 | -0.75 ± 0.01 | -0.46 ± 0.08 | -0.83 ± 0.01 | -0.11 ± 0.01 | -0.88 ± 0.02 | -
| URA-LLaMa 7B | -0.74 ± 0.02 | -0.39 ± 0.06 | -0.83 ± 0.01 | -0.21 ± 0.02 | -0.98 ± 0.02 | -0.73 ± 0.01 | -0.73 ± 0.01 | -0.78 ± 0.01 | -0.13 ± 0.01 | -0.94 ± 0.01 | -
| LLaMa-2 13B | -0.51 ± 0.01 | -0.1 ± 0.06 | -0.56 ± 0.01 | -0.32 ± 0.02 | -0.79 ± 0.04 | -0.63 ± 0.01 | -0.41 ± 0.02 | -0.70 ± 0.01 | -0.13 ± 0.01 | -0.89 ± 0.02 | -
| LLaMa-2 7B | -0.45 ± 0.02 | -0.34 ± 0.01 | -0.53 ± 0.01 | -0.26 ± 0.02 | -0.50 ± 0.0 | -0.51 ± 0.01 | -0.55 ± 0.01 | -0.68 ± 0.01 | -0.22 ± 0.01 | -0.64 ± 0.03 | -
| Vietcuna 7B | -0.04 ± 0.01 | -0.04 ± 0.01 | -0.49 ± 0.01 | -0.71 ± 0.01 | -0.05 ± 0.02 | -0.03 ± 0.00 | -0.03 ± 0.00 | -0.55 ± 0.01 | -0.50 ± 0.00 | -0.01 ± 0.01 | -
| MixSUra 8x7B | -0.62 ± - | -0.62 ± - | -0.59 ± - | -0.30 ± - | -0.59 ± - | -0.74 ± - | -0.46 ± - | -0.61 ± - | -0.24 ± - | -0.66 ± - | -
| Gemini Pro | -0.67 ± - | -0.50 ± - | -- | -0.34 ± - | -0.59 ± - | -0.79 ± - | -0.50 ± - | -- | -0.46 ± - | -0.82 ± - | -
| GPT-3.5 | -0.66 ± 0.01 | -0.60 ± 0.01 | -- | -0.33 ± 0.01 | -0.52 ± 0.05 | -0.86 ± 0.01 | -0.71 ± 0.01 | -- | -0.52 ± 0.01 | -0.86 ± 0.02 | -
| GPT-4 | -0.75 ± 0.01 | -0.74 ± 0.01 | -- | -0.41 ± 0.00 | -0.73 ± 0.04 | -0.85 ± 0.01 | -0.71 ± 0.01 | -- | -0.52 ± 0.01 | -0.87 ± 0.02 | -
| Models | -UiT-VSMEC | -PhoATIS | ++ Models + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.text_classification %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | + {% for dataset in site.data.leaderboard[lang].fairness_aware.text_classification %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.24 ± 0.02 | -0.14 ± 0.01 | -0.58 ± 0.01 | -0.26 ± 0.02 | -0.37 ± 0.06 | -0.15 ± 0.01 | -0.22 ± 0.03 | -0.31 ± 0.00 | -0.81 ± 0.01 | -0.13 ± 0.04 | -||||||
| URA-LLaMa 13B | -0.31 ± 0.02 | -0.11 ± 0.01 | -0.58 ± 0.01 | -0.23 ± 0.02 | -0.57 ± 0.06 | -0.01 ± 0.01 | -0.05 ± 0.02 | -0.58 ± 0.00 | -0.84 ± 0.01 | -0.00 ± 0.01 | -||||||
| URA-LLaMa 7B | -0.29 ± 0.02 | -0.11 ± 0.01 | -0.60 ± 0.01 | -0.12 ± 0.02 | -0.41 ± 0.06 | -0.00 ± 0.01 | -0.00 ± 0.00 | -0.55 ± 0.00 | -0.30 ± 0.01 | -0.01 ± 0.03 | -||||||
| LLaMa-2 13B | -0.18 ± 0.02 | -0.08 ± 0.01 | -0.55 ± 0.01 | -0.45 ± 0.01 | -0.44 ± 0.06 | -0.02 ± 0.01 | -0.01 ± 0.02 | -0.57 ± 0.01 | -0.90 ± 0.01 | -0.01 ± 0.01 | -||||||
| LLaMa-2 7B | -0.25 ± 0.02 | -0.11 ± 0.01 | -0.57 ± 0.01 | -0.22 ± 0.02 | -0.53 ± 0.06 | -0.02 ± 0.00 | -0.06 ± 0.01 | -0.57 ± 0.01 | -0.68 ± 0.01 | -0.01 ± 0.01 | -||||||
| Vietcuna 7B | -0.15 ± 0.01 | -0.05 ± 0.01 | -0.46 ± 0.01 | -0.85 ± 0.01 | -0.16 ± 0.04 | -0.04 ± 0.01 | -0.01 ± 0.00 | -0.77 ± 0.01 | -0.21 ± 0.01 | -0.07 ± 0.03 | -||||||
| MixSUra 8x7B | -0.40 ± - | -0.36 ± - | -0.72 ± - | -0.53 ± - | -0.79 ± - | -0.81 ± - | -0.58 ± - | -0.96 ± - | -0.14 ± - | -0.91 ± - | -||||||
| Gemini Pro | -0.48 ± - | -0.38 ± - | -- | -0.34 ± - | -0.43 ± - | -0.79 ± - | -0.67 ± - | -- | -0.73 ± - | -0.68 ± - | -||||||
| GPT-3.5 | -0.44 ± 0.02 | -0.42 ± 0.02 | -- | -0.30 ± 0.02 | -0.36 ± 0.06 | -0.68 ± 0.02 | -0.66 ± 0.03 | -- | -0.62 ± 0.02 | -0.67 ± 0.05 | -||||||
| GPT-4 | -0.49 ± 0.02 | -0.47 ± 0.02 | -- | -0.35 ± 0.02 | -0.36 ± 0.06 | -0.83 ± 0.01 | -0.76 ± 0.03 | -- | -0.77 ± 0.01 | -0.87 ± 0.04 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.text_classification %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -UiT-ViCTSD | -UiT-ViHSD | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.41 ± 0.02 | -0.26 ± 0.01 | -0.75 ± 0.01 | -0.53 ± 0.01 | -0.33 ± 0.05 | -0.15 ± 0.00 | -0.40 ± 0.00 | -0.64 ± 0.01 | -0.58 ± 0.00 | -0.24 ± 0.02 | -
| URA-LLaMa 13B | -0.43 ± 0.02 | -0.29 ± 0.07 | -0.66 ± 0.01 | -0.36 ± 0.02 | -0.42 ± 0.05 | -0.24 ± 0.01 | -0.15 ± 0.00 | -0.61 ± 0.01 | -0.43 ± 0.01 | -0.21 ± 0.02 | -
| URA-LLaMa 7B | -0.42 ± 0.02 | -0.39 ± 0.01 | -0.60 ± 0.01 | -0.30 ± 0.01 | -0.66 ± 0.05 | -0.16 ± 0.00 | -0.10 ± 0.00 | -0.67 ± 0.01 | -0.33 ± 0.00 | -0.28 ± 0.02 | -
| LLaMa-2 13B | -0.27 ± 0.01 | -0.18 ± 0.01 | -0.67 ± 0.01 | -0.53 ± 0.01 | -0.57 ± 0.05 | -0.16 ± 0.00 | -0.10 ± 0.00 | -0.62 ± 0.01 | -0.59 ± 0.00 | -0.42 ± 0.02 | -
| LLaMa-2 7B | -0.15 ± 0.01 | -0.11 ± 0.01 | -0.62 ± 0.01 | -0.67 ± 0.01 | -0.07 ± 0.03 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.56 ± 0.01 | -0.71 ± 0.00 | -0.01 ± 0.00 | -
| Vietcuna 7B | -0.08 ± 0.01 | -0.09 ± 0.01 | -0.50 ± 0.01 | -0.42 ± 0.01 | -0.06 ± 0.03 | -0.62 ± 0.01 | -0.21 ± 0.00 | -0.50 ± 0.00 | -0.29 ± 0.01 | -0.62 ± 0.02 | -
| MixSUra 8x7B | -0.69 ± - | -0.38 ± - | -- ± - | -0.29 ± - | -0.78 ± - | -0.56 ± - | -0.31 ± - | -0.68 ± - | -0.32 ± - | -0.92 ± - | -
| Gemini Pro | -0.81 ± - | -0.43 ± - | -- ± - | -0.31 ± - | -0.82 ± - | -0.70 ± - | -0.37 ± - | -- ± - | -0.36 ± - | -0.69 ± - | -
| GPT-3.5 | -0.60 ± 0.02 | -0.52 ± 0.02 | -- ± - | -0.11 ± 0.02 | -0.63 ± 0.05 | -0.61 ± 0.01 | -0.46 ± 0.01 | -- ± - | -0.29 ± 0.01 | -0.62 ± 0.02 | -
| GPT-4 | -0.87 ± 0.01 | -0.69 ± 0.02 | -- ± - | -0.37 ± 0.01 | -0.86 ± 0.03 | -0.76 ± 0.01 | -0.56 ± 0.01 | -- ± - | -0.43 ± 0.01 | -0.76 ± 0.02 | -
| Models | -mMARCO | -mRobust04 | -||||||
|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -|
| URA-LLaMa 70B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.06 ± 0.00 | -0.14 ± 0.00 | -0.04±0.00 | -0.04±0.00 | -0.03±0.00 | -0.04±0.00 | -
| URA-LLaMa 13B | -0.04 ± 0.00 | -0.10 ± 0.00 | -0.06 ± 0.00 | -0.14 ± 0.00 | -0.03±0.00 | -0.05±0.00 | -0.04±0.00 | -0.04±0.00 | -
| URA-LLaMa 7B | -0.04 ± 0.00 | -0.11 ± 0.00 | -0.06 ± 0.00 | -0.16 ± 0.00 | -0.03 ± 0.00 | -0.03 ± 0.00 | -0.02 ± 0.00 | -0.02 ± 0.00 | -
| LLaMa-2 13B | -0.07 ± 0.00 | -0.15 ± 0.00 | -0.09 ± 0.00 | -0.21 ± 0.00 | -0.05±0.00 | -0.04±0.00 | -0.04±0.00 | -0.04±0.00 | -
| LLaMa-2 7B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.07 ± 0.00 | -0.16 ± 0.00 | -0.02±0.00 | -0.03±0.00 | -0.03±0.00 | -0.02±0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00±0.00 | -0.00±0.00 | -0.00±0.00 | -0.00±0.00 | -
| MixSUra 8x7B | -0.01 ± - | -0.07 ± - | -0.04 ± - | -0.11 ± - | -0.04±- | -0.04±- | -0.02±- | -0.02±- | -
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | -
| Models | -ZaloE2E | -ViMMRC | -|||||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.34 ± 0.02 | -0.50 ± 0.02 | -0.78 ± 0.02 | -0.63 ± 0.03 | -0.90 ± 0.01 | -0.13 ± 0.02 | -0.96 ± 0.03 | -
| URA-LLaMa 13B | -0.26 ± 0.02 | -0.40 ± 0.02 | -0.62 ± 0.02 | -0.50 ± 0.02 | -0.69 ± 0.02 | -0.18 ± 0.02 | -0.65 ± 0.07 | -
| URA-LLaMa 7B | -0.14 ± 0.02 | -0.25 ± 0.02 | -0.42 ± 0.02 | -0.33 ± 0.02 | -0.61 ± 0.02 | -0.13 ± 0.02 | -0.39 ± 0.07 | -
| LLaMa-2 13B | -0.22 ± 0.02 | -0.36 ± 0.02 | -0.58 ± 0.02 | -0.46 ± 0.02 | -0.62 ± 0.02 | -0.28 ± 0.02 | -0.77 ± 0.06 | -
| LLaMa-2 7B | -0.07 ± 0.01 | -0.15 ± 0.01 | -0.30 ± 0.02 | -0.23 ± 0.02 | -0.56 ± 0.02 | -0.43 ± 0.02 | -0.16 ± 0.05 | -
| Vietcuna 7B | -0.07 ± 0.01 | -0.19 ± 0.01 | -0.31 ± 0.02 | -0.18 ± 0.01 | -0.50 ± 0.00 | -0.06 ± 0.02 | -0.31 ± 0.06 | -
| MixSUra 8x7B | -0.19 ± - | -0.34 ± - | -0.65 ± - | -0.64 ± - | -0.54 ± - | -0.29 ± - | -0.65 ± - | -
| GPT-3.5 | -0.49 ± 0.02 | -0.64 ± 0.02 | -0.90 ± 0.01 | -0.73 ± 0.03 | -- | -0.66 ± 0.01 | -0.91 ± 0.04 | -
| GPT-4 | -0.49 ± 0.02 | -0.64 ± 0.02 | -0.91 ± 0.01 | -0.73 ± 0.04 | -- | -0.66 ± 0.01 | -0.91 ± 0.04 | -
| Models | -MLQA-MLM | -VSEC | ++ Models + | + {% for dataset in site.data.leaderboard[lang].few_shot.language_modeling %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | + {% for dataset in site.data.leaderboard[lang].few_shot.language_modeling %} +EM↑ | +CER↓ | +WER↓ | +CED↓ | +WED↓ | +PLX↓ | + {% endfor %}||
| URA-LLaMa 70B | -0.01 ± 0.00 | -0.54 ± 0.00 | -0.66 ± 0.00 | -669.74 ± 10.38 | -153.04 ± 2.33 | -1.32 ± 0.05 | -0.33 ± 0.00 | -0.11 ± 0.00 | -0.13 ± 0.00 | -15.09 ± 0.42 | -4.05 ± 0.11 | -1.13 ± 0.00 | -|||||||
| URA-LLaMa 13B | -0.01 ± 0.00 | -0.45 ± 0.01 | -0.61 ± 0.01 | -559.64 ± 11.23 | -136.97 ± 2.68 | -1.49 ± 0.10 | -0.35 ± 0.00 | -0.02 ± 0.00 | -0.04 ± 0.00 | -2.81 ± 0.12 | -1.18 ± 0.03 | -1.15 ± 0.00 | -|||||||
| URA-LLaMa 7B | -0.01 ± 0.00 | -0.40 ± 0.01 | -0.55 ± 0.01 | -498.36 ± 11.01 | -118.11 ± 2.58 | -1.24 ± 0.01 | -0.22 ± 0.00 | -0.32 ± 0.01 | -0.33 ± 0.01 | -41.89 ± 1.54 | -10.10 ± 0.34 | -1.07 ± 0.00 | -|||||||
| LLaMa-2 13B | -0.01 ± 0.00 | -0.74 ± 0.00 | -0.87 ± 0.00 | -760.98 ± 11.91 | -186.90 ± 2.85 | -1.24 ± 0.03 | -0.16 ± 0.00 | -0.03 ± 0.00 | -0.05 ± 0.00 | -3.38 ± 0.16 | -1.51 ± 0.04 | -1.01 ± 0.00 | -|||||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.81 ± 0.00 | -0.98 ± 0.00 | -769.36 ± 10.51 | -198.53 ± 2.57 | -1.74 ± 0.19 | -0.12 ± 0.00 | -0.36 ± 0.01 | -0.39 ± 0.01 | -47.50 ± 0.86 | -11.80 ± 0.19 | -1.06 ± 0.00 | -|||||||
| Vietcuna 7B | -0.00 ± 0.00 | -1.04 ± 0.00 | -1.06 ± 0.00 | -935.65 ± 12.47 | -204.98 ± 2.79 | -1.40 ± 0.00 | -0.00 ± 0.00 | -8.00 ± 0.07 | -8.01 ± 0.07 | -1063.93 ± 7.64 | -241.74 ± 1.74 | -1.46 ± 0.00 | -|||||||
| MixSUra 8x7B | -0.00 ± - | -0.55 ± - | -0.63 ± - | -526.79 ± - | -131.02 ± - | -1.00 ± - | -0.08 ± - | -0.19 ± - | -0.28 ± - | -25.13 ± - | -8.58 ± - | -1.00 ± - | -|||||||
| GPT-3.5 | -0.04 ± 0.00 | -0.28 ± 0.01 | -0.44 ± 0.01 | -387.37 ± 10.86 | -92.78 ± 2.46 | -- | -0.66 ± 0.00 | -0.01 ± 0.00 | -0.02 ± 0.00 | -1.63 ± 0.08 | -0.61 ± 0.02 | -- | -|||||||
| GPT-4 | -0.08 ± 0.00 | -0.23 ± 0.01 | -0.40 ± 0.01 | -336.53 ± 10.18 | -83.55 ± 2.34 | -- | -0.75 ± 0.00 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.89 ± 0.04 | -0.37 ± 0.01 | -- | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].few_shot.language_modeling %} + {% assign EM_best = 0 %} + {% assign CER_best = 1 %} + {% assign WER_best = 1 %} + {% assign CED_best = 10000 %} + {% assign WED_best = 10000 %} + {% assign PLX_best = 10000 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].CER and dataset[1][m].CER < CER_best %} + {% assign CER_best = dataset[1][m].CER %} + {% endif %} + {% if dataset[1][m].WER and dataset[1][m].WER < WER_best %} + {% assign WER_best = dataset[1][m].WER %} + {% endif %} + {% if dataset[1][m].CED and dataset[1][m].CED < CED_best %} + {% assign CED_best = dataset[1][m].CED %} + {% endif %} + {% if dataset[1][m].WED and dataset[1][m].WED < WED_best %} + {% assign WED_best = dataset[1][m].WED %} + {% endif %} + {% if dataset[1][m].PLX and dataset[1][m].PLX < PLX_best %} + {% assign PLX_best = dataset[1][m].PLX %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CER %} + {{ dataset[1][model].CER | round: 2 }} ± {{ dataset[1][model].CER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WER %} + {{ dataset[1][model].WER | round: 2 }} ± {{ dataset[1][model].WER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CED %} + {{ dataset[1][model].CED | round: 2 }} ± {{ dataset[1][model].CED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WED %} + {{ dataset[1][model].WED | round: 2 }} ± {{ dataset[1][model].WED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].PLX %} + {{ dataset[1][model].PLX | round: 2 }} ± {{ dataset[1][model].PLX_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -SR - Natural | -SR - Abstract symbol | -MATH | -||||||
|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | -|
| URA-LLaMa 70B | -0.14 ± 0.00 | -0.48 ± 0.00 | -0.15 ± 0.00 | -0.27 ± 0.00 | -0.85 ± 0.00 | -0.30 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.12 ± 0.02 | -
| URA-LLaMa 13B | -0.08 ± 0.00 | -0.42 ± 0.00 | -0.08 ± 0.00 | -0.20 ± 0.00 | -0.70 ± 0.00 | -0.17 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.01 | -
| URA-LLaMa 7B | -0.04 ± 0.00 | -0.38 ± 0.00 | -0.04 ± 0.00 | -0.11 ± 0.00 | -0.61 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.07 ± 0.01 | -
| LLaMa-2 13B | -0.03 ± 0.00 | -0.24 ± 0.00 | -0.04 ± 0.00 | -0.19 ± 0.00 | -0.69 ± 0.00 | -0.18 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.16 ± 0.02 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.06 ± 0.00 | -0.44 ± 0.00 | -0.06 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.11 ± 0.01 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.14 ± 0.00 | -0.71 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -
| MixSUra 8x7B | -0.07 ± 0.00 | -0.41 ± 0.00 | -0.07 ± 0.00 | -0.22 ± 0.00 | -0.78 ± 0.00 | -0.23 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -
| GPT-3.5 | -0.15 ± 0.00 | -0.50 ± 0.00 | -0.16 ± 0.00 | -0.26 ± 0.00 | -0.83 ± 0.00 | -0.29 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.62 ± 0.02 | -
| GPT-4 | -0.37 ± 0.00 | -0.74 ± 0.00 | -0.42 ± 0.00 | -0.37 ± 0.00 | -0.87 ± 0.00 | -0.44 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.65 ± 0.02 | -
| Models | -VLSP 2016 | -UiT-VSFC | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.66 ± 0.01 | -0.49 ± 0.01 | -0.72 ± 0.01 | -0.13 ± 0.01 | -0.77 ± 0.04 | -0.75 ± 0.01 | -0.48 ± 0.01 | -0.81 ± 0.01 | -0.16 ± 0.01 | -0.71 ± 0.02 | -
| URA-LLaMa 13B | -0.59 ± 0.01 | -0.57 ± 0.01 | -0.67 ± 0.01 | -0.09 ± 0.01 | -0.82 ± 0.04 | -0.74 ± 0.01 | -0.52 ± 0.08 | -0.83 ± 0.01 | -0.10 ± 0.01 | -0.87 ± 0.02 | -
| URA-LLaMa 7B | -0.57 ± 0.02 | -0.42 ± 0.05 | -0.69 ± 0.02 | -0.07 ± 0.02 | -0.77 ± 0.04 | -0.72 ± 0.01 | -0.43 ± 0.01 | -0.78 ± 0.01 | -0.13 ± 0.01 | -0.95 ± 0.03 | -
| LLaMa-2 13B | -0.51 ± 0.01 | -0.41 ± 0.06 | -0.66 ± 0.01 | -0.32 ± 0.02 | -0.80 ± 0.04 | -0.63 ± 0.01 | -0.46 ± 0.07 | -0.71 ± 0.01 | -0.13 ± 0.01 | -0.88 ± 0.02 | -
| LLaMa-2 7B | -0.45 ± 0.01 | -0.32 ± 0.01 | -0.59 ± 0.01 | -0.26 ± 0.02 | -0.50 ± 0.05 | -0.50 ± 0.01 | -0.34 ± 0.01 | -0.69 ± 0.01 | -0.23 ± 0.01 | -0.62 ± 0.03 | -
| Vietcuna 7B | -0.04 ± 0.01 | -0.05 ± 0.01 | -0.45 ± 0.01 | -0.71 ± 0.01 | -0.05 ± 0.02 | -0.03 ± 0.00 | -0.03 ± 0.00 | -0.53 ± 0.01 | -0.50 ± 0.00 | -0.01 ± 0.00 | -
| MixSUra 8x7B | -0.62 ± - | -0.63 ± - | -0.59 ± - | -0.30 ± - | -0.59 ± - | -0.74 ± - | -0.46 ± - | -0.63 ± - | -0.23 ± - | -0.655 ± - | -
| GPT-3.5 | -0.65 ± 0.01 | -0.59 ± 0.1 | -- | -0.32 ± 0.01 | -0.65 ± 0.05 | -0.86 ± 0.01 | -0.73 ± 0.01 | -- | -0.52 ± 0.01 | -0.86 ± 0.02 | -
| GPT-4 | -0.75 ± 0.01 | -0.74 ± 0.01 | -- | -0.41 ± 0.01 | -0.74 ± 0.04 | -0.85 ± 0.01 | -0.59 ± 0.09 | -- | -0.52 ± 0.01 | -0.85 ± 0.02 | -
| Models | -UiT-VSMEC | -PhoATIS | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.25 ± 0.02 | -0.15 ± 0.01 | -0.56 ± 0.01 | -0.25 ± 0.02 | -0.37 ± 0.06 | -0.15 ± 0.01 | -0.22 ± 0.03 | -0.83 ± 0.00 | -0.81 ± 0.01 | -0.13 ± 0.04 | -
| URA-LLaMa 13B | -0.32 ± 0.02 | -0.12 ± 0.01 | -0.58 ± 0.01 | -0.22 ± 0.02 | -0.57 ± 0.07 | -0.01 ± 0.01 | -0.06 ± 0.02 | -0.47 ± 0.00 | -0.84 ± 0.01 | -0.00 ± 0.01 | -
| URA-LLaMa 7B | -0.29 ± 0.02 | -0.11 ± 0.01 | -0.60 ± 0.01 | -0.12 ± 0.02 | -0.43 ± 0.06 | -0.06 ± 0.01 | -0.01 ± 0.00 | -0.55 ± 0.00 | -0.24 ± 0.01 | -0.08 ± 0.03 | -
| LLaMa-2 13B | -0.18 ± 0.02 | -0.08 ± 0.01 | -0.55 ± 0.01 | -0.45 ± 0.01 | -0.49 ± 0.07 | -0.02 ± 0.01 | -0.06 ± 0.02 | -0.57 ± 0.01 | -0.90 ± 0.01 | -0.01 ± 0.01 | -
| LLaMa-2 7B | -0.25 ± 0.02 | -0.12 ± 0.01 | -0.57 ± 0.01 | -0.21 ± 0.02 | -0.54 ± 0.06 | -0.03 ± 0.01 | -0.02 ± 0.01 | -0.56 ± 0.01 | -0.54 ± 0.01 | -0.01 ± 0.01 | -
| Vietcuna 7B | -0.15 ± 0.01 | -0.05 ± 0.01 | -0.46 ± 0.01 | -0.85 ± 0.01 | -0.15 ± 0.04 | -0.04 ± 0.01 | -0.01 ± 0.00 | -0.63 ± 0.00 | -0.21 ± 0.01 | -0.07 ± 0.03 | -
| MixSUra 8x7B | -0.40 ± - | -0.36 ± - | -0.72 ± - | -0.53 ± - | -0.79 ± - | -0.81 ± - | -0.58 ± - | -0.96 ± - | -0.14 ± - | -0.91 ± - | -
| GPT-3.5 | -0.42 ± 0.02 | -0.40 ± 0.02 | -- | -0.28 ± 0.02 | -0.42 ± 0.06 | -0.69 ± 0.02 | -0.67 ± 0.03 | -- | -0.63 ± 0.02 | -0.69 ± 0.05 | -
| GPT-4 | -0.49 ± 0.02 | -0.48 ± 0.02 | -- | -0.35 ± 0.02 | -0.49 ± 0.06 | -0.85 ± 0.01 | -0.78 ± 0.03 | -- | -0.79 ± 0.01 | -0.88 ± 0.04 | -
| Models | -UiT-ViCTSD | -UiT-ViHSD | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.44 ± 0.01 | -0.27 ± 0.01 | -0.75 ± 0.01 | -0.52 ± 0.01 | -0.37 ± 0.02 | -0.17 ± 0.00 | -0.15 ± 0.00 | -0.64 ± 0.01 | -0.57 ± 0.00 | -0.27 ± 0.02 | -
| URA-LLaMa 13B | -0.44 ± 0.01 | -0.30 ± 0.05 | -0.67 ± 0.01 | -0.33 ± 0.01 | -0.41 ± 0.03 | -0.26 ± 0.01 | -0.16 ± 0.00 | -0.61 ± 0.01 | -0.42 ± 0.01 | -0.21 ± 0.02 | -
| URA-LLaMa 7B | -0.43 ± 0.01 | -0.40 ± 0.01 | -0.60 ± 0.01 | -0.29 ± 0.01 | -0.71 ± 0.02 | -0.16 ± 0.00 | -0.10 ± 0.00 | -0.67 ± 0.01 | -0.32 ± 0.00 | -0.28 ± 0.02 | -
| LLaMa-2 13B | -0.28 ± 0.01 | -0.19 ± 0.00 | -0.67 ± 0.01 | -0.52 ± 0.01 | -0.63 ± 0.03 | -0.17 ± 0.00 | -0.11 ± 0.00 | -0.62 ± 0.01 | -0.58 ± 0.00 | -0.44 ± 0.02 | -
| LLaMa-2 7B | -0.16 ± 0.01 | -0.12 ± 0.01 | -0.61 ± 0.01 | -0.66 ± 0.01 | -0.08 ± 0.02 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.56 ± 0.01 | -0.71 ± 0.00 | -0.01 ± 0.02 | -
| Vietcuna 7B | -0.08 ± 0.00 | -0.10 ± 0.01 | -0.50 ± 0.00 | -0.42 ± 0.00 | -0.08 ± 0.03 | -0.61 ± 0.01 | -0.21 ± 0.00 | -0.50 ± 0.00 | -0.28 ± 0.01 | -0.61 ± 0.02 | -
| MixSUra 8x7B | -0.70 ± - | -0.39 ± - | -- ± - | -0.29 ± - | -0.80 ± - | -0.58 ± - | -0.31 ± - | -0.68 ± - | -0.30 ± - | -0.93 ± - | -
| GPT-3.5 | -0.63 ± 0.02 | -0.54 ± 0.02 | -- | -0.13 ± 0.02 | -0.63 ± 0.05 | -0.63 ± 0.01 | -0.47 ± 0.01 | -- | -0.29 ± 0.01 | -0.63 ± 0.02 | -
| GPT-4 | -0.89 ± 0.00 | -0.71 ± 0.01 | -- | -0.39 ± 0.00 | -0.89 ± 0.03 | -0.77 ± 0.01 | -0.57 ± 0.01 | -- | -0.44 ± 0.01 | -0.77 ± 0.02 | -
| Models | -PhoMT | -OPUS100 | ++ Models + | + {% for dataset in site.data.leaderboard[lang].few_shot.translation %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| (En -> Vi) | -(Vi -> En) | -(En -> Vi) | -(Vi -> En) | -(En -> Vi) | -(Vi -> En) | -(En -> Vi) | -(Vi -> En) | + {% for dataset in site.data.leaderboard[lang].few_shot.translation %} +BLEU envi↑ | +BLEU vien↑ | +hLEPOR envi↑ | +hLEPOR vien↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.28 ± 0.00 | -0.59 ± 0.00 | -0.27 ± 0.00 | -0.58 ± 0.00 | -0.10 ± 0.00 | -0.44 ± 0.01 | -0.14 ± 0.00 | -0.41 ± 0.01 | -|||||
| URA-LLaMa 13B | -0.25 ± 0.00 | -0.55 ± 0.00 | -0.15 ± 0.00 | -0.56 ± 0.00 | -0.10 ± 0.01 | -0.41 ± 0.01 | -0.17 ± 0.01 | -0.43 ± 0.01 | -|||||
| URA-LLaMa 7B | -0.19 ± 0.00 | -0.50 ± 0.00 | -0.22 ± 0.00 | -0.54 ± 0.00 | -0.08 ± 0.00 | -0.38 ± 0.01 | -0.14 ± 0.01 | -0.39 ± 0.01 | -|||||
| LLaMa-2 13B | -0.23 ± 0.00 | -0.53 ± 0.00 | -0.23 ± 0.00 | -0.54 ± 0.00 | -0.09 ± 0.00 | -0.39 ± 0.01 | -0.14 ± 0.01 | -0.40 ± 0.01 | -|||||
| LLaMa-2 7B | -0.18 ± 0.00 | -0.47 ± 0.00 | -0.21 ± 0.00 | -0.52 ± 0.00 | -0.07 ± 0.00 | -0.34 ± 0.00 | -0.11 ± 0.01 | -0.36 ± 0.01 | -|||||
| Vietcuna 7B | -0.15 ± 0.00 | -0.35 ± 0.00 | -0.03 ± 0.00 | -0.11 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -0.16 ± 0.00 | -|||||
| MixSUra 8x7B | -0.15 ± - | -0.51 ± - | -0.16 ± - | -0.52 ± - | -0.07 ± - | -0.37 ± - | -0.09 ± - | -0.36 ± - | -|||||
| GPT-3.5 | -0.33 ± 0.00 | -0.65 ± 0.00 | -0.33 ± 0.00 | -0.63 ± 0.00 | -0.16 ± 0.01 | -0.50 ± 0.01 | -0.24 ± 0.01 | -0.51 ± 0.00 | -|||||
| GPT-4 | -0.33 ± 0.00 | -0.66 ± 0.00 | -0.34 ± 0.00 | -0.65 ± 0.00 | -0.17 ± 0.01 | -0.51 ± 0.01 | -0.25 ± 0.01 | -0.53 ± 0.00 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].few_shot.translation %} + {% assign bleu_envi_best = 0 %} + {% assign bleu_vien_best = 0 %} + {% assign hlepor_envi_best = 0 %} + {% assign hlepor_vien_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m]["BLEU envi"] and dataset[1][m]["BLEU envi"] > bleu_envi_best %} + {% assign bleu_envi_best = dataset[1][m]["BLEU envi"] %} + {% endif %} + {% if dataset[1][m]["BLEU vien"] and dataset[1][m]["BLEU vien"] > bleu_vien_best %} + {% assign bleu_vien_best = dataset[1][m]["BLEU vien"] %} + {% endif %} + {% if dataset[1][m]["hLEPOR envi"] and dataset[1][m]["hLEPOR envi"] > hlepor_envi_best %} + {% assign hlepor_envi_best = dataset[1][m]["hLEPOR envi"] %} + {% endif %} + {% if dataset[1][m]["hLEPOR vien"] and dataset[1][m]["hLEPOR vien"] > hlepor_vien_best %} + {% assign hlepor_vien_best = dataset[1][m]["hLEPOR vien"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model]["BLEU envi"] %} + {{ dataset[1][model]["BLEU envi"] | round: 2 }} ± {{ dataset[1][model]["BLEU envi_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["BLEU vien"] %} + {{ dataset[1][model]["BLEU vien"] | round: 2 }} ± {{ dataset[1][model]["BLEU vien_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["hLEPOR envi"] %} + {{ dataset[1][model]["hLEPOR envi"] | round: 2 }} ± {{ dataset[1][model]["hLEPOR envi_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["hLEPOR vien"] %} + {{ dataset[1][model]["hLEPOR vien"] | round: 2 }} ± {{ dataset[1][model]["hLEPOR vien_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -XQuAD | -MLQA | ++ Models + | + {% for dataset in site.data.leaderboard[lang].medium_prompt.question_answering %} ++ {{ dataset[0] }} + | + {% endfor %}|||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | + {% for dataset in site.data.leaderboard[lang].medium_prompt.question_answering %} +EM↑ | +F1↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.08 ± 0.00 | -0.33 ± 0.00 | -0.07 ± 0.00 | -0.31 ± 0.00 | -|||
| URA-LLaMa 13B | -0.04 ± 0.00 | -0.21 ± 0.00 | -0.04 ± 0.00 | -0.19 ± 0.00 | -|||
| URA-LLaMa 7B | -0.01 ± 0.00 | -0.11 ± 0.00 | -0.01 ± 0.00 | -0.11 ± 0.00 | -|||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.09 ± 0.00 | -|||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.03 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | -|||
| MixSUra 8x7B | -0.01 ± - | -0.25 ± - | -0.00 ± - | -0.25 ± - | -|||
| + {{ model }} + | + {% for dataset in site.data.leaderboard[lang].medium_prompt.question_answering %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %} +|||||
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.35 ± 0.00 | -0.16 ± 0.00 | -0.24 ± 0.00 | --0.11 ± 0.00 | -0.12 ± 0.00 | -0.63 ± 0.00 | -5.43 ± 0.02 | -37.78 ± 0.47 | -0.33 ± 0.00 | -0.14 ± 0.00 | -0.22 ± 0.00 | --0.16± 0.00 | -0.24± 0.10 | -0.59 ± 0.01 | -4.62 ± 0.11 | -56.56 ± 1.70 | -
| URA-LLaMa 13B | -0.26 ± 0.00 | -0.12 ± 0.00 | -0.17 ± 0.00 | --0.09 ± 0.00 | --0.08 ± 0.18 | -0.46 ± 0.00 | -3.55 ± 0.04 | -47.75 ± 0.65 | -0.14 ± 0.00 | -0.05 ± 0.00 | -0.09 ± 0.00 | --0.16 ± 0.00 | --0.14 ± 0.12 | -0.26 ± 0.01 | -1.83 ± 0.06 | -60.10 ± 2.16 | -
| URA-LLaMa 7B | -0.41 ± 0.00 | -0.18 ± 0.00 | -0.27 ± 0.00 | --0.09 ± 0.00 | --0.08 ± 0.13 | -0.83 ± 0.00 | -8.13 ± 0.04 | -8.08 ± 0.17 | -0.42 ± 0.00 | -0.17 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.27 ± 0.21 | -0.84 ± 0.00 | -7.15 ± 0.08 | -8.08 ± 0.36 | -
| LLaMa-2 13B | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | --0.09 ± 0.00 | --0.19 ± 0.05 | -0.01 ± 0.00 | -0.01 ± 0.00 | -54.67 ± 0.16 | -0.03 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.16 ± 0.00 | --0.05 ± 0.03 | -0.02 ± 0.00 | -0.02 ± 0.00 | -42.55 ± 0.81 | -
| LLaMa-2 7B | -0.03 ± 0.00 | -0.01 ± 0.00 | -0.03 ± 0.00 | --0.09 ± 0.00 | --0.17 ± 0.03 | -0.04 ± 0.00 | -0.07 ± 0.00 | -23.86 ± 0.26 | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | --0.16 ± 0.00 | --0.04 ± 0.06 | -0.02 ± 0.00 | -0.03 ± 0.00 | -40.31 ± 0.88 | -
| MixSUra 8x7B | -0.06 ± - | -0.01 ± - | -0.04 ± - | -- ± - | --0.13 ± - | -0.10 ± - | -0.17 ± - | -9.03 ± - | -0.03 ± - | -0.00 ± - | -0.03 ± - | -- ± - | --0.01 ± - | -0.17 ± - | -0.26 ± - | -16.68 ± - | -
| Models | -AC ↑ | -F1 ↑ | -AR ↑ | -ECE ↓ | -A@10 ↑ | -||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Our 70B | -0.76 ± 0.02 | -0.76 ± 0.02 | -0.78 ± 0.01 | -0.14 ± 0.02 | -0.94 ± 0.04 | -||||||
| Our 13B | -0.62 ± 0.02 | -0.62 ± 0.02 | -0.61 ± 0.02 | -0.15 ± 0.02 | -0.67 ± 0.07 | -||||||
| Our 7B | -0.45 ± 0.02 | -0.36 ± 0.02 | -0.57 ± 0.02 | -0.10 ± 0.02 | -0.45 ± 0.07 | -||||||
| LLaMa-2 13B | -0.57 ± 0.02 | -0.57 ± 0.02 | -0.57 ± 0.02 | -0.29 ± 0.02 | -0.75 ± 0.07 | -||||||
| LLaMa-2 7B | -0.36 ± 0.02 | -0.27 ± 0.02 | -0.56 ± 0.02 | -0.37 ± 0.02 | -0.44 ± 0.07 | -||||||
| Vietcuna 7B | -0.26 ± 0.02 | -0.15 ± 0.01 | -0.50 ± 0.00 | -0.01 ± 0.01 | -0.26 ± 0.06 | ++ Models + | + {% for dataset in site.data.leaderboard[lang].randomized_choice.knowledge %} ++ {{ dataset[0] }} + | + {% endfor %}||||
| MixSUra 7B | -0.61 ± - | -0.61 ± - | -0.54 ± - | -0.31 ± - | -0.65 ± - | -||||||
| GPT-3.5 | -0.92 ± 0.01 | -0.74 ± 0.04 | -- | -0.67 ± 0.01 | -0.92 ± 0.04 | + {% for dataset in site.data.leaderboard[lang].randomized_choice.knowledge %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}|
| GPT-4 | -0.92 ± 0.01 | -0.74 ± 0.04 | -- | -0.67 ± 0.01 | -0.92 ± 0.04 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].randomized_choice.knowledge %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -mMARCO | -mRobust04 | -||||||
|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -|
| URA-LLaMa 70B | -- | - | - | - | - | - | - | - |
| URA-LLaMa 13B | -- | - | - | - | - | - | - | - |
| URA-LLaMa 7B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.07 ± 0.00 | -0.17 ± 0.00 | -- | -- | -- | -- | -
| LLaMa-2 13B | -0.06 ± 0.00 | -0.13 ± 0.00 | -0.19 ± 0.00 | -0.19 ± 0.00 | -- | - | - | - |
| LLaMa-2 7B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.08 ± 0.00 | -0.16 ± 0.00 | -- | -- | -- | -- | -
| Vietcuna 7B | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | -
| Models | -ZaloE2E | -ViMMRC | -|||||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.23 ± 0.00 | -0.37 ± 0.00 | -0.65 ± 0.00 | -0.53 ± 0.00 | -0.84 ± 0.00 | -0.11 ± 0.00 | -0.77 ± 0.00 | -
| URA-LLaMa 13B | -0.18 ± 0.00 | -0.30 ± 0.00 | -0.41 ± 0.00 | -0.34 ± 0.00 | -0.61 ± 0.00 | -0.22 ± 0.00 | -0.58 ± 0.00 | -
| URA-LLaMa 7B | -0.10 ± 0.00 | -0.18 ± 0.00 | -0.33 ± 0.02 | -0.28 ± 0.02 | -0.61 ± 0.01 | -0.19 ± 0.02 | -0.33 ± 0.06 | -
| LLaMa-2 13B | -0.13 ± 0.00 | -0.21 ± 0.00 | -0.39 ± 0.00 | -0.31 ± 0.00 | -0.56 ± 0.00 | -0.46 ± 0.00 | -0.33 ± 0.00 | -
| LLaMa-2 7B | -0.02 ± 0.00 | -0.05 ± 0.00 | -0.26 ± 0.01 | -0.20 ± 0.01 | -0.51 ± 0.01 | -0.46 ± 0.01 | -0.13 ± 0.03 | -
| Vietcuna 7B | -0.05 ± 0.00 | -0.15 ± 0.00 | -0.26 ± 0.01 | -0.14 ± 0.00 | -0.50 ± 0.00 | -0.01 ± 0.01 | -0.21 ± 0.07 | -
| MixSUra 8x7B | -0.13 ± - | -0.24 ± - | -0.57 ± - | -0.45 ± - | -0.53 ± - | -0.35 ± - | -0.58 ± - | -
| GPT-3.5 | -0.45 ± 0.01 | -0.61 ± 0.01 | -0.90 ± 0.01 | -0.72 ± 0.04 | -- | -0.65 ± 0.01 | -0.88 ± 0.07 | -
| GPT-4 | -0.44 ± 0.01 | -0.61 ± 0.01 | -0.91 ± 0.01 | -0.73 ± 0.07 | -- | -0.66 ± 0.07 | -0.88 ± 0.04 | -
| Models | -XQuAD | -MLQA | ++ Models + | + {% for dataset in site.data.leaderboard[lang].robustness_aware.question_answering %} ++ {{ dataset[0] }} + | + {% endfor %}|||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | + {% for dataset in site.data.leaderboard[lang].robustness_aware.question_answering %} +EM↑ | +F1↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.01 ± 0.00 | -0.17 ± 0.00 | -0.01 ± 0.00 | -0.18 ± 0.00 | -|||
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.09 ± 0.00 | -0.00 ± 0.00 | -0.10 ± 0.00 | -|||
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.09 ± 0.00 | -0.00 ± 0.00 | -0.10 ± 0.00 | -|||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | -|||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | -|||
| Vietcuna 7B | -0.00 ± 0.00 | -0.06 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -|||
| MixSUra 8x7B | -0.00 ± - | -0.11 ± - | -0.00 ± - | -0.12 ± - | -|||
| GPT-3.5 | -0.00 ± 0.00 | -0.19 ± 0.00 | -0.00 ± 0.00 | -0.20 ± 0.00 | -|||
| GPT-4 | -0.00 ± 0.00 | -0.24 ± 0.00 | -0.00 ± 0.00 | -0.25 ± 0.00 | -|||
| + {{ model }} + | + {% for dataset in site.data.leaderboard[lang].robustness_aware.question_answering %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %} +|||||
| Models | -VLSP 2016 | -UiT-VSFC | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.63 ± 0.01 | -0.48 ± 0.01 | -0.60 ± 0.01 | -0.09 ± 0.01 | -0.83 ± 0.04 | -0.71 ± 0.01 | -0.45 ± 0.01 | -0.80 ± 0.01 | -0.08 ± 0.01 | -0.99 ± 0.01 | -
| URA-LLaMa 13B | -0.55 ± 0.02 | -0.52 ± 0.02 | -0.59 ± 0.01 | -0.06 ± 0.01 | -0.74 ± 0.05 | -0.72 ± 0.01 | -0.44 ± 0.05 | -0.77 ± 0.01 | -0.18 ± 0.01 | -0.77 ± 0.02 | -
| URA-LLaMa 7B | -0.52 ± 0.02 | -0.36 ± 0.03 | -0.59 ± 0.01 | -0.07 ± 0.01 | -0.66 ± 0.05 | -0.73 ± 0.01 | -0.41 ± 0.01 | -0.71 ± 0.01 | -0.16 ± 0.01 | -0.87 ± 0.02 | -
| LLaMa-2 13B | -0.46 ± 0.02 | -0.30 ± 0.01 | -0.55 ± 0.01 | -0.39 ± 0.02 | -0.70 ± 0.05 | -0.66 ± 0.01 | -0.40 ± 0.01 | -0.63 ± 0.01 | -0.11 ± 0.01 | -0.89 ± 0.02 | -
| LLaMa-2 7B | -0.45 ± 0.02 | -0.36 ± 0.01 | -0.54 ± 0.01 | -0.20 ± 0.02 | -0.51 ± 0.05 | -0.51 ± 0.01 | -0.33 ± 0.01 | -0.65 ± 0.01 | -0.15 ± 0.01 | -0.80 ± 0.02 | -
| Vietcuna 7B | -0.44 ± 0.02 | -0.27 ± 0.01 | -0.51 ± 0.01 | -0.23 ± 0.02 | -0.53 ± 0.05 | -0.49 ± 0.01 | -0.25 ± 0.03 | -0.46 ± 0.01 | -0.33 ± 0.01 | -0.34 ± 0.03 | -
| MixSUra 8x7B | -0.59 ± - | -0.59 ± - | -0.55 ± - | -0.34 ± - | -0.52 ± - | -0.69 ± - | -0.44 ± - | -0.61 ± - | -0.29 ± - | -0.66 ± - | -
| GPT-3.5 | -0.64 ± 0.01 | -0.60 ± 0.01 | -- | -0.31 ± 0.01 | -0.54 ± 0.05 | -0.86 ± 0.01 | -0.71 ± 0.01 | -- | -0.53 ± 0.01 | -0.86 ± 0.02 | -
| GPT-4 | -0.74 ± 0.00 | -0.73 ± 0.00 | -- | -0.41 ± 0.00 | -0.71 ± 0.00 | -0.83 ± 0.00 | -0.70 ± 0.00 | -- | -0.50 ± 0.00 | -0.85 ± 0.00 | -
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.34 ± 0.00 | -0.15 ± 0.00 | -0.23 ± 0.00 | --0.06 ± 0.00 | --0.11 ± 0.18 | -0.10 ± 0.00 | -0.10 ± 0.00 | -39.63 ± 0.87 | -0.28 ± 0.00 | -0.11 ± 0.00 | -0.19 ± 0.00 | --0.16 ± 0.00 | -0.25 ± 0.23 | -0.50 ± 0.01 | -0.50 ± 0.01 | -167.42 ± 7.09 | -
| URA-LLaMa 13B | -0.35 ± 0.00 | -0.14 ± 0.00 | -0.23 ± 0.00 | --0.09 ± 0.00 | --0.07 ± 0.17 | -0.64 ± 0.00 | -0.65 ± 0.00 | -134.65 ± 3.76 | -0.20 ± 0.00 | -0.07 ± 0.00 | -0.13 ± 0.00 | --0.17 ± 0.00 | -0.20 ± 0.11 | -0.38 ± 0.00 | -0.38 ± 0.00 | -103.69 ± 3.33 | -
| URA-LLaMa 7B | -0.37 ± 0.00 | -0.12 ± 0.00 | -0.24 ± 0.00 | --0.10 ± 0.00 | --0.24 ± 0.18 | -0.65 ± 0.00 | -0.65 ± 0.00 | -17.92 ± 0.87 | -0.37 ± 0.00 | -0.12 ± 0.00 | -0.24 ± 0.00 | --0.17 ± 0.00 | -0.11 ± 0.18 | -0.65 ± 0.00 | -0.65 ± 0.00 | -20.49 ± 0.95 | -
| LLaMa-2 13B | -0.05 ± 0.00 | -0.01 ± 0.00 | -0.04 ± 0.00 | --0.15 ± 0.00 | --0.24 ± 0.18 | -0.03 ± 0.00 | -0.03 ± 0.00 | -55.91 ± 0.65 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.17 ± 0.00 | -0.09 ± 0.00 | -0.05 ± 0.00 | -0.05 ± 0.00 | -66.85 ± 6.72 | -
| LLaMa-2 7B | -0.05 ± 0.00 | -0.01 ± 0.00 | -0.05 ± 0.00 | --0.10 ± 0.00 | --0.19 ± 0.04 | -0.07 ± 0.00 | -0.07 ± 0.00 | -55.29 ± 0.88 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.04 ± 0.00 | --0.17 ± 0.00 | -0.15 ± 0.00 | -0.06 ± 0.00 | -0.06 ± 0.00 | -58.32 ± 3.32 | -
| Vietcuna 7B | -0.03 ± 0.00 | -0.01 ± 0.00 | -0.02 ± 0.00 | --0.10 ± 0.00 | --0.18 ± 0.06 | -0.91 ± 0.00 | -0.91 ± 0.00 | -1026.61 ± 3.86 | -0.08 ± 0.00 | -0.02 ± 0.00 | -0.05 ± 0.00 | --0.17 ± 0.00 | --0.19 ± 0.05 | -0.78 ± 0.00 | -0.78 ± 0.00 | -505.45 ± 8.64 | -
| MixSUra 8x7B | -0.41 ± - | -0.19 ± - | -0.26 ± - | -- ± - | --0.03 ± - | -0.86 ± - | -0.87 ± - | -29.15 ± - | -0.46 ± - | -0.21 ± - | -0.28 ± - | -- ± - | -0.26 ± - | -0.88 ± - | -0.98 ± - | -19.10 ± - | -
| GPT-3.5 | -0.34 ± 0.00 | -0.19 ± 0.00 | -0.23 ± 0.00 | --0.10 ± 0.00 | -0.05 ± 0.14 | -0.81 ± 0.00 | -0.81 ± 0.00 | -128.44 ± 2.94 | -0.39 ± 0.00 | -0.19 ± 0.00 | -0.25 ± 0.00 | --0.17 ± 0.00 | -0.28 ± 0.11 | -0.82 ± 0.00 | -0.82 ± 0.00 | -200.90 ± 7.40 | -
| GPT-4 | -0.39 ± 0.00 | -0.21 ± 0.00 | -0.26 ± 0.00 | --0.10 ± 0.09 | -0.04 ± 0.00 | -0.83 ± 0.00 | -0.83 ± 0.71 | -24.48 ± 0.00 | -0.45 ± 0.00 | -0.20 ± 0.00 | -0.27 ± 0.00 | --0.17 ± 0.00 | -0.28 ± 0.00 | -0.80 ± 0.03 | -0.81 ± 0.00 | -20.40 ± 1.59 | -
| Models | -UiT-VSMEC | -PhoATIS | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.25 ± 0.00 | -0.16 ± 0.00 | -0.56 ± 0.02 | -0.20 ± 0.00 | -0.33 ± 0.00 | -0.16 ± 0.02 | -0.26 ± 0.03 | -0.79 ± 0.00 | -0.79 ± 0.02 | -0.08 ± 0.06 | -
| URA-LLaMa 13B | -0.30 ± 0.00 | -0.11 ± 0.00 | -0.51 ± 0.01 | -0.26 ± 0.00 | -0.44 ± 0.00 | -0.01 ± 0.01 | -0.05 ± 0.01 | -0.47 ± 0.01 | -0.84 ± 0.01 | -0.00 ± 0.04 | -
| URA-LLaMa 7B | -0.29 ± 0.00 | -0.10 ± 0.00 | -0.57 ± 0.01 | -0.17 ± 0.00 | -0.30 ± 0.00 | -0.02 ± 0.01 | -0.04 ± 0.00 | -0.55 ± 0.01 | -0.18 ± 0.01 | -0.01 ± 0.02 | -
| LLaMa-2 13B | -0.19 ± 0.00 | -0.07 ± 0.00 | -0.52 ± 0.01 | -0.47 ± 0.00 | -0.43 ± 0.00 | -0.02 ± 0.00 | -0.06 ± 0.00 | -0.57 ± 0.01 | -0.91 ± 0.00 | -0.01 ± 0.00 | -
| LLaMa-2 7B | -0.17 ± 0.00 | -0.10 ± 0.00 | -0.55 ± 0.00 | -0.33 ± 0.00 | -0.29 ± 0.00 | -0.01 ± 0.01 | -0.00 ± 0.00 | -0.56 ± 0.00 | -0.69 ± 0.01 | -0.02 ± 0.02 | -
| Vietcuna 7B | -0.09 ± 0.00 | -0.09 ± 0.00 | -0.51 ± 0.01 | -0.91 ± 0.00 | -0.09 ± 0.00 | -0.02 ± 0.01 | -0.01 ± 0.00 | -0.55 ± 0.01 | -0.23 ± 0.01 | -0.02 ± 0.01 | -
| MixSUra 8x7B | -0.35 ± - | -0.27 ± - | -0.70 ± - | -0.58 ± - | -0.70 ± - | -0.80 ± - | -55 ± - | -0.94 ± - | -0.15 ± - | -0.88 ± - | -
| GPT-3.5 | -0.42 ± 0.00 | -0.41 ± 0.00 | -- | -0.28 ± 0.00 | -0.30 ± 0.00 | -0.68 ± 0.02 | -0.64 ± 0.03 | -- | -0.62 ± 0.02 | -0.70 ± 0.05 | -
| GPT-4 | -0.48 ± 0.00 | -0.45 ± 0.00 | -- | -0.33 ± 0.00 | -0.40 ± 0.00 | -0.86 ± 0.01 | -0.80 ± 0.02 | -- | -0.80 ± 0.01 | -0.91 ± 0.03 | -
| Models | -UiT-ViCTSD | -UiT-ViHSD | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.32 ± 0.00 | -0.21 ± 0.00 | -0.72 ± 0.01 | -0.62 ± 0.00 | -0.33 ± 0.00 | -0.14 ± 0.00 | -0.12 ± 0.00 | -0.64 ± 0.02 | -0.61 ± 0.00 | -0.23 ± 0.00 | -
| URA-LLaMa 13B | -0.27 ± 0.00 | -0.26 ± 0.00 | -0.56 ± 0.00 | -0.56 ± 0.00 | -0.12 ± 0.00 | -0.18 ± 0.00 | -0.11 ± 0.00 | -0.57 ± 0.01 | -0.45 ± 0.00 | -0.20 ± 0.00 | -
| URA-LLaMa 7B | -0.22 ± 0.00 | -0.21 ± 0.00 | -0.63 ± 0.00 | -0.39 ± 0.00 | -0.36 ± 0.00 | -0.12 ± 0.00 | -0.07 ± 0.00 | -0.62 ± 0.00 | -0.38 ± 0.00 | -0.19 ± 0.00 | -
| LLaMa-2 13B | -0.12 ± 0.00 | -0.11 ± 0.00 | -0.56 ± 0.01 | -0.66 ± 0.00 | -0.12 ± 0.00 | -0.10 ± 0.00 | -0.07 ± 0.00 | -0.59 ± 0.01 | -0.62 ± 0.00 | -0.24 ± 0.00 | -
| LLaMa-2 7B | -0.04 ± 0.00 | -0.04 ± 0.00 | -0.62 ± 0.00 | -0.86 ± 0.00 | -0.02 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.54 ± 0.00 | -0.79 ± 0.00 | -0.00 ± 0.00 | -
| Vietcuna 7B | -0.11 ± 0.00 | -0.11 ± 0.00 | -0.54 ± 0.00 | -0.39 ± 0.00 | -0.13 ± 0.00 | -0.09 ± 0.00 | -0.05 ± 0.00 | -0.5 ± 0.00 | -0.24 ± 0.00 | -0.08 ± 0.00 | -
| MixSUra 8x7B | -0.72 ± - | -0.39 ± - | -- ± - | -0.25 ± - | -0.81 ± - | -0.66 ± - | -0.31 ± - | -0.67 ± - | -0.21 ± - | -0.82 ± - | -
| GPT-3.5 | -0.51 ± 0.00 | -0.46 ± 0.00 | -0.5 ± 0.00 | -0.01 ± 0.00 | -0.54 ± 0.00 | -0.64 ± 0.00 | -0.47 ± 0.00 | -- ± - | -0.30 ± 0.00 | -0.63 ± 0.00 | -
| GPT-4 | -0.88 ± 0.00 | -0.71 ± 0.00 | -- ± - | -0.38 ± 0.00 | -0.88 ± 0.00 | -0.78 ± 0.00 | -0.56 ± 0.00 | -- ± - | -0.44 ± 0.00 | -0.78 ± 0.00 | -
| Models | -PhoMT | -OPUS100 | -||||||
|---|---|---|---|---|---|---|---|---|
| (En → Vi) | -(Vi → En) | -(En → Vi) | -(Vi → En) | -(En → Vi) | -(Vi → En) | -(En → Vi) | -(Vi → En) | -|
| URA-LLaMa 70B | -0.25 ± 0.00 | -0.58 ± 0.00 | -0.11 ± 0.00 | -0.51 ± 0.00 | -0.05 ± 0.00 | -0.40 ± 0.01 | -0.06 ± 0.00 | -0.36 ± 0.00 | -
| URA-LLaMa 13B | -0.23 ± 0.00 | -0.55 ± 0.00 | -0.10 ± 0.00 | -0.50 ± 0.00 | -0.03 ± 0.00 | -0.38 ± 0.01 | -0.05 ± 0.00 | -0.38 ± 0.00 | -
| URA-LLaMa 7B | -0.15 ± 0.00 | -0.48 ± 0.00 | -0.06 ± 0.00 | -0.46 ± 0.00 | -0.02 ± 0.00 | -0.35 ± 0.00 | -0.03 ± 0.00 | -0.34 ± 0.01 | -
| LLaMa-2 13B | -0.20 ± 0.00 | -0.51 ± 0.00 | -0.07 ± 0.00 | -0.44 ± 0.00 | -0.03 ± 0.00 | -0.36 ± 0.01 | -0.04 ± 0.00 | -0.32 ± 0.00 | -
| LLaMa-2 7B | -0.13 ± 0.00 | -0.41 ± 0.00 | -0.05 ± 0.00 | -0.42 ± 0.00 | -0.02 ± 0.00 | -0.31 ± 0.00 | -0.03 ± 0.00 | -0.30 ± 0.00 | -
| Vietcuna 7B | -0.17 ± 0.00 | -0.43 ± 0.00 | -0.07 ± 0.01 | -0.41 ± 0.00 | -0.09 ± 0.01 | -0.38 ± 0.01 | -0.09 ± 0.01 | -0.33 ± 0.00 | -
| MixSUra 8x7B | -0.14 ± - | -0.50 ± - | -0.11 ± - | -0.46 ± - | -0.06 ± - | -0.36 ± - | -0.06 ± - | -0.31 ± - | -
| GPT-3.5 | -0.31 ± 0.00 | -0.64 ± 0.00 | -0.17 ± 0.00 | -0.59 ± 0.00 | -0.15 ± 0.01 | -0.49 ± 0.01 | -0.21 ± 0.01 | -0.48 ± 0.00 | -
| GPT-4 | -0.31 ± 0.00 | -0.65 ± 0.00 | -0.20 ± 0.00 | -0.62 ± 0.00 | -0.16 ± 0.01 | -0.50 ± 0.01 | -0.23 ± 0.01 | -0.51 ± 0.00 | -
| Models | -XQuAD | -MLQA | -||
|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | -|
| URA-LLaMa 70B | -0.21 ± 0.01 | -0.47 ± 0.01 | -0.14 ± 0.01 | -0.41 ± 0.00 | -
| URA-LLaMa 13B | -0.22 ± 0.01 | -0.43 ± 0.01 | -0.17 ± 0.01 | -0.40 ± 0.01 | -
| URA-LLaMa 7B | -0.13 ± 0.00 | -0.32 ± 0.00 | -0.10 ± 0.00 | -0.32 ± 0.00 | -
| LLaMa-2 13B | -0.04 ± 0.00 | -0.28 ± 0.00 | -0.04 ± 0.00 | -0.28 ± 0.00 | -
| LLaMa-2 7B | -0.06 ± 0.00 | -0.24 ± 0.00 | -0.05 ± 0.00 | -0.24 ± 0.00 | -
| MixSUra 8x7b | -0.13 ±- | -0.38 ± - | -0.09 ± - | -0.36 ± - | -
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.49 ± 0.00 | -0.23 ± 0.00 | -0.31 ± 0.00 | --0.08 ± 0.00 | -0.05 ± 0.11 | -0.89 ± 0.00 | -8.90 ± 0.03 | -18.48 ± 0.59 | -0.47 ± 0.00 | -0.20 ± 0.00 | -0.29 ± 0.00 | --0.16 ± 0.00 | -0.19 ± 0.13 | -0.86 ± 0.00 | -6.83 ± 0.09 | -25.30 ± 1.86 | -
| URA-LLaMa 13B | -0.27 ± 0.00 | -0.12 ± 0.00 | -0.18 ± 0.00 | --0.09 ± 0.00 | -0.05 ± 0.11 | -0.56 ± 0.00 | -5.00 ± 0.04 | -153.55 ± 0.99 | -0.22 ± 0.00 | -0.09 ± 0.00 | -0.14 ± 0.00 | --0.16 ± 0.00 | -0.20 ± 0.007 | -0.48 ± 0.00 | -3.49 ± 0.04 | -190.09 ± 4.92 | -
| URA-LLaMa 7B | -0.45 ± 0.00 | -0.21 ± 0.00 | -0.29 ± 0.00 | --0.08 ± 0.00 | -0.03 ± 0.09 | -0.91 ± 0.00 | -9.43 ± 0.03 | -6.42 ± 0.05 | -0.42 ± 0.00 | -0.18 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.07 ± 0.12 | -0.89 ± 0.00 | -7.58 ± 0.05 | -7.14 ± 0.14 | -
| LLaMa-2 13B | -0.45 ± 0.00 | -0.22 ± 0.00 | -0.29 ± 0.00 | --0.09 ± 0.00 | -0.00 ± 0.14 | -0.92 ± 0.00 | -9.49 ± 0.02 | -8.46 ± 0.29 | -0.47 ± 0.00 | -0.22 ± 0.00 | -0.29 ± 0.00 | --0.16 ± 0.00 | -0.34 ± 0.12 | -0.92 ± 0.00 | -9.39 ± 0.05 | -17.94 ± 2.84 | -
| LLaMa-2 7B | -0.36 ± 0.00 | -0.17 ± 0.00 | -0.23 ± 0.00 | --0.09 ± 0.00 | --0.15 ± 0.12 | -0.69 ± 0.00 | -6.35 ± 0.03 | -7.59 ± 0.21 | -0.45 ± 0.00 | -0.20 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.36 ± 0.00 | -0.83 ± 0.00 | -7.71 ± 0.07 | -12.39 ± 1.46 | -
| MixSUra 8x7B | -0.44 ± - | -0.22 ± - | -0.29 ± - | -- ± - | -0.07 ± - | -0.97 ± - | -35.67 ± - | -9.43 ± - | -0.47 ± - | -0.22 ± - | -0.29 ± - | -- ± - | -0.19 ± - | -0.97 ± - | -28.97 ± - | -10.27 ± - | -
| Models | -mMARCO | -mRobust04 | -||||||
|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -|
| URA-LLaMa 70B | -- | -- | -- | -- | -- | -- | -- | -- | -
| URA-LLaMa 13B | -- | -- | -- | -- | -- | -- | -- | -- | -
| URA-LLaMa 7B | -0.06 ± 0.00 | -0.14 ± 0.00 | -0.09 ± 0.00 | -0.21 ± 0.00 | -- | -- | -- | -- | -
| LLaMa-2 13B | -- | -- | -- | -- | -- | -- | -- | -- | -
| LLaMa-2 7B | -0.06 ± 0.00 | -0.11 ± 0.00 | -0.08 ± 0.00 | -0.17 ± 0.00 | -- | -- | -- | -- | -
| Vietcuna 7B | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | -
| Models | -ZaloE2E | -ViMMRC | -|||||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.28 ± 0.02 | -0.44 ± 0.02 | -0.80 ± 0.02 | -0.80 ± 0.02 | -0.85 ± 0.01 | -0.10 ± 0.02 | -0.96 ± 0.03 | -
| URA-LLaMa 13B | -0.12 ± 0.01 | -0.22 ± 0.01 | -0.40 ± 0.02 | -0.31 ± 0.02 | -0.57 ± 0.02 | -0.48 ± 0.02 | -0.42 ± 0.08 | -
| URA-LLaMa 7B | -0.09 ± 0.01 | -0.20 ± 0.02 | -0.30 ± 0.02 | -0.10 ± 0.01 | -0.56 ± 0.02 | -0.27 ± 0.02 | -0.56 ± 0.07 | -
| LLaMa-2 13B | -0.06 ± 0.01 | -0.10 ± 0.01 | -0.52 ± 0.02 | -0.41 ± 0.02 | -0.64 ± 0.02 | -0.33 ± 0.02 | -0.73 ± 0.07 | -
| LLaMa-2 7B | -0.03 ± 0.01 | -0.07 ± 0.01 | -0.37 ± 0.02 | -0.25 ± 0.02 | -0.51 ± 0.02 | -0.35 ± 0.02 | -0.29 ± 0.06 | -
| Vietcuna 7B | -0.03 ± 0.01 | -0.06 ± 0.01 | -0.32 ± 0.02 | -0.22 ± 0.02 | -0.50 ± 0.00 | -0.07 ± 0.02 | -0.33 ± 0.07 | -
| GPT-3.5 | -0.37 ± 0.02 | -0.56 ± 0.02 | -0.90 ± 0.01 | -0.72 ± 0.01 | -- | -0.65 ± 0.01 | -0.90 ± 0.04 | -
| GPT-4 | -0.38 ± 0.02 | -0.55 ± 0.02 | -0.92 ± 0.01 | -0.73 ± 0.06 | -- | -0.67 ± 0.01 | -0.90 ± 0.04 | -
| Models | -MLQA-MLM | -VSEC | -||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -|
| URA-LLaMa 70B | -0.00 ± 0.00 | -0.50 ± 0.01 | -0.64 ± 0.01 | -519.09 ± 10.96 | -115.82 ± 2.45 | -1.08 ± 0.01 | -0.00 ± 0.00 | -0.88 ± 0.00 | -1.01 ± 0.00 | -113.51 ± 0.57 | -29.91 ± 0.15 | -1.09 ± 0.00 | -
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.67 ± 0.00 | -0.78 ± 0.00 | -697.85 ± 11.62 | -161.34 ± 2.64 | -1.16 ± 0.02 | -0.01 ± 0.00 | -0.42 ± 0.01 | -0.56 ± 0.01 | -54.88 ± 0.77 | -14.50 ± 0.19 | -1.26 ± 0.00 | -
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.73 ± 0.00 | -0.88 ± 0.01 | -684.00 ± 13.18 | -166.87 ± 3.18 | -1.25 ± 0.01 | -0.01 ± 0.00 | -3.33 ± 0.04 | -3.14 ± 0.03 | -420.34 ± 5.66 | -85.79 ± 0.96 | -1.33 ± 0.00 | -
| LLaMa-2 13B | -0.00 ± 0.00 | -0.90 ± 0.00 | -1.00 ± 0.00 | -881.97 ± 11.23 | -208.52 ± 2.52 | -1.10 ± 0.01 | -0.00 ± 0.00 | -1.32 ± 0.01 | -1.40 ± 0.01 | -160.06 ± 1.16 | -38.12 ± 0.23 | -1.11 ± 0.00 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.95 ± 0.00 | -1.07 ± 0.01 | -860.42 ± 13.18 | -210.21 ± 3.18 | -1.25 ± 0.01 | -0.00 ± 0.00 | -1.54 ± 0.04 | -1.55 ± 0.03 | -171.28 ± 5.66 | -40.18 ± 0.96 | -1.14 ± 0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -1.00 ± 0.00 | -1.00 ± 0.00 | -951.53 ± 12.37 | -208.57 ± 2.73 | -1.48 ± 0.01 | -0.01 ± 0.00 | -1.11 ± 0.01 | -1.20 ± 0.01 | -139.90 ± 1.39 | -33.94 ± 0.33 | -1.61 ± 0.00 | -
| GPT-3.5 | -0.00 ± 0.00 | -0.34 ± 0.01 | -0.50 ± 0.01 | -422.30 ± 10.79 | -100.33 ± 2.44 | -- | -0.02 ± 0.00 | -0.16 ± 0.00 | -0.30 ± 0.00 | -12.63 ± 0.34 | -3.48 ± 0.09 | -- | -
| GPT-4 | -0.04 ± 0.00 | -0.40 ± 0.01 | -0.45 ± 0.01 | -381.88 ± 10.26 | -93.34 ± 2.39 | -- | -0.60 ± 0.01 | -0.14 ± 0.00 | -0.26 ± 0.00 | -13.58 ± 0.45 | -3.67 ± 0.12 | -- | -
| Models | -XQuAD | -MLQA | -||
|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | -|
| URA-LLaMa 70B | -0.06 ± 0.00 | -0.30 ± 0.00 | -0.04 ± 0.00 | -0.28 ± 0.00 | -
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.14 ± 0.00 | -0.00 ± 0.00 | -0.15 ± 0.00 | -
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.14 ± 0.00 | -0.00 ± 0.00 | -0.16 ± 0.00 | -
| LLaMa-2 13B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.02 | -0.05 ± 0.00 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.05 ± 0.00 | -0.00 ± 0.00 | -0.06 ± 0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -
| GPT-3.5 | -0.00 ± 0.00 | -0.24 ± 0.00 | -0.00 ± 0.00 | -0.25 ± 0.00 | -
| GPT-4 | -0.00 ± 0.00 | -0.27 ± 0.00 | -0.00 ± 0.00 | -0.27 ± 0.00 | -
| Models | -SR - Natural | -SR - Abstract symbol | -MATH | ++ Models + | + {% for dataset in site.data.leaderboard[lang].zero_shot.reasoning %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | + {% for dataset in site.data.leaderboard[lang].zero_shot.reasoning %} +EM↑ | +F1↑ | +Equ↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.06 ± 0.00 | -0.34 ± 0.00 | -0.06 ± 0.00 | -0.02 ± 0.00 | -0.24 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.24 ± 0.02 | -||||
| URA-LLaMa 13B | -0.01 ± 0.00 | -0.31 ± 0.00 | -0.02 ± 0.00 | -0.02 ± 0.00 | -0.24 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.14 ± 0.02 | -||||
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.26 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.17 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.01 | -||||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.06 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | -0.19 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.16 ± 0.02 | -||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.06 ± 0.01 | -||||
| Vietcuna 7B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -||||
| GPT-3.5 | -0.21 ± 0.00 | -0.59 ± 0.00 | -0.32 ± 0.00 | -0.09 ± 0.00 | -0.28 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.72 ± 0.02 | -||||
| GPT-4 | -0.21 ± 0.00 | -0.59 ± 0.00 | -0.32 ± 0.00 | -0.09 ± 0.00 | -0.28 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.76 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].zero_shot.reasoning %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% assign Equ_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m]["Equ"] and dataset[1][m]["Equ"] > Equ_best %} + {% assign Equ_best = dataset[1][m]["Equ"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["Equ"] %} + {{ dataset[1][model]["Equ"] | round: 2 }} ± {{ dataset[1][model]["Equ_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -VLSP 2016 | -UiT-VSFC | ++ Models + | + {% for dataset in site.data.leaderboard[lang].zero_shot.sentiment_analysis %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | + {% for dataset in site.data.leaderboard[lang].zero_shot.sentiment_analysis %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.63 ± 0.02 | -0.63 ± 0.02 | -0.74 ± 0.01 | -0.15 ± 0.01 | -0.87 ± 0.03 | -0.64 ± 0.01 | -0.54 ± 0.01 | -0.85 ± 0.01 | -0.14 ± 0.00 | -0.98 ± 0.01 | -||||||
| URA-LLaMa 13B | -0.52 ± 0.02 | -0.35 ± 0.01 | -0.60 ± 0.01 | -0.10 ± 0.01 | -0.64 ± 0.05 | -0.70 ± 0.01 | -0.40 ± 0.01 | -0.72 ± 0.01 | -0.23 ± 0.01 | -0.95 ± 0.01 | -||||||
| URA-LLaMa 7B | -0.35 ± 0.02 | -0.24 ± 0.01 | -0.54 ± 0.01 | -0.24 ± 0.01 | -0.31 ± 0.05 | -0.27 ± 0.01 | -0.18 ± 0.00 | -0.52 ± 0.01 | -0.37 ± 0.01 | -0.03 ± 0.01 | -||||||
| LLaMa-2 13B | -0.25 ± 0.01 | -0.25 ± 0.01 | -0.49 ± 0.01 | -0.39 ± 0.01 | -0.29 ± 0.05 | -0.29 ± 0.01 | -0.24 ± 0.01 | -0.52 ± 0.01 | -0.42 ± 0.01 | -0.30 ± 0.03 | -||||||
| LLaMa-2 7B | -0.15 ± 0.01 | -0.15 ± 0.01 | -0.58 ± 0.01 | -0.73 ± 0.01 | -0.12 ± 0.03 | -0.04 ± 0.00 | -0.06 ± 0.01 | -0.49 ± 0.01 | -0.79 ± 0.00 | -0.01 ± 0.01 | -||||||
| Vietcuna 7B | -0.11 ± 0.01 | -0.12 ± 0.01 | -0.49 ± 0.01 | -0.68 ± 0.01 | -0.11 ± 0.03 | -0.05 ± 0.00 | -0.06 ± 0.00 | -0.56 ± 0.01 | -0.73 ± 0.00 | -0.05 ± 0.01 | -||||||
| MixSUra 8x7B | -0.45 ± - | -0.30 ± - | -0.62 ± - | -0.50 ± - | -0.49 ± - | -0.55 ± - | -0.40 ± - | -0.66 ± - | -0.41 ± - | -0.60 ± - | -||||||
| Gemini Pro | -0.64 ± - | -0.47 ± - | -- | -0.31 ± - | -0.53 ± - | -0.76 ± - | -0.49 ± - | -- | -0.43 ± - | -0.77 ± - | -||||||
| GPT-3.5 | -0.62 ± 0.02 | -0.56 ± 0.01 | -- | -0.29 ± 0.02 | -0.62 ± 0.05 | -0.81 ± 0.31 | -0.68 ± 0.31 | -- | -0.48 ± 0.01 | -0.83 ± 0.02 | -||||||
| GPT-4 | -0.71 ± 0.01 | -0.68 ± 0.01 | -- | -0.37 ± 0.01 | -0.70 ± 0.04 | -0.80 ± 0.01 | -0.67 ± 0.01 | -- | -0.47 ± 0.01 | -0.85 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].zero_shot.sentiment_analysis %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.42 ± 0.17 | -0.21 ± 0.12 | -0.28 ± 0.00 | --0.11 ± 0.00 | -0.03 ± 0.19 | -0.85 ± 0.00 | -14.59 ± 0.05 | -17.21 ± 0.33 | -0.37 ± 0.00 | -0.16 ± 0.00 | -0.24 ± 0.00 | --0.22 ± 0.00 | -0.26 ± 0.16 | -0.17 ± 0.00 | -0.22 ± 0.00 | -22.24 ± 0.97 | -
| URA-LLaMa 13B | -0.38 ± 0.00 | -0.18 ± 0.00 | -0.25 ± 0.00 | --0.09 ± 0.00 | -0.01 ± 0.18 | -0.71 ± 0.00 | -6.01 ± 0.07 | -24.27 ± 0.61 | -0.22 ± 0.00 | -0.08 ± 0.00 | -0.14 ± 0.00 | --0.16 ± 0.00 | --0.13 ± 0.12 | -0.42 ± 0.01 | -3.06 ± 0.10 | -49.58 ± 1.16 | -
| URA-LLaMa 7B | -0.38 ± 0.00 | -0.14 ± 0.00 | -0.25 ± 0.00 | --0.09 ± 0.00 | -0.04 ± 0.12 | -0.65 ± 0.00 | -4.88 ± 0.03 | -7.77 ± 0.05 | -0.40 ± 0.00 | -0.15 ± 0.00 | -0.26 ± 0.00 | --0.16 ± 0.00 | -0.19 ± 0.07 | -0.73 ± 0.00 | -4.79 ± 0.07 | -6.22 ± 0.07 | -
| LLaMa-2 13B | -0.06 ± 0.00 | -0.02 ± 0.00 | -0.04 ± 0.00 | --0.09 ± 0.00 | --0.18 ± 0.04 | -0.07 ± 0.00 | -0.43 ± 0.01 | -28.25 ± 0.24 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.16 ± 0.00 | --0.11 ± 0.08 | -0.03 ± 0.00 | -0.07 ± 0.01 | -19.55 ± 0.51 | -
| LLaMa-2 7B | -0.06 ± 0.00 | -0.01 ± 0.00 | -0.05 ± 0.00 | --0.09 ± 0.00 | --0.23 ± 0.04 | -0.06 ± 0.00 | -0.21 ± 0.00 | -15.75 ± 0.20 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.16 ± 0.00 | --0.14 ± 0.07 | -0.03 ± 0.00 | -0.06 ± 0.00 | -17.84 ± 0.50 | -
| Vietcuna 7B | -0.28 ± 0.00 | -0.06 ± 0.00 | -0.18 ± 0.00 | --0.09 ± 0.00 | --0.09 ± 0.09 | -0.31 ± 0.00 | -0.80 ± 0.01 | -171.63 ± 1.71 | -0.24 ± 0.00 | -0.06 ± 0.00 | -0.15 ± 0.00 | --0.16 ± 0.00 | --0.18 ± 0.07 | -0.51 ± 0.01 | -1.16 ± 0.01 | -238.67 ± 3.37 | -
| GPT-3.5 | -0.36 ± 0.00 | -0.20 ± 0.00 | -0.24 ± 0.00 | --0.09 ± 0.00 | -0.04 ± 0.13 | -0.86 ± 0.00 | -3.97 ± 0.02 | -13.32 ± 0.65 | -0.43 ± 0.00 | -0.21 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.22 ± 0.03 | -0.87 ± 0.00 | -3.29 ± 0.03 | -35.50 ± 0.82 | -
| GPT-4 | -0.41 ± 0.00 | -0.21 ± 0.00 | -0.26 ± 0.00 | --0.08 ± 0.00 | --0.04 ± 0.11 | -0.84 ± 0.00 | -3.45 ± 0.00 | -15.43 ± 0.49 | -0.44 ± 0.00 | -0.21 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.24 ± 0.04 | -0.82 ± 0.00 | -2.37 ± 0.01 | -6.61 ± 0.16 | -
| Models | -UiT-VSMEC | -PhoATIS | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.40 ± 0.02 | -0.32 ± 0.02 | -0.68 ± 0.01 | -0.14 ± 0.02 | -0.60 ± 0.06 | -0.56 ± 0.02 | -0.48 ± 0.03 | -0.85 ± 0.00 | -0.25 ± 0.02 | -0.56 ± 0.06 | -
| URA-LLaMa 13B | -0.29 ± 0.02 | -0.25 ± 0.02 | -0.52 ± 0.01 | -0.09 ± 0.01 | -0.23 ± 0.05 | -0.10 ± 0.01 | -0.10 ± 0.01 | -0.72 ± 0.00 | -0.52 ± 0.01 | -0.14 ± 0.04 | -
| URA-LLaMa 7B | -0.13 ± 0.01 | -0.11 ± 0.01 | -0.50 ± 0.01 | -0.15 ± 0.01 | -0.21 ± 0.05 | -0.04 ± 0.01 | -0.04 ± 0.02 | -0.77 ± 0.00 | -0.30 ± 0.01 | -0.04 ± 0.02 | -
| LLaMa-2 13B | -0.11 ± 0.01 | -0.10 ± 0.01 | -0.49 ± 0.01 | -0.31 ± 0.01 | -0.09 ± 0.04 | -0.03 ± 0.01 | -0.02 ± 0.00 | -0.45 ± 0.01 | -0.28 ± 0.01 | -0.03 ± 0.02 | -
| LLaMa-2 7B | -0.07 ± 0.01 | -0.08 ± 0.01 | -0.52 ± 0.01 | -0.35 ± 0.01 | -0.07 ± 0.03 | -0.00 ± 0.06 | -0.00 ± 0.06 | -0.61 ± 0.01 | -0.32 ± 0.00 | -0.00 ± 0.00 | -
| Vietcuna 7B | -0.05 ± 0.01 | -0.02 ± 0.01 | -0.52 ± 0.01 | -0.95 ± 0.01 | -0.03 ± 0.02 | -0.05 ± 0.01 | -0.01 ± 0.00 | -0.66 ± 0.00 | -0.20 ± 0.01 | -0.01 ± 0.21 | -
| GPT-3.5 | -0.43 ± 0.02 | -0.37 ± 0.02 | -- | -0.29 ± 0.02 | -0.43 ± 0.06 | -0.44 ± 0.02 | -0.38 ± 0.03 | -- | -0.38 ± 0.02 | -0.44 ± 0.05 | -
| GPT-4 | -0.49 ± 0.02 | -0.46 ± 0.02 | -- | -0.35 ± 0.02 | -0.50 ± 0.06 | -0.89 ± 0.01 | -0.69 ± 0.02 | -- | -0.83 ± 0.01 | -0.89 ± 0.03 | -
| Models | -UiT-ViCTSD | -UiT-ViHSD | ++ Models + | + {% for dataset in site.data.leaderboard[lang].zero_shot.toxicity_detection %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | + {% for dataset in site.data.leaderboard[lang].zero_shot.toxicity_detection %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.61 ± 0.01 | -0.52 ± 0.01 | -0.77 ± 0.01 | -0.17 ± 0.01 | -0.97 ± 0.01 | -0.38 ± 0.01 | -0.34 ± 0.01 | -0.74 ± 0.01 | -0.25 ± 0.01 | -0.91 ± 0.01 | -||||||
| URA-LLaMa 13B | -0.46 ± 0.01 | -0.28 ± 0.03 | -0.53 ± 0.02 | -0.22 ± 0.01 | -0.48 ± 0.03 | -0.33 ± 0.01 | -0.18 ± 0.00 | -0.60 ± 0.01 | -0.35 ± 0.01 | -0.54 ± 0.02 | -||||||
| URA-LLaMa 7B | -0.25 ± 0.01 | -0.19 ± 0.01 | -0.53 ± 0.01 | -0.38 ± 0.01 | -0.13 ± 0.02 | -0.19 ± 0.00 | -0.13 ± 0.00 | -0.55 ± 0.01 | -0.46 ± 0.01 | -0.13 ± 0.01 | -||||||
| LLaMa-2 13B | -0.16 ± 0.01 | -0.14 ± 0.00 | -0.40 ± 0.01 | -0.50 ± 0.01 | -0.24 ± 0.02 | -0.09 ± 0.00 | -0.13 ± 0.00 | -0.38 ± 0.01 | -0.63 ± 0.00 | -0.10 ± 0.01 | -||||||
| LLaMa-2 7B | -0.13 ± 0.01 | -0.14 ± 0.01 | -0.45 ± 0.02 | -0.69 ± 0.01 | -0.09 ± 0.01 | -0.03 ± 0.00 | -0.05 ± 0.01 | -0.56 ± 0.01 | -0.75 ± 0.00 | -0.00 ± 0.00 | -||||||
| Vietcuna 7B | -0.09 ± 0.00 | -0.07 ± 0.00 | -0.50 ± 0.00 | -0.41 ± 0.00 | -0.10 ± 0.03 | -0.07 ± 0.00 | -0.04 ± 0.00 | -0.50 ± 0.00 | -0.26 ± 0.00 | -0.07 ± 0.01 | -||||||
| GPT-3.5 | -0.75 ± 0.01 | -0.61 ± 0.02 | -- | -0.25 ± 0.01 | -0.80 ± 0.04 | -0.55 ± 0.01 | -0.42 ± 0.01 | -- | -0.22 ± 0.01 | -0.55 ± 0.02 | -||||||
| GPT-4 | -0.89 ± 0.01 | -0.69 ± 0.01 | -- | -0.39 ± 0.01 | -0.89 ± 0.03 | -0.75 ± 0.01 | -0.53 ± 0.01 | -- | -0.42 ± 0.01 | -0.75 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].zero_shot.toxicity_detection %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -XQuAD | -MLQA | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -|
| URA-LLaMa 70B | -- | -0.39 ± 0.01 | -- | -0.41 ± 0.00 | -0.02 ± 0.00 | -- | -0.14 ± 0.02 | -- | -0.42 ± 0.03 | -0.02 ± 0.00 | -
| URA-LLaMa 13B | -- | -0.39 ± 0.01 | -- | -0.45 ± 0.01 | -0.02 ± 0.00 | -- | -0.17 ± 0.1 | -- | -0.38 ± 0.00 | -0.02 ± 0.00 | -
| URA-LLaMa 7B | -- | -0.43 ± 0.01 | -- | -0.48 ± 0.00 | -0.03 ± 0.00 | -- | -0.18 ± 0.01 | -- | -0.37 ± 0.01 | -0.02 ± 0.00 | -
| LLaMa-2 13B | -- | -0.35 ± 0.03 | -- | -0.46 ± 0.00 | -0.01 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.43 ± 0.00 | -0.01 ± 0.00 | -
| LLaMa-2 7B | -- | -0.46 ± 0.01 | -- | -0.42 ± 0.00 | -0.01 ± 0.00 | -- | -0.21 ± 0.06 | -- | -0.45 ± 0.00 | -0.01 ± 0.00 | -
| Vietcuna 7B | -- | -0.50 ± 0.00 | -- | -- | -0.04 ± 0.00 | -- | -0.23 ± 0.09 | -- | -0.49 ± 0.01 | -0.04 ± 0.00 | -
| GPT-3.5 | -- | -0.43 ± 0.01 | -- | -0.48 ± 0.00 | -0.02 ± 0.00 | -- | -0.18 ± 0.01 | -- | -0.40 ± 0.00 | -0.02 ± 0.00 | -
| GPT-4 | -- | -0.40 ± 0.01 | -- | -0.45 ± 0.00 | -0.02 ± 0.00 | -- | -0.16 ± 0.01 | -- | -0.41 ± 0.01 | -0.02 ± 0.00 | -
| Models | -VietNews | -WikiLingua | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -DRR→| | -DRG→| | -SAR→| | -SAG→| | -Tox↓ | -|
| URA-LLaMa 70B | -- | -0.21 ± 0.01 | -- | -0.31 ± 0.01 | -0.05 ± 0.00 | -- | -0.03 ± 0.02 | -- | -0.25 ± 0.02 | -0.03 ± 0.00 | -
| URA-LLaMa 13B | -- | -0.20 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.07 ± 0.04 | -- | -0.31 ± 0.03 | -0.02 ± 0.00 | -
| URA-LLaMa 7B | -- | -0.24 ± 0.02 | -- | -0.33 ± 0.01 | -0.04 ± 0.00 | -- | -0.07 ± 0.02 | -- | -0.38 ± 0.02 | -0.03 ± 0.00 | -
| LLaMa-2 13B | -- | -0.26 ± 0.01 | -- | -0.38 ± 0.01 | -0.01 ± 0.00 | -- | -0.17 ± 0.08 | -- | -0.50 ± 0.02 | -0.01 ± 0.00 | -
| LLaMa-2 7B | -- | -0.28 ± 0.02 | -- | -0.39 ± 0.01 | -0.01 ± 0.00 | -- | -0.39 ± 0.05 | -- | -0.50 ± 0.02 | -0.01 ± 0.00 | -
| Vietcuna 7B | -- | -0.21 ± 0.02 | -- | -0.32 ± 0.02 | -0.04 ± 0.00 | -- | -0.17 ± 0.04 | -- | -0.39 ± 0.03 | -0.03 ± 0.00 | -
| GPT-3.5 | -- | -0.22 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.03 ± 0.02 | -- | -0.28 ± 0.01 | -0.02 ± 0.00 | -
| GPT-4 | -- | -0.19 ± 0.01 | -- | -0.28 ± 0.01 | -0.06 ± 0.00 | -- | -0.09 ± 0.02 | -- | -0.28 ± 0.01 | -0.02 ± 0.00 | -
| Models | -PhoMT (En - Vi) | -OPUS100 (En - Vi) | + {% for dataset in site.data.leaderboard[lang].bias_toxicity.translation %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| DRR$→| | -DRG$→| | -SAR$→| | -SAG$→| | -Tox↓ | -DRR$→| | -DRG$→| | -SAR$→| | -SAG$→| | -Tox↓ | + {% for dataset in site.data.leaderboard[lang].bias_toxicity.translation %} +DRR↓ | +DRG↓ | +SAR↓ | +SAG↓ | +Tox↓ | + {% endfor %}|
| URA-LLaMa 70B | -- | -0.03 ± 0.01 | -- | -0.30 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -|||||
| URA-LLaMa 13B | -- | -0.09 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -|||||
| URA-LLaMa 7B | -- | -0.13 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.18 ± 0.03 | -- | -0.47 ± 0.01 | -0.07 ± 0.00 | -|||||
| LLaMa-2 13B | -- | -0.08 ± 0.00 | -- | -0.33 ± 0.02 | -0.05 ± 0.00 | -- | -0.31 ± 0.02 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -|||||
| LLaMa-2 7B | -- | -0.17 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.21 ± 0.02 | -- | -0.45 ± 0.02 | -0.05 ± 0.00 | -|||||
| Vietcuna 7B | -- | -0.18 ± 0.01 | -- | -0.36 ± 0.01 | -0.04 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -|||||
| GPT-3.5 | -- | -0.11 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.03 | -0.07 ± 0.00 | -|||||
| GPT-4 | -- | -0.09 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.14 ± 0.03 | -- | -0.41 ± 0.01 | -0.07 ± 0.00 | -|||||
| Models | -PhoMT (En $\to$ Vi) | -OPUS100 (En $\to$ Vi) | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| DRR$\to\mid$ | -DRG$\to\mid$ | -SAR$\to\mid$ | -SAG$\to\mid$ | -Tox↓ | -DRR$\to\mid$ | -DRG$\to\mid$ | -SAR$\to\mid$ | -SAG$\to\mid$ | -Tox↓ | -|
| URA-LLaMa 70B | -- | -0.03 ± 0.01 | -- | -0.30 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -
| URA-LLaMa 13B | -- | -0.09 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.27 ± 0.01 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -
| URA-LLaMa 7B | -- | -0.13 ± 0.00 | -- | -0.33 ± 0.01 | -0.05 ± 0.00 | -- | -0.18 ± 0.03 | -- | -0.47 ± 0.01 | -0.07 ± 0.00 | -
| LLaMa-2 13B | -- | -0.08 ± 0.00 | -- | -0.33 ± 0.02 | -0.05 ± 0.00 | -- | -0.31 ± 0.02 | -- | -0.47 ± 0.01 | -0.06 ± 0.00 | -
| LLaMa-2 7B | -- | -0.17 ± 0.01 | -- | -0.29 ± 0.01 | -0.04 ± 0.00 | -- | -0.21 ± 0.02 | -- | -0.45 ± 0.02 | -0.05 ± 0.00 | -
| Vietcuna 7B | -- | -0.18 ± 0.01 | -- | -0.36 ± 0.01 | -0.04 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.02 | -0.07 ± 0.00 | -
| GPT-3.5 | -- | -0.11 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.16 ± 0.03 | -- | -0.43 ± 0.03 | -0.07 ± 0.00 | -
| GPT-4 | -- | -0.09 ± 0.01 | -- | -0.34 ± 0.01 | -0.05 ± 0.00 | -- | -0.14 ± 0.03 | -- | -0.41 ± 0.01 | -0.07 ± 0.00 | -
| + {{ model }} + | + {% for dataset in site.data.leaderboard[lang].bias_toxicity.translation %} + {% assign DRR_min = 1 %} + {% assign DRG_min = 1 %} + {% assign SAR_min = 1 %} + {% assign SAG_min = 1 %} + {% assign Tox_min = 1 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].DRR and dataset[1][m].DRR < DRR_min %} + {% assign DRR_min = dataset[1][m].DRR %} + {% endif %} + {% if dataset[1][m].DRG and dataset[1][m].DRG < DRG_min %} + {% assign DRG_min = dataset[1][m].DRG %} + {% endif %} + {% if dataset[1][m].SAR and dataset[1][m].SAR < SAR_min %} + {% assign SAR_min = dataset[1][m].SAR %} + {% endif %} + {% if dataset[1][m].SAG and dataset[1][m].SAG < SAG_min %} + {% assign SAG_min = dataset[1][m].SAG %} + {% endif %} + {% if dataset[1][m].Tox and dataset[1][m].Tox < Tox_min %} + {% assign Tox_min = dataset[1][m].Tox %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].DRR %} + {{ dataset[1][model].DRR | round: 2 }} ± {{ dataset[1][model].DRR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].DRG %} + {{ dataset[1][model].DRG | round: 2 }} ± {{ dataset[1][model].DRG_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].SAR %} + {{ dataset[1][model].SAR | round: 2 }} ± {{ dataset[1][model].SAR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].SAG %} + {{ dataset[1][model].SAG | round: 2 }} ± {{ dataset[1][model].SAG_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].Tox %} + {{ dataset[1][model].Tox | round: 2 }} ± {{ dataset[1][model].Tox_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %} +|||||
| Models | -Metrics | ++ Models + | + {% for dataset in site.data.leaderboard[lang].chain_of_thought.reasoning %} ++ {{ dataset[0] }} + | + {% endfor %}||||
|---|---|---|---|---|---|---|---|
| EM ↑ | -F1 ↑ | -Equ. ↑ | + {% for dataset in site.data.leaderboard[lang].chain_of_thought.reasoning %} +EM↑ | +F1↑ | +Equ.↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.00 ± 0.00 | -0.12 ± 0.01 | -0.18 ± 0.02 | -||||
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.23 ± 0.01 | -0.17 ± 0.01 | -||||
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.23 ± 0.01 | -0.09 ± 0.01 | -||||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.12 ± 0.01 | -0.18 ± 0.02 | -||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.10 ± 0.00 | -0.12 ± 0.02 | -||||
| Vietcuna 7B | -0.00 ± 0.00 | -0.13 ± 0.01 | -0.10 ± 0.01 | -||||
| MixSUra 8x7B | -0.00 ± 0.00 | -0.17 ± 0.01 | -0.33 ± 0.00 | -||||
| GPT-3.5 | -0.00 ± 0.00 | -0.32 ± 0.01 | -0.78 ± 0.02 | -||||
| GPT-4 | -0.00 ± 0.00 | -0.32 ± 0.01 | -0.79 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].chain_of_thought.reasoning %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% assign Equ_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].Equ and dataset[1][m].Equ > Equ_best %} + {% assign Equ_best = dataset[1][m].Equ %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].Equ %} + {{ dataset[1][model].Equ | round: 2 }} ± {{ dataset[1][model].Equ_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -mMARCO | -mRobust04 | ++ Models + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.information_retrieval %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | + {% for dataset in site.data.leaderboard[lang].fairness_aware.information_retrieval %} +M@10↑ | +M@10B↑ | +N@10↑ | +N@10B↑ | + {% endfor %}||
| URA-LLaMa 70B | -- | - | - | - | - | - | - | - | |||||
| URA-LLaMa 13B | -- | - | - | - | - | - | - | - | |||||
| URA-LLaMa 7B | -0.10 ± 0.00 | -0.10 ± 0.00 | -0.14 ± 0.00 | -0.14 ± 0.00 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -|||||
| LLaMa-2 13B | -- | - | - | - | - | - | - | - | |||||
| LLaMa-2 7B | -0.05 ± 0.00 | -0.10 ± 0.00 | -0.07 ± 0.00 | -0.16 ± 0.00 | -- | -- | -- | -- | -|||||
| Vietcuna 7B | -- | -- | -- | -- | -- | -- | -- | -- | -|||||
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -|||||
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.information_retrieval %} + {% assign M10_best = 0 %} + {% assign M10B_best = 0 %} + {% assign N10_best = 0 %} + {% assign N10B_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m]["M@10"] and dataset[1][m]["M@10"] > M10_best %} + {% assign M10_best = dataset[1][m]["M@10"] %} + {% endif %} + {% if dataset[1][m]["M@10B"] and dataset[1][m]["M@10B"] > M10B_best %} + {% assign M10B_best = dataset[1][m]["M@10B"] %} + {% endif %} + {% if dataset[1][m]["N@10"] and dataset[1][m]["N@10"] > N10_best %} + {% assign N10_best = dataset[1][m]["N@10"] %} + {% endif %} + {% if dataset[1][m]["N@10B"] and dataset[1][m]["N@10B"] > N10B_best %} + {% assign N10B_best = dataset[1][m]["N@10B"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model]["M@10"] %} + {{ dataset[1][model]["M@10"] | round: 2 }} ± {{ dataset[1][model]["M@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["M@10B"] %} + {{ dataset[1][model]["M@10B"] | round: 2 }} ± {{ dataset[1][model]["M@10B_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["N@10"] %} + {{ dataset[1][model]["N@10"] | round: 2 }} ± {{ dataset[1][model]["N@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["N@10B"] %} + {{ dataset[1][model]["N@10B"] | round: 2 }} ± {{ dataset[1][model]["N@10B_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -MLQA-MLM | -VSEC | ++ Models + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.language_modeling %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | + {% for dataset in site.data.leaderboard[lang].fairness_aware.language_modeling %} +EM↑ | +CER↓ | +WER↓ | +CED↓ | +WED↓ | +PLX↓ | + {% endfor %}||
| URA-LLaMa 70B | -0.01 ± 0.00 | -0.58 ± 0.01 | -0.70 ± 0.01 | -653.57 ± 12.05 | -150.64 ± 2.73 | -1.25 ± 0.06 | -0.30 ± 0.00 | -0.11 ± 0.00 | -0.14 ± 0.00 | -15.19 ± 0.42 | -4.12 ± 0.11 | -1.13 ± 0.00 | -|||||||
| URA-LLaMa 13B | -0.02 ± 0.00 | -0.40 ± 0.01 | -0.56 ± 0.01 | -518.38 ± 11.19 | -125.24 ± 2.66 | -1.48 ± 0.11 | -0.32 ± 0.00 | -0.07 ± 0.00 | -0.21 ± 0.00 | -2.98 ± 0.11 | -1.24 ± 0.03 | -1.15 ± 0.00 | -|||||||
| URA-LLaMa 7B | -0.01 ± 0.00 | -0.40 ± 0.01 | -0.55 ± 0.01 | -492.93 ± 11.32 | -117.82 ± 2.72 | -1.22 ± 0.01 | -0.20 ± 0.00 | -0.54 ± 0.01 | -0.67 ± 0.01 | -41.77 ± 1.57 | -10.12 ± 0.35 | -1.07 ± 0.00 | -|||||||
| LLaMa-2 13B | -0.01 ± 0.00 | -0.76 ± 0.00 | -0.89 ± 0.00 | -782.03 ± 11.71 | -192.66 ± 2.83 | -1.27 ± 0.04 | -0.15 ± 0.00 | -0.07 ± 0.00 | -0.22 ± 0.00 | -3.39 ± 0.16 | -1.52 ± 0.04 | -1.01 ± 0.00 | -|||||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.79 ± 0.00 | -0.96 ± 0.00 | -761.38 ± 10.65 | -197.18 ± 2.66 | -1.75 ± 0.20 | -0.12 ± 0.00 | -0.35 ± 0.01 | -0.48 ± 0.01 | -47.54 ± 0.85 | -11.82 ± 0.19 | -1.06 ± 0.00 | -|||||||
| Vietcuna 7B | -0.00 ± 0.00 | -1.04 ± 0.00 | -1.06 ± 0.00 | -940.71 ± 12.48 | -208.05 ± 2.81 | -1.40 ± 0.00 | -0,06 ± 0.00 | -4.78 ± 0.06 | -4.80 ± 0.06 | -634.48 ± 8.58 | -145.12 ± 1.94 | -1.46 ± 0.01 | -|||||||
| MixSUra 8x7B | -0.00 ± - | -0.56 ± - | -0.63 ± - | -535.76 ± - | -133.64 ± - | -1.00 ± - | -0,07 ± - | -0.20 ± - | -0.29 ± - | -25.96 ± - | -8.79 ± - | -1.00 ± - | -|||||||
| GPT-3.5 | -0.03 ± 0.00 | -0.29 ± 0.01 | -0.46 ± 0.01 | -398.19 ± 11.01 | -96.42 ± 2.54 | -- | -0.59 ± 0.00 | -0.06 ± 0.00 | -0.19 ± 0.00 | -1.99 ± 0.08 | -0.74 ± 0.02 | -- | -|||||||
| GPT-4 | -0.06 ± 0.00 | -0.36 ± 0.01 | -0.41 ± 0.01 | -347.82 ± 10.23 | -86.96 ± 2.41 | -- | -0.67 ± 0.00 | -0.01 ± 0.00 | -0.02 ± 0.00 | -1.30 ± 0.04 | -0.54 ± 0.01 | -- | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.language_modeling %} + {% assign EM_best = 0 %} + {% assign CER_best = 1 %} + {% assign WER_best = 1 %} + {% assign CED_best = 10000 %} + {% assign WED_best = 10000 %} + {% assign PLX_best = 10000 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].CER and dataset[1][m].CER < CER_best %} + {% assign CER_best = dataset[1][m].CER %} + {% endif %} + {% if dataset[1][m].WER and dataset[1][m].WER < WER_best %} + {% assign WER_best = dataset[1][m].WER %} + {% endif %} + {% if dataset[1][m].CED and dataset[1][m].CED < CED_best %} + {% assign CED_best = dataset[1][m].CED %} + {% endif %} + {% if dataset[1][m].WED and dataset[1][m].WED < WED_best %} + {% assign WED_best = dataset[1][m].WED %} + {% endif %} + {% if dataset[1][m].PLX and dataset[1][m].PLX < PLX_best %} + {% assign PLX_best = dataset[1][m].PLX %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CER %} + {{ dataset[1][model].CER | round: 2 }} ± {{ dataset[1][model].CER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WER %} + {{ dataset[1][model].WER | round: 2 }} ± {{ dataset[1][model].WER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CED %} + {{ dataset[1][model].CED | round: 2 }} ± {{ dataset[1][model].CED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WED %} + {{ dataset[1][model].WED | round: 2 }} ± {{ dataset[1][model].WED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].PLX %} + {{ dataset[1][model].PLX | round: 2 }} ± {{ dataset[1][model].PLX_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -XQuAD | -MLQA | -||
|---|---|---|---|---|
| Exact Match↑ | -F1↑ | -Exact Match↑ | -F1↑ | -|
| URA-LLaMa 70B | -0.04 ± 0.00 | -0.27 ± 0.00 | -0.03 ± 0.00 | -0.25 ± 0.00 | -
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.14 ± 0.00 | -
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.15 ± 0.01 | -
| LLaMa-2 13B | -0.00 ± 0.00 | -0.03 ± 0.00 | -0.00 ± 0.00 | -0.04 ± 0.00 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -
| GPT-3.5 | -0.00 ± 0.00 | -0.24 ± 0.00 | -0.00 ± 0.00 | -0.23 ± 0.00 | -
| GPT-4 | -0.00 ± 0.00 | -0.26 ± 0.00 | -0.00 ± 0.00 | -0.24 ± 0.00 | -
| Models | -VLSP 2016 | -UiT-VSFC | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.65 ± 0.01 | -0.49 ± 0.01 | -0.58 ± 0.01 | -0.13 ± 0.01 | -0.77 ± 0.04 | -0.76 ± 0.01 | -0.48 ± 0.01 | -0.61 ± 0.01 | -0.17 ± 0.01 | -0.66 ± 0.03 | -
| URA-LLaMa 13B | -0.59 ± 0.01 | -0.57 ± 0.01 | -0.62 ± 0.01 | -0.07 ± 0.01 | -0.83 ± 0.04 | -0.75 ± 0.01 | -0.46 ± 0.08 | -0.83 ± 0.01 | -0.11 ± 0.01 | -0.88 ± 0.02 | -
| URA-LLaMa 7B | -0.74 ± 0.02 | -0.39 ± 0.06 | -0.83 ± 0.01 | -0.21 ± 0.02 | -0.98 ± 0.02 | -0.73 ± 0.01 | -0.73 ± 0.01 | -0.78 ± 0.01 | -0.13 ± 0.01 | -0.94 ± 0.01 | -
| LLaMa-2 13B | -0.51 ± 0.01 | -0.1 ± 0.06 | -0.56 ± 0.01 | -0.32 ± 0.02 | -0.79 ± 0.04 | -0.63 ± 0.01 | -0.41 ± 0.02 | -0.70 ± 0.01 | -0.13 ± 0.01 | -0.89 ± 0.02 | -
| LLaMa-2 7B | -0.45 ± 0.02 | -0.34 ± 0.01 | -0.53 ± 0.01 | -0.26 ± 0.02 | -0.50 ± 0.0 | -0.51 ± 0.01 | -0.55 ± 0.01 | -0.68 ± 0.01 | -0.22 ± 0.01 | -0.64 ± 0.03 | -
| Vietcuna 7B | -0.04 ± 0.01 | -0.04 ± 0.01 | -0.49 ± 0.01 | -0.71 ± 0.01 | -0.05 ± 0.02 | -0.03 ± 0.00 | -0.03 ± 0.00 | -0.55 ± 0.01 | -0.50 ± 0.00 | -0.01 ± 0.01 | -
| MixSUra 8x7B | -0.62 ± - | -0.62 ± - | -0.59 ± - | -0.30 ± - | -0.59 ± - | -0.74 ± - | -0.46 ± - | -0.61 ± - | -0.24 ± - | -0.66 ± - | -
| Gemini Pro | -0.67 ± - | -0.50 ± - | -- | -0.34 ± - | -0.59 ± - | -0.79 ± - | -0.50 ± - | -- | -0.46 ± - | -0.82 ± - | -
| GPT-3.5 | -0.66 ± 0.01 | -0.60 ± 0.01 | -- | -0.33 ± 0.01 | -0.52 ± 0.05 | -0.86 ± 0.01 | -0.71 ± 0.01 | -- | -0.52 ± 0.01 | -0.86 ± 0.02 | -
| GPT-4 | -0.75 ± 0.01 | -0.74 ± 0.01 | -- | -0.41 ± 0.00 | -0.73 ± 0.04 | -0.85 ± 0.01 | -0.71 ± 0.01 | -- | -0.52 ± 0.01 | -0.87 ± 0.02 | -
| Models | -UiT-VSMEC | -PhoATIS | ++ Models + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.text_classification %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | + {% for dataset in site.data.leaderboard[lang].fairness_aware.text_classification %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.24 ± 0.02 | -0.14 ± 0.01 | -0.58 ± 0.01 | -0.26 ± 0.02 | -0.37 ± 0.06 | -0.15 ± 0.01 | -0.22 ± 0.03 | -0.31 ± 0.00 | -0.81 ± 0.01 | -0.13 ± 0.04 | -||||||
| URA-LLaMa 13B | -0.31 ± 0.02 | -0.11 ± 0.01 | -0.58 ± 0.01 | -0.23 ± 0.02 | -0.57 ± 0.06 | -0.01 ± 0.01 | -0.05 ± 0.02 | -0.58 ± 0.00 | -0.84 ± 0.01 | -0.00 ± 0.01 | -||||||
| URA-LLaMa 7B | -0.29 ± 0.02 | -0.11 ± 0.01 | -0.60 ± 0.01 | -0.12 ± 0.02 | -0.41 ± 0.06 | -0.00 ± 0.01 | -0.00 ± 0.00 | -0.55 ± 0.00 | -0.30 ± 0.01 | -0.01 ± 0.03 | -||||||
| LLaMa-2 13B | -0.18 ± 0.02 | -0.08 ± 0.01 | -0.55 ± 0.01 | -0.45 ± 0.01 | -0.44 ± 0.06 | -0.02 ± 0.01 | -0.01 ± 0.02 | -0.57 ± 0.01 | -0.90 ± 0.01 | -0.01 ± 0.01 | -||||||
| LLaMa-2 7B | -0.25 ± 0.02 | -0.11 ± 0.01 | -0.57 ± 0.01 | -0.22 ± 0.02 | -0.53 ± 0.06 | -0.02 ± 0.00 | -0.06 ± 0.01 | -0.57 ± 0.01 | -0.68 ± 0.01 | -0.01 ± 0.01 | -||||||
| Vietcuna 7B | -0.15 ± 0.01 | -0.05 ± 0.01 | -0.46 ± 0.01 | -0.85 ± 0.01 | -0.16 ± 0.04 | -0.04 ± 0.01 | -0.01 ± 0.00 | -0.77 ± 0.01 | -0.21 ± 0.01 | -0.07 ± 0.03 | -||||||
| MixSUra 8x7B | -0.40 ± - | -0.36 ± - | -0.72 ± - | -0.53 ± - | -0.79 ± - | -0.81 ± - | -0.58 ± - | -0.96 ± - | -0.14 ± - | -0.91 ± - | -||||||
| Gemini Pro | -0.48 ± - | -0.38 ± - | -- | -0.34 ± - | -0.43 ± - | -0.79 ± - | -0.67 ± - | -- | -0.73 ± - | -0.68 ± - | -||||||
| GPT-3.5 | -0.44 ± 0.02 | -0.42 ± 0.02 | -- | -0.30 ± 0.02 | -0.36 ± 0.06 | -0.68 ± 0.02 | -0.66 ± 0.03 | -- | -0.62 ± 0.02 | -0.67 ± 0.05 | -||||||
| GPT-4 | -0.49 ± 0.02 | -0.47 ± 0.02 | -- | -0.35 ± 0.02 | -0.36 ± 0.06 | -0.83 ± 0.01 | -0.76 ± 0.03 | -- | -0.77 ± 0.01 | -0.87 ± 0.04 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].fairness_aware.text_classification %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -UiT-ViCTSD | -UiT-ViHSD | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.41 ± 0.02 | -0.26 ± 0.01 | -0.75 ± 0.01 | -0.53 ± 0.01 | -0.33 ± 0.05 | -0.15 ± 0.00 | -0.40 ± 0.00 | -0.64 ± 0.01 | -0.58 ± 0.00 | -0.24 ± 0.02 | -
| URA-LLaMa 13B | -0.43 ± 0.02 | -0.29 ± 0.07 | -0.66 ± 0.01 | -0.36 ± 0.02 | -0.42 ± 0.05 | -0.24 ± 0.01 | -0.15 ± 0.00 | -0.61 ± 0.01 | -0.43 ± 0.01 | -0.21 ± 0.02 | -
| URA-LLaMa 7B | -0.42 ± 0.02 | -0.39 ± 0.01 | -0.60 ± 0.01 | -0.30 ± 0.01 | -0.66 ± 0.05 | -0.16 ± 0.00 | -0.10 ± 0.00 | -0.67 ± 0.01 | -0.33 ± 0.00 | -0.28 ± 0.02 | -
| LLaMa-2 13B | -0.27 ± 0.01 | -0.18 ± 0.01 | -0.67 ± 0.01 | -0.53 ± 0.01 | -0.57 ± 0.05 | -0.16 ± 0.00 | -0.10 ± 0.00 | -0.62 ± 0.01 | -0.59 ± 0.00 | -0.42 ± 0.02 | -
| LLaMa-2 7B | -0.15 ± 0.01 | -0.11 ± 0.01 | -0.62 ± 0.01 | -0.67 ± 0.01 | -0.07 ± 0.03 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.56 ± 0.01 | -0.71 ± 0.00 | -0.01 ± 0.00 | -
| Vietcuna 7B | -0.08 ± 0.01 | -0.09 ± 0.01 | -0.50 ± 0.01 | -0.42 ± 0.01 | -0.06 ± 0.03 | -0.62 ± 0.01 | -0.21 ± 0.00 | -0.50 ± 0.00 | -0.29 ± 0.01 | -0.62 ± 0.02 | -
| MixSUra 8x7B | -0.69 ± - | -0.38 ± - | -- ± - | -0.29 ± - | -0.78 ± - | -0.56 ± - | -0.31 ± - | -0.68 ± - | -0.32 ± - | -0.92 ± - | -
| Gemini Pro | -0.81 ± - | -0.43 ± - | -- ± - | -0.31 ± - | -0.82 ± - | -0.70 ± - | -0.37 ± - | -- ± - | -0.36 ± - | -0.69 ± - | -
| GPT-3.5 | -0.60 ± 0.02 | -0.52 ± 0.02 | -- ± - | -0.11 ± 0.02 | -0.63 ± 0.05 | -0.61 ± 0.01 | -0.46 ± 0.01 | -- ± - | -0.29 ± 0.01 | -0.62 ± 0.02 | -
| GPT-4 | -0.87 ± 0.01 | -0.69 ± 0.02 | -- ± - | -0.37 ± 0.01 | -0.86 ± 0.03 | -0.76 ± 0.01 | -0.56 ± 0.01 | -- ± - | -0.43 ± 0.01 | -0.76 ± 0.02 | -
| Models | -mMARCO | -mRobust04 | -||||||
|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -|
| URA-LLaMa 70B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.06 ± 0.00 | -0.14 ± 0.00 | -0.04±0.00 | -0.04±0.00 | -0.03±0.00 | -0.04±0.00 | -
| URA-LLaMa 13B | -0.04 ± 0.00 | -0.10 ± 0.00 | -0.06 ± 0.00 | -0.14 ± 0.00 | -0.03±0.00 | -0.05±0.00 | -0.04±0.00 | -0.04±0.00 | -
| URA-LLaMa 7B | -0.04 ± 0.00 | -0.11 ± 0.00 | -0.06 ± 0.00 | -0.16 ± 0.00 | -0.03 ± 0.00 | -0.03 ± 0.00 | -0.02 ± 0.00 | -0.02 ± 0.00 | -
| LLaMa-2 13B | -0.07 ± 0.00 | -0.15 ± 0.00 | -0.09 ± 0.00 | -0.21 ± 0.00 | -0.05±0.00 | -0.04±0.00 | -0.04±0.00 | -0.04±0.00 | -
| LLaMa-2 7B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.07 ± 0.00 | -0.16 ± 0.00 | -0.02±0.00 | -0.03±0.00 | -0.03±0.00 | -0.02±0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00±0.00 | -0.00±0.00 | -0.00±0.00 | -0.00±0.00 | -
| MixSUra 8x7B | -0.01 ± - | -0.07 ± - | -0.04 ± - | -0.11 ± - | -0.04±- | -0.04±- | -0.02±- | -0.02±- | -
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | -
| Models | -ZaloE2E | -ViMMRC | -|||||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.34 ± 0.02 | -0.50 ± 0.02 | -0.78 ± 0.02 | -0.63 ± 0.03 | -0.90 ± 0.01 | -0.13 ± 0.02 | -0.96 ± 0.03 | -
| URA-LLaMa 13B | -0.26 ± 0.02 | -0.40 ± 0.02 | -0.62 ± 0.02 | -0.50 ± 0.02 | -0.69 ± 0.02 | -0.18 ± 0.02 | -0.65 ± 0.07 | -
| URA-LLaMa 7B | -0.14 ± 0.02 | -0.25 ± 0.02 | -0.42 ± 0.02 | -0.33 ± 0.02 | -0.61 ± 0.02 | -0.13 ± 0.02 | -0.39 ± 0.07 | -
| LLaMa-2 13B | -0.22 ± 0.02 | -0.36 ± 0.02 | -0.58 ± 0.02 | -0.46 ± 0.02 | -0.62 ± 0.02 | -0.28 ± 0.02 | -0.77 ± 0.06 | -
| LLaMa-2 7B | -0.07 ± 0.01 | -0.15 ± 0.01 | -0.30 ± 0.02 | -0.23 ± 0.02 | -0.56 ± 0.02 | -0.43 ± 0.02 | -0.16 ± 0.05 | -
| Vietcuna 7B | -0.07 ± 0.01 | -0.19 ± 0.01 | -0.31 ± 0.02 | -0.18 ± 0.01 | -0.50 ± 0.00 | -0.06 ± 0.02 | -0.31 ± 0.06 | -
| MixSUra 8x7B | -0.19 ± - | -0.34 ± - | -0.65 ± - | -0.64 ± - | -0.54 ± - | -0.29 ± - | -0.65 ± - | -
| GPT-3.5 | -0.49 ± 0.02 | -0.64 ± 0.02 | -0.90 ± 0.01 | -0.73 ± 0.03 | -- | -0.66 ± 0.01 | -0.91 ± 0.04 | -
| GPT-4 | -0.49 ± 0.02 | -0.64 ± 0.02 | -0.91 ± 0.01 | -0.73 ± 0.04 | -- | -0.66 ± 0.01 | -0.91 ± 0.04 | -
| Models | -MLQA-MLM | -VSEC | ++ Models + | + {% for dataset in site.data.leaderboard[lang].few_shot.language_modeling %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | + {% for dataset in site.data.leaderboard[lang].few_shot.language_modeling %} +EM↑ | +CER↓ | +WER↓ | +CED↓ | +WED↓ | +PLX↓ | + {% endfor %}||
| URA-LLaMa 70B | -0.01 ± 0.00 | -0.54 ± 0.00 | -0.66 ± 0.00 | -669.74 ± 10.38 | -153.04 ± 2.33 | -1.32 ± 0.05 | -0.33 ± 0.00 | -0.11 ± 0.00 | -0.13 ± 0.00 | -15.09 ± 0.42 | -4.05 ± 0.11 | -1.13 ± 0.00 | -|||||||
| URA-LLaMa 13B | -0.01 ± 0.00 | -0.45 ± 0.01 | -0.61 ± 0.01 | -559.64 ± 11.23 | -136.97 ± 2.68 | -1.49 ± 0.10 | -0.35 ± 0.00 | -0.02 ± 0.00 | -0.04 ± 0.00 | -2.81 ± 0.12 | -1.18 ± 0.03 | -1.15 ± 0.00 | -|||||||
| URA-LLaMa 7B | -0.01 ± 0.00 | -0.40 ± 0.01 | -0.55 ± 0.01 | -498.36 ± 11.01 | -118.11 ± 2.58 | -1.24 ± 0.01 | -0.22 ± 0.00 | -0.32 ± 0.01 | -0.33 ± 0.01 | -41.89 ± 1.54 | -10.10 ± 0.34 | -1.07 ± 0.00 | -|||||||
| LLaMa-2 13B | -0.01 ± 0.00 | -0.74 ± 0.00 | -0.87 ± 0.00 | -760.98 ± 11.91 | -186.90 ± 2.85 | -1.24 ± 0.03 | -0.16 ± 0.00 | -0.03 ± 0.00 | -0.05 ± 0.00 | -3.38 ± 0.16 | -1.51 ± 0.04 | -1.01 ± 0.00 | -|||||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.81 ± 0.00 | -0.98 ± 0.00 | -769.36 ± 10.51 | -198.53 ± 2.57 | -1.74 ± 0.19 | -0.12 ± 0.00 | -0.36 ± 0.01 | -0.39 ± 0.01 | -47.50 ± 0.86 | -11.80 ± 0.19 | -1.06 ± 0.00 | -|||||||
| Vietcuna 7B | -0.00 ± 0.00 | -1.04 ± 0.00 | -1.06 ± 0.00 | -935.65 ± 12.47 | -204.98 ± 2.79 | -1.40 ± 0.00 | -0.00 ± 0.00 | -8.00 ± 0.07 | -8.01 ± 0.07 | -1063.93 ± 7.64 | -241.74 ± 1.74 | -1.46 ± 0.00 | -|||||||
| MixSUra 8x7B | -0.00 ± - | -0.55 ± - | -0.63 ± - | -526.79 ± - | -131.02 ± - | -1.00 ± - | -0.08 ± - | -0.19 ± - | -0.28 ± - | -25.13 ± - | -8.58 ± - | -1.00 ± - | -|||||||
| GPT-3.5 | -0.04 ± 0.00 | -0.28 ± 0.01 | -0.44 ± 0.01 | -387.37 ± 10.86 | -92.78 ± 2.46 | -- | -0.66 ± 0.00 | -0.01 ± 0.00 | -0.02 ± 0.00 | -1.63 ± 0.08 | -0.61 ± 0.02 | -- | -|||||||
| GPT-4 | -0.08 ± 0.00 | -0.23 ± 0.01 | -0.40 ± 0.01 | -336.53 ± 10.18 | -83.55 ± 2.34 | -- | -0.75 ± 0.00 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.89 ± 0.04 | -0.37 ± 0.01 | -- | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].few_shot.language_modeling %} + {% assign EM_best = 0 %} + {% assign CER_best = 1 %} + {% assign WER_best = 1 %} + {% assign CED_best = 10000 %} + {% assign WED_best = 10000 %} + {% assign PLX_best = 10000 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].CER and dataset[1][m].CER < CER_best %} + {% assign CER_best = dataset[1][m].CER %} + {% endif %} + {% if dataset[1][m].WER and dataset[1][m].WER < WER_best %} + {% assign WER_best = dataset[1][m].WER %} + {% endif %} + {% if dataset[1][m].CED and dataset[1][m].CED < CED_best %} + {% assign CED_best = dataset[1][m].CED %} + {% endif %} + {% if dataset[1][m].WED and dataset[1][m].WED < WED_best %} + {% assign WED_best = dataset[1][m].WED %} + {% endif %} + {% if dataset[1][m].PLX and dataset[1][m].PLX < PLX_best %} + {% assign PLX_best = dataset[1][m].PLX %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CER %} + {{ dataset[1][model].CER | round: 2 }} ± {{ dataset[1][model].CER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WER %} + {{ dataset[1][model].WER | round: 2 }} ± {{ dataset[1][model].WER_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].CED %} + {{ dataset[1][model].CED | round: 2 }} ± {{ dataset[1][model].CED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].WED %} + {{ dataset[1][model].WED | round: 2 }} ± {{ dataset[1][model].WED_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].PLX %} + {{ dataset[1][model].PLX | round: 2 }} ± {{ dataset[1][model].PLX_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -SR - Natural | -SR - Abstract symbol | -MATH | -||||||
|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | -|
| URA-LLaMa 70B | -0.14 ± 0.00 | -0.48 ± 0.00 | -0.15 ± 0.00 | -0.27 ± 0.00 | -0.85 ± 0.00 | -0.30 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.12 ± 0.02 | -
| URA-LLaMa 13B | -0.08 ± 0.00 | -0.42 ± 0.00 | -0.08 ± 0.00 | -0.20 ± 0.00 | -0.70 ± 0.00 | -0.17 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.01 | -
| URA-LLaMa 7B | -0.04 ± 0.00 | -0.38 ± 0.00 | -0.04 ± 0.00 | -0.11 ± 0.00 | -0.61 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.07 ± 0.01 | -
| LLaMa-2 13B | -0.03 ± 0.00 | -0.24 ± 0.00 | -0.04 ± 0.00 | -0.19 ± 0.00 | -0.69 ± 0.00 | -0.18 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.16 ± 0.02 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.06 ± 0.00 | -0.44 ± 0.00 | -0.06 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.11 ± 0.01 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.14 ± 0.00 | -0.71 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -
| MixSUra 8x7B | -0.07 ± 0.00 | -0.41 ± 0.00 | -0.07 ± 0.00 | -0.22 ± 0.00 | -0.78 ± 0.00 | -0.23 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -
| GPT-3.5 | -0.15 ± 0.00 | -0.50 ± 0.00 | -0.16 ± 0.00 | -0.26 ± 0.00 | -0.83 ± 0.00 | -0.29 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.62 ± 0.02 | -
| GPT-4 | -0.37 ± 0.00 | -0.74 ± 0.00 | -0.42 ± 0.00 | -0.37 ± 0.00 | -0.87 ± 0.00 | -0.44 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.65 ± 0.02 | -
| Models | -VLSP 2016 | -UiT-VSFC | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.66 ± 0.01 | -0.49 ± 0.01 | -0.72 ± 0.01 | -0.13 ± 0.01 | -0.77 ± 0.04 | -0.75 ± 0.01 | -0.48 ± 0.01 | -0.81 ± 0.01 | -0.16 ± 0.01 | -0.71 ± 0.02 | -
| URA-LLaMa 13B | -0.59 ± 0.01 | -0.57 ± 0.01 | -0.67 ± 0.01 | -0.09 ± 0.01 | -0.82 ± 0.04 | -0.74 ± 0.01 | -0.52 ± 0.08 | -0.83 ± 0.01 | -0.10 ± 0.01 | -0.87 ± 0.02 | -
| URA-LLaMa 7B | -0.57 ± 0.02 | -0.42 ± 0.05 | -0.69 ± 0.02 | -0.07 ± 0.02 | -0.77 ± 0.04 | -0.72 ± 0.01 | -0.43 ± 0.01 | -0.78 ± 0.01 | -0.13 ± 0.01 | -0.95 ± 0.03 | -
| LLaMa-2 13B | -0.51 ± 0.01 | -0.41 ± 0.06 | -0.66 ± 0.01 | -0.32 ± 0.02 | -0.80 ± 0.04 | -0.63 ± 0.01 | -0.46 ± 0.07 | -0.71 ± 0.01 | -0.13 ± 0.01 | -0.88 ± 0.02 | -
| LLaMa-2 7B | -0.45 ± 0.01 | -0.32 ± 0.01 | -0.59 ± 0.01 | -0.26 ± 0.02 | -0.50 ± 0.05 | -0.50 ± 0.01 | -0.34 ± 0.01 | -0.69 ± 0.01 | -0.23 ± 0.01 | -0.62 ± 0.03 | -
| Vietcuna 7B | -0.04 ± 0.01 | -0.05 ± 0.01 | -0.45 ± 0.01 | -0.71 ± 0.01 | -0.05 ± 0.02 | -0.03 ± 0.00 | -0.03 ± 0.00 | -0.53 ± 0.01 | -0.50 ± 0.00 | -0.01 ± 0.00 | -
| MixSUra 8x7B | -0.62 ± - | -0.63 ± - | -0.59 ± - | -0.30 ± - | -0.59 ± - | -0.74 ± - | -0.46 ± - | -0.63 ± - | -0.23 ± - | -0.655 ± - | -
| GPT-3.5 | -0.65 ± 0.01 | -0.59 ± 0.1 | -- | -0.32 ± 0.01 | -0.65 ± 0.05 | -0.86 ± 0.01 | -0.73 ± 0.01 | -- | -0.52 ± 0.01 | -0.86 ± 0.02 | -
| GPT-4 | -0.75 ± 0.01 | -0.74 ± 0.01 | -- | -0.41 ± 0.01 | -0.74 ± 0.04 | -0.85 ± 0.01 | -0.59 ± 0.09 | -- | -0.52 ± 0.01 | -0.85 ± 0.02 | -
| Models | -UiT-VSMEC | -PhoATIS | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.25 ± 0.02 | -0.15 ± 0.01 | -0.56 ± 0.01 | -0.25 ± 0.02 | -0.37 ± 0.06 | -0.15 ± 0.01 | -0.22 ± 0.03 | -0.83 ± 0.00 | -0.81 ± 0.01 | -0.13 ± 0.04 | -
| URA-LLaMa 13B | -0.32 ± 0.02 | -0.12 ± 0.01 | -0.58 ± 0.01 | -0.22 ± 0.02 | -0.57 ± 0.07 | -0.01 ± 0.01 | -0.06 ± 0.02 | -0.47 ± 0.00 | -0.84 ± 0.01 | -0.00 ± 0.01 | -
| URA-LLaMa 7B | -0.29 ± 0.02 | -0.11 ± 0.01 | -0.60 ± 0.01 | -0.12 ± 0.02 | -0.43 ± 0.06 | -0.06 ± 0.01 | -0.01 ± 0.00 | -0.55 ± 0.00 | -0.24 ± 0.01 | -0.08 ± 0.03 | -
| LLaMa-2 13B | -0.18 ± 0.02 | -0.08 ± 0.01 | -0.55 ± 0.01 | -0.45 ± 0.01 | -0.49 ± 0.07 | -0.02 ± 0.01 | -0.06 ± 0.02 | -0.57 ± 0.01 | -0.90 ± 0.01 | -0.01 ± 0.01 | -
| LLaMa-2 7B | -0.25 ± 0.02 | -0.12 ± 0.01 | -0.57 ± 0.01 | -0.21 ± 0.02 | -0.54 ± 0.06 | -0.03 ± 0.01 | -0.02 ± 0.01 | -0.56 ± 0.01 | -0.54 ± 0.01 | -0.01 ± 0.01 | -
| Vietcuna 7B | -0.15 ± 0.01 | -0.05 ± 0.01 | -0.46 ± 0.01 | -0.85 ± 0.01 | -0.15 ± 0.04 | -0.04 ± 0.01 | -0.01 ± 0.00 | -0.63 ± 0.00 | -0.21 ± 0.01 | -0.07 ± 0.03 | -
| MixSUra 8x7B | -0.40 ± - | -0.36 ± - | -0.72 ± - | -0.53 ± - | -0.79 ± - | -0.81 ± - | -0.58 ± - | -0.96 ± - | -0.14 ± - | -0.91 ± - | -
| GPT-3.5 | -0.42 ± 0.02 | -0.40 ± 0.02 | -- | -0.28 ± 0.02 | -0.42 ± 0.06 | -0.69 ± 0.02 | -0.67 ± 0.03 | -- | -0.63 ± 0.02 | -0.69 ± 0.05 | -
| GPT-4 | -0.49 ± 0.02 | -0.48 ± 0.02 | -- | -0.35 ± 0.02 | -0.49 ± 0.06 | -0.85 ± 0.01 | -0.78 ± 0.03 | -- | -0.79 ± 0.01 | -0.88 ± 0.04 | -
| Models | -UiT-ViCTSD | -UiT-ViHSD | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.44 ± 0.01 | -0.27 ± 0.01 | -0.75 ± 0.01 | -0.52 ± 0.01 | -0.37 ± 0.02 | -0.17 ± 0.00 | -0.15 ± 0.00 | -0.64 ± 0.01 | -0.57 ± 0.00 | -0.27 ± 0.02 | -
| URA-LLaMa 13B | -0.44 ± 0.01 | -0.30 ± 0.05 | -0.67 ± 0.01 | -0.33 ± 0.01 | -0.41 ± 0.03 | -0.26 ± 0.01 | -0.16 ± 0.00 | -0.61 ± 0.01 | -0.42 ± 0.01 | -0.21 ± 0.02 | -
| URA-LLaMa 7B | -0.43 ± 0.01 | -0.40 ± 0.01 | -0.60 ± 0.01 | -0.29 ± 0.01 | -0.71 ± 0.02 | -0.16 ± 0.00 | -0.10 ± 0.00 | -0.67 ± 0.01 | -0.32 ± 0.00 | -0.28 ± 0.02 | -
| LLaMa-2 13B | -0.28 ± 0.01 | -0.19 ± 0.00 | -0.67 ± 0.01 | -0.52 ± 0.01 | -0.63 ± 0.03 | -0.17 ± 0.00 | -0.11 ± 0.00 | -0.62 ± 0.01 | -0.58 ± 0.00 | -0.44 ± 0.02 | -
| LLaMa-2 7B | -0.16 ± 0.01 | -0.12 ± 0.01 | -0.61 ± 0.01 | -0.66 ± 0.01 | -0.08 ± 0.02 | -0.01 ± 0.00 | -0.01 ± 0.00 | -0.56 ± 0.01 | -0.71 ± 0.00 | -0.01 ± 0.02 | -
| Vietcuna 7B | -0.08 ± 0.00 | -0.10 ± 0.01 | -0.50 ± 0.00 | -0.42 ± 0.00 | -0.08 ± 0.03 | -0.61 ± 0.01 | -0.21 ± 0.00 | -0.50 ± 0.00 | -0.28 ± 0.01 | -0.61 ± 0.02 | -
| MixSUra 8x7B | -0.70 ± - | -0.39 ± - | -- ± - | -0.29 ± - | -0.80 ± - | -0.58 ± - | -0.31 ± - | -0.68 ± - | -0.30 ± - | -0.93 ± - | -
| GPT-3.5 | -0.63 ± 0.02 | -0.54 ± 0.02 | -- | -0.13 ± 0.02 | -0.63 ± 0.05 | -0.63 ± 0.01 | -0.47 ± 0.01 | -- | -0.29 ± 0.01 | -0.63 ± 0.02 | -
| GPT-4 | -0.89 ± 0.00 | -0.71 ± 0.01 | -- | -0.39 ± 0.00 | -0.89 ± 0.03 | -0.77 ± 0.01 | -0.57 ± 0.01 | -- | -0.44 ± 0.01 | -0.77 ± 0.02 | -
| Models | -PhoMT | -OPUS100 | ++ Models + | + {% for dataset in site.data.leaderboard[lang].few_shot.translation %} ++ {{ dataset[0] }} + | + {% endfor %}|||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| (En -> Vi) | -(Vi -> En) | -(En -> Vi) | -(Vi -> En) | -(En -> Vi) | -(Vi -> En) | -(En -> Vi) | -(Vi -> En) | + {% for dataset in site.data.leaderboard[lang].few_shot.translation %} +BLEU envi↑ | +BLEU vien↑ | +hLEPOR envi↑ | +hLEPOR vien↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.28 ± 0.00 | -0.59 ± 0.00 | -0.27 ± 0.00 | -0.58 ± 0.00 | -0.10 ± 0.00 | -0.44 ± 0.01 | -0.14 ± 0.00 | -0.41 ± 0.01 | -|||||
| URA-LLaMa 13B | -0.25 ± 0.00 | -0.55 ± 0.00 | -0.15 ± 0.00 | -0.56 ± 0.00 | -0.10 ± 0.01 | -0.41 ± 0.01 | -0.17 ± 0.01 | -0.43 ± 0.01 | -|||||
| URA-LLaMa 7B | -0.19 ± 0.00 | -0.50 ± 0.00 | -0.22 ± 0.00 | -0.54 ± 0.00 | -0.08 ± 0.00 | -0.38 ± 0.01 | -0.14 ± 0.01 | -0.39 ± 0.01 | -|||||
| LLaMa-2 13B | -0.23 ± 0.00 | -0.53 ± 0.00 | -0.23 ± 0.00 | -0.54 ± 0.00 | -0.09 ± 0.00 | -0.39 ± 0.01 | -0.14 ± 0.01 | -0.40 ± 0.01 | -|||||
| LLaMa-2 7B | -0.18 ± 0.00 | -0.47 ± 0.00 | -0.21 ± 0.00 | -0.52 ± 0.00 | -0.07 ± 0.00 | -0.34 ± 0.00 | -0.11 ± 0.01 | -0.36 ± 0.01 | -|||||
| Vietcuna 7B | -0.15 ± 0.00 | -0.35 ± 0.00 | -0.03 ± 0.00 | -0.11 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -0.16 ± 0.00 | -|||||
| MixSUra 8x7B | -0.15 ± - | -0.51 ± - | -0.16 ± - | -0.52 ± - | -0.07 ± - | -0.37 ± - | -0.09 ± - | -0.36 ± - | -|||||
| GPT-3.5 | -0.33 ± 0.00 | -0.65 ± 0.00 | -0.33 ± 0.00 | -0.63 ± 0.00 | -0.16 ± 0.01 | -0.50 ± 0.01 | -0.24 ± 0.01 | -0.51 ± 0.00 | -|||||
| GPT-4 | -0.33 ± 0.00 | -0.66 ± 0.00 | -0.34 ± 0.00 | -0.65 ± 0.00 | -0.17 ± 0.01 | -0.51 ± 0.01 | -0.25 ± 0.01 | -0.53 ± 0.00 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].few_shot.translation %} + {% assign bleu_envi_best = 0 %} + {% assign bleu_vien_best = 0 %} + {% assign hlepor_envi_best = 0 %} + {% assign hlepor_vien_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m]["BLEU envi"] and dataset[1][m]["BLEU envi"] > bleu_envi_best %} + {% assign bleu_envi_best = dataset[1][m]["BLEU envi"] %} + {% endif %} + {% if dataset[1][m]["BLEU vien"] and dataset[1][m]["BLEU vien"] > bleu_vien_best %} + {% assign bleu_vien_best = dataset[1][m]["BLEU vien"] %} + {% endif %} + {% if dataset[1][m]["hLEPOR envi"] and dataset[1][m]["hLEPOR envi"] > hlepor_envi_best %} + {% assign hlepor_envi_best = dataset[1][m]["hLEPOR envi"] %} + {% endif %} + {% if dataset[1][m]["hLEPOR vien"] and dataset[1][m]["hLEPOR vien"] > hlepor_vien_best %} + {% assign hlepor_vien_best = dataset[1][m]["hLEPOR vien"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model]["BLEU envi"] %} + {{ dataset[1][model]["BLEU envi"] | round: 2 }} ± {{ dataset[1][model]["BLEU envi_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["BLEU vien"] %} + {{ dataset[1][model]["BLEU vien"] | round: 2 }} ± {{ dataset[1][model]["BLEU vien_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["hLEPOR envi"] %} + {{ dataset[1][model]["hLEPOR envi"] | round: 2 }} ± {{ dataset[1][model]["hLEPOR envi_std"] | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["hLEPOR vien"] %} + {{ dataset[1][model]["hLEPOR vien"] | round: 2 }} ± {{ dataset[1][model]["hLEPOR vien_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -XQuAD | -MLQA | ++ Models + | + {% for dataset in site.data.leaderboard[lang].medium_prompt.question_answering %} ++ {{ dataset[0] }} + | + {% endfor %}|||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | + {% for dataset in site.data.leaderboard[lang].medium_prompt.question_answering %} +EM↑ | +F1↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.08 ± 0.00 | -0.33 ± 0.00 | -0.07 ± 0.00 | -0.31 ± 0.00 | -|||
| URA-LLaMa 13B | -0.04 ± 0.00 | -0.21 ± 0.00 | -0.04 ± 0.00 | -0.19 ± 0.00 | -|||
| URA-LLaMa 7B | -0.01 ± 0.00 | -0.11 ± 0.00 | -0.01 ± 0.00 | -0.11 ± 0.00 | -|||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.09 ± 0.00 | -|||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.03 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | -|||
| MixSUra 8x7B | -0.01 ± - | -0.25 ± - | -0.00 ± - | -0.25 ± - | -|||
| + {{ model }} + | + {% for dataset in site.data.leaderboard[lang].medium_prompt.question_answering %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %} +|||||
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.35 ± 0.00 | -0.16 ± 0.00 | -0.24 ± 0.00 | --0.11 ± 0.00 | -0.12 ± 0.00 | -0.63 ± 0.00 | -5.43 ± 0.02 | -37.78 ± 0.47 | -0.33 ± 0.00 | -0.14 ± 0.00 | -0.22 ± 0.00 | --0.16± 0.00 | -0.24± 0.10 | -0.59 ± 0.01 | -4.62 ± 0.11 | -56.56 ± 1.70 | -
| URA-LLaMa 13B | -0.26 ± 0.00 | -0.12 ± 0.00 | -0.17 ± 0.00 | --0.09 ± 0.00 | --0.08 ± 0.18 | -0.46 ± 0.00 | -3.55 ± 0.04 | -47.75 ± 0.65 | -0.14 ± 0.00 | -0.05 ± 0.00 | -0.09 ± 0.00 | --0.16 ± 0.00 | --0.14 ± 0.12 | -0.26 ± 0.01 | -1.83 ± 0.06 | -60.10 ± 2.16 | -
| URA-LLaMa 7B | -0.41 ± 0.00 | -0.18 ± 0.00 | -0.27 ± 0.00 | --0.09 ± 0.00 | --0.08 ± 0.13 | -0.83 ± 0.00 | -8.13 ± 0.04 | -8.08 ± 0.17 | -0.42 ± 0.00 | -0.17 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.27 ± 0.21 | -0.84 ± 0.00 | -7.15 ± 0.08 | -8.08 ± 0.36 | -
| LLaMa-2 13B | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | --0.09 ± 0.00 | --0.19 ± 0.05 | -0.01 ± 0.00 | -0.01 ± 0.00 | -54.67 ± 0.16 | -0.03 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.16 ± 0.00 | --0.05 ± 0.03 | -0.02 ± 0.00 | -0.02 ± 0.00 | -42.55 ± 0.81 | -
| LLaMa-2 7B | -0.03 ± 0.00 | -0.01 ± 0.00 | -0.03 ± 0.00 | --0.09 ± 0.00 | --0.17 ± 0.03 | -0.04 ± 0.00 | -0.07 ± 0.00 | -23.86 ± 0.26 | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | --0.16 ± 0.00 | --0.04 ± 0.06 | -0.02 ± 0.00 | -0.03 ± 0.00 | -40.31 ± 0.88 | -
| MixSUra 8x7B | -0.06 ± - | -0.01 ± - | -0.04 ± - | -- ± - | --0.13 ± - | -0.10 ± - | -0.17 ± - | -9.03 ± - | -0.03 ± - | -0.00 ± - | -0.03 ± - | -- ± - | --0.01 ± - | -0.17 ± - | -0.26 ± - | -16.68 ± - | -
| Models | -AC ↑ | -F1 ↑ | -AR ↑ | -ECE ↓ | -A@10 ↑ | -||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Our 70B | -0.76 ± 0.02 | -0.76 ± 0.02 | -0.78 ± 0.01 | -0.14 ± 0.02 | -0.94 ± 0.04 | -||||||
| Our 13B | -0.62 ± 0.02 | -0.62 ± 0.02 | -0.61 ± 0.02 | -0.15 ± 0.02 | -0.67 ± 0.07 | -||||||
| Our 7B | -0.45 ± 0.02 | -0.36 ± 0.02 | -0.57 ± 0.02 | -0.10 ± 0.02 | -0.45 ± 0.07 | -||||||
| LLaMa-2 13B | -0.57 ± 0.02 | -0.57 ± 0.02 | -0.57 ± 0.02 | -0.29 ± 0.02 | -0.75 ± 0.07 | -||||||
| LLaMa-2 7B | -0.36 ± 0.02 | -0.27 ± 0.02 | -0.56 ± 0.02 | -0.37 ± 0.02 | -0.44 ± 0.07 | -||||||
| Vietcuna 7B | -0.26 ± 0.02 | -0.15 ± 0.01 | -0.50 ± 0.00 | -0.01 ± 0.01 | -0.26 ± 0.06 | ++ Models + | + {% for dataset in site.data.leaderboard[lang].randomized_choice.knowledge %} ++ {{ dataset[0] }} + | + {% endfor %}||||
| MixSUra 7B | -0.61 ± - | -0.61 ± - | -0.54 ± - | -0.31 ± - | -0.65 ± - | -||||||
| GPT-3.5 | -0.92 ± 0.01 | -0.74 ± 0.04 | -- | -0.67 ± 0.01 | -0.92 ± 0.04 | + {% for dataset in site.data.leaderboard[lang].randomized_choice.knowledge %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}|
| GPT-4 | -0.92 ± 0.01 | -0.74 ± 0.04 | -- | -0.67 ± 0.01 | -0.92 ± 0.04 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].randomized_choice.knowledge %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -mMARCO | -mRobust04 | -||||||
|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -|
| URA-LLaMa 70B | -- | - | - | - | - | - | - | - |
| URA-LLaMa 13B | -- | - | - | - | - | - | - | - |
| URA-LLaMa 7B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.07 ± 0.00 | -0.17 ± 0.00 | -- | -- | -- | -- | -
| LLaMa-2 13B | -0.06 ± 0.00 | -0.13 ± 0.00 | -0.19 ± 0.00 | -0.19 ± 0.00 | -- | - | - | - |
| LLaMa-2 7B | -0.05 ± 0.00 | -0.11 ± 0.00 | -0.08 ± 0.00 | -0.16 ± 0.00 | -- | -- | -- | -- | -
| Vietcuna 7B | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | -
| Models | -ZaloE2E | -ViMMRC | -|||||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.23 ± 0.00 | -0.37 ± 0.00 | -0.65 ± 0.00 | -0.53 ± 0.00 | -0.84 ± 0.00 | -0.11 ± 0.00 | -0.77 ± 0.00 | -
| URA-LLaMa 13B | -0.18 ± 0.00 | -0.30 ± 0.00 | -0.41 ± 0.00 | -0.34 ± 0.00 | -0.61 ± 0.00 | -0.22 ± 0.00 | -0.58 ± 0.00 | -
| URA-LLaMa 7B | -0.10 ± 0.00 | -0.18 ± 0.00 | -0.33 ± 0.02 | -0.28 ± 0.02 | -0.61 ± 0.01 | -0.19 ± 0.02 | -0.33 ± 0.06 | -
| LLaMa-2 13B | -0.13 ± 0.00 | -0.21 ± 0.00 | -0.39 ± 0.00 | -0.31 ± 0.00 | -0.56 ± 0.00 | -0.46 ± 0.00 | -0.33 ± 0.00 | -
| LLaMa-2 7B | -0.02 ± 0.00 | -0.05 ± 0.00 | -0.26 ± 0.01 | -0.20 ± 0.01 | -0.51 ± 0.01 | -0.46 ± 0.01 | -0.13 ± 0.03 | -
| Vietcuna 7B | -0.05 ± 0.00 | -0.15 ± 0.00 | -0.26 ± 0.01 | -0.14 ± 0.00 | -0.50 ± 0.00 | -0.01 ± 0.01 | -0.21 ± 0.07 | -
| MixSUra 8x7B | -0.13 ± - | -0.24 ± - | -0.57 ± - | -0.45 ± - | -0.53 ± - | -0.35 ± - | -0.58 ± - | -
| GPT-3.5 | -0.45 ± 0.01 | -0.61 ± 0.01 | -0.90 ± 0.01 | -0.72 ± 0.04 | -- | -0.65 ± 0.01 | -0.88 ± 0.07 | -
| GPT-4 | -0.44 ± 0.01 | -0.61 ± 0.01 | -0.91 ± 0.01 | -0.73 ± 0.07 | -- | -0.66 ± 0.07 | -0.88 ± 0.04 | -
| Models | -XQuAD | -MLQA | ++ Models + | + {% for dataset in site.data.leaderboard[lang].robustness_aware.question_answering %} ++ {{ dataset[0] }} + | + {% endfor %}|||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | + {% for dataset in site.data.leaderboard[lang].robustness_aware.question_answering %} +EM↑ | +F1↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.01 ± 0.00 | -0.17 ± 0.00 | -0.01 ± 0.00 | -0.18 ± 0.00 | -|||
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.09 ± 0.00 | -0.00 ± 0.00 | -0.10 ± 0.00 | -|||
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.09 ± 0.00 | -0.00 ± 0.00 | -0.10 ± 0.00 | -|||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | -|||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.02 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | -|||
| Vietcuna 7B | -0.00 ± 0.00 | -0.06 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -|||
| MixSUra 8x7B | -0.00 ± - | -0.11 ± - | -0.00 ± - | -0.12 ± - | -|||
| GPT-3.5 | -0.00 ± 0.00 | -0.19 ± 0.00 | -0.00 ± 0.00 | -0.20 ± 0.00 | -|||
| GPT-4 | -0.00 ± 0.00 | -0.24 ± 0.00 | -0.00 ± 0.00 | -0.25 ± 0.00 | -|||
| + {{ model }} + | + {% for dataset in site.data.leaderboard[lang].robustness_aware.question_answering %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %} +|||||
| Models | -VLSP 2016 | -UiT-VSFC | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.63 ± 0.01 | -0.48 ± 0.01 | -0.60 ± 0.01 | -0.09 ± 0.01 | -0.83 ± 0.04 | -0.71 ± 0.01 | -0.45 ± 0.01 | -0.80 ± 0.01 | -0.08 ± 0.01 | -0.99 ± 0.01 | -
| URA-LLaMa 13B | -0.55 ± 0.02 | -0.52 ± 0.02 | -0.59 ± 0.01 | -0.06 ± 0.01 | -0.74 ± 0.05 | -0.72 ± 0.01 | -0.44 ± 0.05 | -0.77 ± 0.01 | -0.18 ± 0.01 | -0.77 ± 0.02 | -
| URA-LLaMa 7B | -0.52 ± 0.02 | -0.36 ± 0.03 | -0.59 ± 0.01 | -0.07 ± 0.01 | -0.66 ± 0.05 | -0.73 ± 0.01 | -0.41 ± 0.01 | -0.71 ± 0.01 | -0.16 ± 0.01 | -0.87 ± 0.02 | -
| LLaMa-2 13B | -0.46 ± 0.02 | -0.30 ± 0.01 | -0.55 ± 0.01 | -0.39 ± 0.02 | -0.70 ± 0.05 | -0.66 ± 0.01 | -0.40 ± 0.01 | -0.63 ± 0.01 | -0.11 ± 0.01 | -0.89 ± 0.02 | -
| LLaMa-2 7B | -0.45 ± 0.02 | -0.36 ± 0.01 | -0.54 ± 0.01 | -0.20 ± 0.02 | -0.51 ± 0.05 | -0.51 ± 0.01 | -0.33 ± 0.01 | -0.65 ± 0.01 | -0.15 ± 0.01 | -0.80 ± 0.02 | -
| Vietcuna 7B | -0.44 ± 0.02 | -0.27 ± 0.01 | -0.51 ± 0.01 | -0.23 ± 0.02 | -0.53 ± 0.05 | -0.49 ± 0.01 | -0.25 ± 0.03 | -0.46 ± 0.01 | -0.33 ± 0.01 | -0.34 ± 0.03 | -
| MixSUra 8x7B | -0.59 ± - | -0.59 ± - | -0.55 ± - | -0.34 ± - | -0.52 ± - | -0.69 ± - | -0.44 ± - | -0.61 ± - | -0.29 ± - | -0.66 ± - | -
| GPT-3.5 | -0.64 ± 0.01 | -0.60 ± 0.01 | -- | -0.31 ± 0.01 | -0.54 ± 0.05 | -0.86 ± 0.01 | -0.71 ± 0.01 | -- | -0.53 ± 0.01 | -0.86 ± 0.02 | -
| GPT-4 | -0.74 ± 0.00 | -0.73 ± 0.00 | -- | -0.41 ± 0.00 | -0.71 ± 0.00 | -0.83 ± 0.00 | -0.70 ± 0.00 | -- | -0.50 ± 0.00 | -0.85 ± 0.00 | -
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.34 ± 0.00 | -0.15 ± 0.00 | -0.23 ± 0.00 | --0.06 ± 0.00 | --0.11 ± 0.18 | -0.10 ± 0.00 | -0.10 ± 0.00 | -39.63 ± 0.87 | -0.28 ± 0.00 | -0.11 ± 0.00 | -0.19 ± 0.00 | --0.16 ± 0.00 | -0.25 ± 0.23 | -0.50 ± 0.01 | -0.50 ± 0.01 | -167.42 ± 7.09 | -
| URA-LLaMa 13B | -0.35 ± 0.00 | -0.14 ± 0.00 | -0.23 ± 0.00 | --0.09 ± 0.00 | --0.07 ± 0.17 | -0.64 ± 0.00 | -0.65 ± 0.00 | -134.65 ± 3.76 | -0.20 ± 0.00 | -0.07 ± 0.00 | -0.13 ± 0.00 | --0.17 ± 0.00 | -0.20 ± 0.11 | -0.38 ± 0.00 | -0.38 ± 0.00 | -103.69 ± 3.33 | -
| URA-LLaMa 7B | -0.37 ± 0.00 | -0.12 ± 0.00 | -0.24 ± 0.00 | --0.10 ± 0.00 | --0.24 ± 0.18 | -0.65 ± 0.00 | -0.65 ± 0.00 | -17.92 ± 0.87 | -0.37 ± 0.00 | -0.12 ± 0.00 | -0.24 ± 0.00 | --0.17 ± 0.00 | -0.11 ± 0.18 | -0.65 ± 0.00 | -0.65 ± 0.00 | -20.49 ± 0.95 | -
| LLaMa-2 13B | -0.05 ± 0.00 | -0.01 ± 0.00 | -0.04 ± 0.00 | --0.15 ± 0.00 | --0.24 ± 0.18 | -0.03 ± 0.00 | -0.03 ± 0.00 | -55.91 ± 0.65 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.17 ± 0.00 | -0.09 ± 0.00 | -0.05 ± 0.00 | -0.05 ± 0.00 | -66.85 ± 6.72 | -
| LLaMa-2 7B | -0.05 ± 0.00 | -0.01 ± 0.00 | -0.05 ± 0.00 | --0.10 ± 0.00 | --0.19 ± 0.04 | -0.07 ± 0.00 | -0.07 ± 0.00 | -55.29 ± 0.88 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.04 ± 0.00 | --0.17 ± 0.00 | -0.15 ± 0.00 | -0.06 ± 0.00 | -0.06 ± 0.00 | -58.32 ± 3.32 | -
| Vietcuna 7B | -0.03 ± 0.00 | -0.01 ± 0.00 | -0.02 ± 0.00 | --0.10 ± 0.00 | --0.18 ± 0.06 | -0.91 ± 0.00 | -0.91 ± 0.00 | -1026.61 ± 3.86 | -0.08 ± 0.00 | -0.02 ± 0.00 | -0.05 ± 0.00 | --0.17 ± 0.00 | --0.19 ± 0.05 | -0.78 ± 0.00 | -0.78 ± 0.00 | -505.45 ± 8.64 | -
| MixSUra 8x7B | -0.41 ± - | -0.19 ± - | -0.26 ± - | -- ± - | --0.03 ± - | -0.86 ± - | -0.87 ± - | -29.15 ± - | -0.46 ± - | -0.21 ± - | -0.28 ± - | -- ± - | -0.26 ± - | -0.88 ± - | -0.98 ± - | -19.10 ± - | -
| GPT-3.5 | -0.34 ± 0.00 | -0.19 ± 0.00 | -0.23 ± 0.00 | --0.10 ± 0.00 | -0.05 ± 0.14 | -0.81 ± 0.00 | -0.81 ± 0.00 | -128.44 ± 2.94 | -0.39 ± 0.00 | -0.19 ± 0.00 | -0.25 ± 0.00 | --0.17 ± 0.00 | -0.28 ± 0.11 | -0.82 ± 0.00 | -0.82 ± 0.00 | -200.90 ± 7.40 | -
| GPT-4 | -0.39 ± 0.00 | -0.21 ± 0.00 | -0.26 ± 0.00 | --0.10 ± 0.09 | -0.04 ± 0.00 | -0.83 ± 0.00 | -0.83 ± 0.71 | -24.48 ± 0.00 | -0.45 ± 0.00 | -0.20 ± 0.00 | -0.27 ± 0.00 | --0.17 ± 0.00 | -0.28 ± 0.00 | -0.80 ± 0.03 | -0.81 ± 0.00 | -20.40 ± 1.59 | -
| Models | -UiT-VSMEC | -PhoATIS | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.25 ± 0.00 | -0.16 ± 0.00 | -0.56 ± 0.02 | -0.20 ± 0.00 | -0.33 ± 0.00 | -0.16 ± 0.02 | -0.26 ± 0.03 | -0.79 ± 0.00 | -0.79 ± 0.02 | -0.08 ± 0.06 | -
| URA-LLaMa 13B | -0.30 ± 0.00 | -0.11 ± 0.00 | -0.51 ± 0.01 | -0.26 ± 0.00 | -0.44 ± 0.00 | -0.01 ± 0.01 | -0.05 ± 0.01 | -0.47 ± 0.01 | -0.84 ± 0.01 | -0.00 ± 0.04 | -
| URA-LLaMa 7B | -0.29 ± 0.00 | -0.10 ± 0.00 | -0.57 ± 0.01 | -0.17 ± 0.00 | -0.30 ± 0.00 | -0.02 ± 0.01 | -0.04 ± 0.00 | -0.55 ± 0.01 | -0.18 ± 0.01 | -0.01 ± 0.02 | -
| LLaMa-2 13B | -0.19 ± 0.00 | -0.07 ± 0.00 | -0.52 ± 0.01 | -0.47 ± 0.00 | -0.43 ± 0.00 | -0.02 ± 0.00 | -0.06 ± 0.00 | -0.57 ± 0.01 | -0.91 ± 0.00 | -0.01 ± 0.00 | -
| LLaMa-2 7B | -0.17 ± 0.00 | -0.10 ± 0.00 | -0.55 ± 0.00 | -0.33 ± 0.00 | -0.29 ± 0.00 | -0.01 ± 0.01 | -0.00 ± 0.00 | -0.56 ± 0.00 | -0.69 ± 0.01 | -0.02 ± 0.02 | -
| Vietcuna 7B | -0.09 ± 0.00 | -0.09 ± 0.00 | -0.51 ± 0.01 | -0.91 ± 0.00 | -0.09 ± 0.00 | -0.02 ± 0.01 | -0.01 ± 0.00 | -0.55 ± 0.01 | -0.23 ± 0.01 | -0.02 ± 0.01 | -
| MixSUra 8x7B | -0.35 ± - | -0.27 ± - | -0.70 ± - | -0.58 ± - | -0.70 ± - | -0.80 ± - | -55 ± - | -0.94 ± - | -0.15 ± - | -0.88 ± - | -
| GPT-3.5 | -0.42 ± 0.00 | -0.41 ± 0.00 | -- | -0.28 ± 0.00 | -0.30 ± 0.00 | -0.68 ± 0.02 | -0.64 ± 0.03 | -- | -0.62 ± 0.02 | -0.70 ± 0.05 | -
| GPT-4 | -0.48 ± 0.00 | -0.45 ± 0.00 | -- | -0.33 ± 0.00 | -0.40 ± 0.00 | -0.86 ± 0.01 | -0.80 ± 0.02 | -- | -0.80 ± 0.01 | -0.91 ± 0.03 | -
| Models | -UiT-ViCTSD | -UiT-ViHSD | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.32 ± 0.00 | -0.21 ± 0.00 | -0.72 ± 0.01 | -0.62 ± 0.00 | -0.33 ± 0.00 | -0.14 ± 0.00 | -0.12 ± 0.00 | -0.64 ± 0.02 | -0.61 ± 0.00 | -0.23 ± 0.00 | -
| URA-LLaMa 13B | -0.27 ± 0.00 | -0.26 ± 0.00 | -0.56 ± 0.00 | -0.56 ± 0.00 | -0.12 ± 0.00 | -0.18 ± 0.00 | -0.11 ± 0.00 | -0.57 ± 0.01 | -0.45 ± 0.00 | -0.20 ± 0.00 | -
| URA-LLaMa 7B | -0.22 ± 0.00 | -0.21 ± 0.00 | -0.63 ± 0.00 | -0.39 ± 0.00 | -0.36 ± 0.00 | -0.12 ± 0.00 | -0.07 ± 0.00 | -0.62 ± 0.00 | -0.38 ± 0.00 | -0.19 ± 0.00 | -
| LLaMa-2 13B | -0.12 ± 0.00 | -0.11 ± 0.00 | -0.56 ± 0.01 | -0.66 ± 0.00 | -0.12 ± 0.00 | -0.10 ± 0.00 | -0.07 ± 0.00 | -0.59 ± 0.01 | -0.62 ± 0.00 | -0.24 ± 0.00 | -
| LLaMa-2 7B | -0.04 ± 0.00 | -0.04 ± 0.00 | -0.62 ± 0.00 | -0.86 ± 0.00 | -0.02 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.54 ± 0.00 | -0.79 ± 0.00 | -0.00 ± 0.00 | -
| Vietcuna 7B | -0.11 ± 0.00 | -0.11 ± 0.00 | -0.54 ± 0.00 | -0.39 ± 0.00 | -0.13 ± 0.00 | -0.09 ± 0.00 | -0.05 ± 0.00 | -0.5 ± 0.00 | -0.24 ± 0.00 | -0.08 ± 0.00 | -
| MixSUra 8x7B | -0.72 ± - | -0.39 ± - | -- ± - | -0.25 ± - | -0.81 ± - | -0.66 ± - | -0.31 ± - | -0.67 ± - | -0.21 ± - | -0.82 ± - | -
| GPT-3.5 | -0.51 ± 0.00 | -0.46 ± 0.00 | -0.5 ± 0.00 | -0.01 ± 0.00 | -0.54 ± 0.00 | -0.64 ± 0.00 | -0.47 ± 0.00 | -- ± - | -0.30 ± 0.00 | -0.63 ± 0.00 | -
| GPT-4 | -0.88 ± 0.00 | -0.71 ± 0.00 | -- ± - | -0.38 ± 0.00 | -0.88 ± 0.00 | -0.78 ± 0.00 | -0.56 ± 0.00 | -- ± - | -0.44 ± 0.00 | -0.78 ± 0.00 | -
| Models | -PhoMT | -OPUS100 | -||||||
|---|---|---|---|---|---|---|---|---|
| (En → Vi) | -(Vi → En) | -(En → Vi) | -(Vi → En) | -(En → Vi) | -(Vi → En) | -(En → Vi) | -(Vi → En) | -|
| URA-LLaMa 70B | -0.25 ± 0.00 | -0.58 ± 0.00 | -0.11 ± 0.00 | -0.51 ± 0.00 | -0.05 ± 0.00 | -0.40 ± 0.01 | -0.06 ± 0.00 | -0.36 ± 0.00 | -
| URA-LLaMa 13B | -0.23 ± 0.00 | -0.55 ± 0.00 | -0.10 ± 0.00 | -0.50 ± 0.00 | -0.03 ± 0.00 | -0.38 ± 0.01 | -0.05 ± 0.00 | -0.38 ± 0.00 | -
| URA-LLaMa 7B | -0.15 ± 0.00 | -0.48 ± 0.00 | -0.06 ± 0.00 | -0.46 ± 0.00 | -0.02 ± 0.00 | -0.35 ± 0.00 | -0.03 ± 0.00 | -0.34 ± 0.01 | -
| LLaMa-2 13B | -0.20 ± 0.00 | -0.51 ± 0.00 | -0.07 ± 0.00 | -0.44 ± 0.00 | -0.03 ± 0.00 | -0.36 ± 0.01 | -0.04 ± 0.00 | -0.32 ± 0.00 | -
| LLaMa-2 7B | -0.13 ± 0.00 | -0.41 ± 0.00 | -0.05 ± 0.00 | -0.42 ± 0.00 | -0.02 ± 0.00 | -0.31 ± 0.00 | -0.03 ± 0.00 | -0.30 ± 0.00 | -
| Vietcuna 7B | -0.17 ± 0.00 | -0.43 ± 0.00 | -0.07 ± 0.01 | -0.41 ± 0.00 | -0.09 ± 0.01 | -0.38 ± 0.01 | -0.09 ± 0.01 | -0.33 ± 0.00 | -
| MixSUra 8x7B | -0.14 ± - | -0.50 ± - | -0.11 ± - | -0.46 ± - | -0.06 ± - | -0.36 ± - | -0.06 ± - | -0.31 ± - | -
| GPT-3.5 | -0.31 ± 0.00 | -0.64 ± 0.00 | -0.17 ± 0.00 | -0.59 ± 0.00 | -0.15 ± 0.01 | -0.49 ± 0.01 | -0.21 ± 0.01 | -0.48 ± 0.00 | -
| GPT-4 | -0.31 ± 0.00 | -0.65 ± 0.00 | -0.20 ± 0.00 | -0.62 ± 0.00 | -0.16 ± 0.01 | -0.50 ± 0.01 | -0.23 ± 0.01 | -0.51 ± 0.00 | -
| Models | -XQuAD | -MLQA | -||
|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | -|
| URA-LLaMa 70B | -0.21 ± 0.01 | -0.47 ± 0.01 | -0.14 ± 0.01 | -0.41 ± 0.00 | -
| URA-LLaMa 13B | -0.22 ± 0.01 | -0.43 ± 0.01 | -0.17 ± 0.01 | -0.40 ± 0.01 | -
| URA-LLaMa 7B | -0.13 ± 0.00 | -0.32 ± 0.00 | -0.10 ± 0.00 | -0.32 ± 0.00 | -
| LLaMa-2 13B | -0.04 ± 0.00 | -0.28 ± 0.00 | -0.04 ± 0.00 | -0.28 ± 0.00 | -
| LLaMa-2 7B | -0.06 ± 0.00 | -0.24 ± 0.00 | -0.05 ± 0.00 | -0.24 ± 0.00 | -
| MixSUra 8x7b | -0.13 ±- | -0.38 ± - | -0.09 ± - | -0.36 ± - | -
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.49 ± 0.00 | -0.23 ± 0.00 | -0.31 ± 0.00 | --0.08 ± 0.00 | -0.05 ± 0.11 | -0.89 ± 0.00 | -8.90 ± 0.03 | -18.48 ± 0.59 | -0.47 ± 0.00 | -0.20 ± 0.00 | -0.29 ± 0.00 | --0.16 ± 0.00 | -0.19 ± 0.13 | -0.86 ± 0.00 | -6.83 ± 0.09 | -25.30 ± 1.86 | -
| URA-LLaMa 13B | -0.27 ± 0.00 | -0.12 ± 0.00 | -0.18 ± 0.00 | --0.09 ± 0.00 | -0.05 ± 0.11 | -0.56 ± 0.00 | -5.00 ± 0.04 | -153.55 ± 0.99 | -0.22 ± 0.00 | -0.09 ± 0.00 | -0.14 ± 0.00 | --0.16 ± 0.00 | -0.20 ± 0.007 | -0.48 ± 0.00 | -3.49 ± 0.04 | -190.09 ± 4.92 | -
| URA-LLaMa 7B | -0.45 ± 0.00 | -0.21 ± 0.00 | -0.29 ± 0.00 | --0.08 ± 0.00 | -0.03 ± 0.09 | -0.91 ± 0.00 | -9.43 ± 0.03 | -6.42 ± 0.05 | -0.42 ± 0.00 | -0.18 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.07 ± 0.12 | -0.89 ± 0.00 | -7.58 ± 0.05 | -7.14 ± 0.14 | -
| LLaMa-2 13B | -0.45 ± 0.00 | -0.22 ± 0.00 | -0.29 ± 0.00 | --0.09 ± 0.00 | -0.00 ± 0.14 | -0.92 ± 0.00 | -9.49 ± 0.02 | -8.46 ± 0.29 | -0.47 ± 0.00 | -0.22 ± 0.00 | -0.29 ± 0.00 | --0.16 ± 0.00 | -0.34 ± 0.12 | -0.92 ± 0.00 | -9.39 ± 0.05 | -17.94 ± 2.84 | -
| LLaMa-2 7B | -0.36 ± 0.00 | -0.17 ± 0.00 | -0.23 ± 0.00 | --0.09 ± 0.00 | --0.15 ± 0.12 | -0.69 ± 0.00 | -6.35 ± 0.03 | -7.59 ± 0.21 | -0.45 ± 0.00 | -0.20 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.36 ± 0.00 | -0.83 ± 0.00 | -7.71 ± 0.07 | -12.39 ± 1.46 | -
| MixSUra 8x7B | -0.44 ± - | -0.22 ± - | -0.29 ± - | -- ± - | -0.07 ± - | -0.97 ± - | -35.67 ± - | -9.43 ± - | -0.47 ± - | -0.22 ± - | -0.29 ± - | -- ± - | -0.19 ± - | -0.97 ± - | -28.97 ± - | -10.27 ± - | -
| Models | -mMARCO | -mRobust04 | -||||||
|---|---|---|---|---|---|---|---|---|
| M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -M@10↑ | -M@10B↑ | -N@10↑ | -N@10B↑ | -|
| URA-LLaMa 70B | -- | -- | -- | -- | -- | -- | -- | -- | -
| URA-LLaMa 13B | -- | -- | -- | -- | -- | -- | -- | -- | -
| URA-LLaMa 7B | -0.06 ± 0.00 | -0.14 ± 0.00 | -0.09 ± 0.00 | -0.21 ± 0.00 | -- | -- | -- | -- | -
| LLaMa-2 13B | -- | -- | -- | -- | -- | -- | -- | -- | -
| LLaMa-2 7B | -0.06 ± 0.00 | -0.11 ± 0.00 | -0.08 ± 0.00 | -0.17 ± 0.00 | -- | -- | -- | -- | -
| Vietcuna 7B | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-3.5 | -- | -- | -- | -- | -- | -- | -- | -- | -
| GPT-4 | -- | -- | -- | -- | -- | -- | -- | -- | -
| Models | -ZaloE2E | -ViMMRC | -|||||
|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.28 ± 0.02 | -0.44 ± 0.02 | -0.80 ± 0.02 | -0.80 ± 0.02 | -0.85 ± 0.01 | -0.10 ± 0.02 | -0.96 ± 0.03 | -
| URA-LLaMa 13B | -0.12 ± 0.01 | -0.22 ± 0.01 | -0.40 ± 0.02 | -0.31 ± 0.02 | -0.57 ± 0.02 | -0.48 ± 0.02 | -0.42 ± 0.08 | -
| URA-LLaMa 7B | -0.09 ± 0.01 | -0.20 ± 0.02 | -0.30 ± 0.02 | -0.10 ± 0.01 | -0.56 ± 0.02 | -0.27 ± 0.02 | -0.56 ± 0.07 | -
| LLaMa-2 13B | -0.06 ± 0.01 | -0.10 ± 0.01 | -0.52 ± 0.02 | -0.41 ± 0.02 | -0.64 ± 0.02 | -0.33 ± 0.02 | -0.73 ± 0.07 | -
| LLaMa-2 7B | -0.03 ± 0.01 | -0.07 ± 0.01 | -0.37 ± 0.02 | -0.25 ± 0.02 | -0.51 ± 0.02 | -0.35 ± 0.02 | -0.29 ± 0.06 | -
| Vietcuna 7B | -0.03 ± 0.01 | -0.06 ± 0.01 | -0.32 ± 0.02 | -0.22 ± 0.02 | -0.50 ± 0.00 | -0.07 ± 0.02 | -0.33 ± 0.07 | -
| GPT-3.5 | -0.37 ± 0.02 | -0.56 ± 0.02 | -0.90 ± 0.01 | -0.72 ± 0.01 | -- | -0.65 ± 0.01 | -0.90 ± 0.04 | -
| GPT-4 | -0.38 ± 0.02 | -0.55 ± 0.02 | -0.92 ± 0.01 | -0.73 ± 0.06 | -- | -0.67 ± 0.01 | -0.90 ± 0.04 | -
| Models | -MLQA-MLM | -VSEC | -||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -EM↑ | -CER↓ | -WER↓ | -CED↓ | -WED↓ | -PLX↓ | -|
| URA-LLaMa 70B | -0.00 ± 0.00 | -0.50 ± 0.01 | -0.64 ± 0.01 | -519.09 ± 10.96 | -115.82 ± 2.45 | -1.08 ± 0.01 | -0.00 ± 0.00 | -0.88 ± 0.00 | -1.01 ± 0.00 | -113.51 ± 0.57 | -29.91 ± 0.15 | -1.09 ± 0.00 | -
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.67 ± 0.00 | -0.78 ± 0.00 | -697.85 ± 11.62 | -161.34 ± 2.64 | -1.16 ± 0.02 | -0.01 ± 0.00 | -0.42 ± 0.01 | -0.56 ± 0.01 | -54.88 ± 0.77 | -14.50 ± 0.19 | -1.26 ± 0.00 | -
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.73 ± 0.00 | -0.88 ± 0.01 | -684.00 ± 13.18 | -166.87 ± 3.18 | -1.25 ± 0.01 | -0.01 ± 0.00 | -3.33 ± 0.04 | -3.14 ± 0.03 | -420.34 ± 5.66 | -85.79 ± 0.96 | -1.33 ± 0.00 | -
| LLaMa-2 13B | -0.00 ± 0.00 | -0.90 ± 0.00 | -1.00 ± 0.00 | -881.97 ± 11.23 | -208.52 ± 2.52 | -1.10 ± 0.01 | -0.00 ± 0.00 | -1.32 ± 0.01 | -1.40 ± 0.01 | -160.06 ± 1.16 | -38.12 ± 0.23 | -1.11 ± 0.00 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.95 ± 0.00 | -1.07 ± 0.01 | -860.42 ± 13.18 | -210.21 ± 3.18 | -1.25 ± 0.01 | -0.00 ± 0.00 | -1.54 ± 0.04 | -1.55 ± 0.03 | -171.28 ± 5.66 | -40.18 ± 0.96 | -1.14 ± 0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -1.00 ± 0.00 | -1.00 ± 0.00 | -951.53 ± 12.37 | -208.57 ± 2.73 | -1.48 ± 0.01 | -0.01 ± 0.00 | -1.11 ± 0.01 | -1.20 ± 0.01 | -139.90 ± 1.39 | -33.94 ± 0.33 | -1.61 ± 0.00 | -
| GPT-3.5 | -0.00 ± 0.00 | -0.34 ± 0.01 | -0.50 ± 0.01 | -422.30 ± 10.79 | -100.33 ± 2.44 | -- | -0.02 ± 0.00 | -0.16 ± 0.00 | -0.30 ± 0.00 | -12.63 ± 0.34 | -3.48 ± 0.09 | -- | -
| GPT-4 | -0.04 ± 0.00 | -0.40 ± 0.01 | -0.45 ± 0.01 | -381.88 ± 10.26 | -93.34 ± 2.39 | -- | -0.60 ± 0.01 | -0.14 ± 0.00 | -0.26 ± 0.00 | -13.58 ± 0.45 | -3.67 ± 0.12 | -- | -
| Models | -XQuAD | -MLQA | -||
|---|---|---|---|---|
| EM↑ | -F1↑ | -EM↑ | -F1↑ | -|
| URA-LLaMa 70B | -0.06 ± 0.00 | -0.30 ± 0.00 | -0.04 ± 0.00 | -0.28 ± 0.00 | -
| URA-LLaMa 13B | -0.00 ± 0.00 | -0.14 ± 0.00 | -0.00 ± 0.00 | -0.15 ± 0.00 | -
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.14 ± 0.00 | -0.00 ± 0.00 | -0.16 ± 0.00 | -
| LLaMa-2 13B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.02 | -0.05 ± 0.00 | -
| LLaMa-2 7B | -0.00 ± 0.00 | -0.05 ± 0.00 | -0.00 ± 0.00 | -0.06 ± 0.00 | -
| Vietcuna 7B | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -
| GPT-3.5 | -0.00 ± 0.00 | -0.24 ± 0.00 | -0.00 ± 0.00 | -0.25 ± 0.00 | -
| GPT-4 | -0.00 ± 0.00 | -0.27 ± 0.00 | -0.00 ± 0.00 | -0.27 ± 0.00 | -
| Models | -SR - Natural | -SR - Abstract symbol | -MATH | ++ Models + | + {% for dataset in site.data.leaderboard[lang].zero_shot.reasoning %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | -EM↑ | -F1↑ | -Equ.↑ | + {% for dataset in site.data.leaderboard[lang].zero_shot.reasoning %} +EM↑ | +F1↑ | +Equ↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.06 ± 0.00 | -0.34 ± 0.00 | -0.06 ± 0.00 | -0.02 ± 0.00 | -0.24 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.24 ± 0.02 | -||||
| URA-LLaMa 13B | -0.01 ± 0.00 | -0.31 ± 0.00 | -0.02 ± 0.00 | -0.02 ± 0.00 | -0.24 ± 0.00 | -0.01 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.14 ± 0.02 | -||||
| URA-LLaMa 7B | -0.00 ± 0.00 | -0.26 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.17 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.01 | -||||
| LLaMa-2 13B | -0.00 ± 0.00 | -0.06 ± 0.00 | -0.00 ± 0.00 | -0.02 ± 0.00 | -0.19 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.16 ± 0.02 | -||||
| LLaMa-2 7B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.05 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.06 ± 0.01 | -||||
| Vietcuna 7B | -0.00 ± 0.00 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.10 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -||||
| GPT-3.5 | -0.21 ± 0.00 | -0.59 ± 0.00 | -0.32 ± 0.00 | -0.09 ± 0.00 | -0.28 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.72 ± 0.02 | -||||
| GPT-4 | -0.21 ± 0.00 | -0.59 ± 0.00 | -0.32 ± 0.00 | -0.09 ± 0.00 | -0.28 ± 0.00 | -0.13 ± 0.00 | -0.00 ± 0.00 | -0.01 ± 0.00 | -0.76 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].zero_shot.reasoning %} + {% assign EM_best = 0 %} + {% assign F1_best = 0 %} + {% assign Equ_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].EM and dataset[1][m].EM > EM_best %} + {% assign EM_best = dataset[1][m].EM %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m]["Equ"] and dataset[1][m]["Equ"] > Equ_best %} + {% assign Equ_best = dataset[1][m]["Equ"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].EM %} + {{ dataset[1][model].EM | round: 2 }} ± {{ dataset[1][model].EM_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["Equ"] %} + {{ dataset[1][model]["Equ"] | round: 2 }} ± {{ dataset[1][model]["Equ_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -VLSP 2016 | -UiT-VSFC | ++ Models + | + {% for dataset in site.data.leaderboard[lang].zero_shot.sentiment_analysis %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | + {% for dataset in site.data.leaderboard[lang].zero_shot.sentiment_analysis %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.63 ± 0.02 | -0.63 ± 0.02 | -0.74 ± 0.01 | -0.15 ± 0.01 | -0.87 ± 0.03 | -0.64 ± 0.01 | -0.54 ± 0.01 | -0.85 ± 0.01 | -0.14 ± 0.00 | -0.98 ± 0.01 | -||||||
| URA-LLaMa 13B | -0.52 ± 0.02 | -0.35 ± 0.01 | -0.60 ± 0.01 | -0.10 ± 0.01 | -0.64 ± 0.05 | -0.70 ± 0.01 | -0.40 ± 0.01 | -0.72 ± 0.01 | -0.23 ± 0.01 | -0.95 ± 0.01 | -||||||
| URA-LLaMa 7B | -0.35 ± 0.02 | -0.24 ± 0.01 | -0.54 ± 0.01 | -0.24 ± 0.01 | -0.31 ± 0.05 | -0.27 ± 0.01 | -0.18 ± 0.00 | -0.52 ± 0.01 | -0.37 ± 0.01 | -0.03 ± 0.01 | -||||||
| LLaMa-2 13B | -0.25 ± 0.01 | -0.25 ± 0.01 | -0.49 ± 0.01 | -0.39 ± 0.01 | -0.29 ± 0.05 | -0.29 ± 0.01 | -0.24 ± 0.01 | -0.52 ± 0.01 | -0.42 ± 0.01 | -0.30 ± 0.03 | -||||||
| LLaMa-2 7B | -0.15 ± 0.01 | -0.15 ± 0.01 | -0.58 ± 0.01 | -0.73 ± 0.01 | -0.12 ± 0.03 | -0.04 ± 0.00 | -0.06 ± 0.01 | -0.49 ± 0.01 | -0.79 ± 0.00 | -0.01 ± 0.01 | -||||||
| Vietcuna 7B | -0.11 ± 0.01 | -0.12 ± 0.01 | -0.49 ± 0.01 | -0.68 ± 0.01 | -0.11 ± 0.03 | -0.05 ± 0.00 | -0.06 ± 0.00 | -0.56 ± 0.01 | -0.73 ± 0.00 | -0.05 ± 0.01 | -||||||
| MixSUra 8x7B | -0.45 ± - | -0.30 ± - | -0.62 ± - | -0.50 ± - | -0.49 ± - | -0.55 ± - | -0.40 ± - | -0.66 ± - | -0.41 ± - | -0.60 ± - | -||||||
| Gemini Pro | -0.64 ± - | -0.47 ± - | -- | -0.31 ± - | -0.53 ± - | -0.76 ± - | -0.49 ± - | -- | -0.43 ± - | -0.77 ± - | -||||||
| GPT-3.5 | -0.62 ± 0.02 | -0.56 ± 0.01 | -- | -0.29 ± 0.02 | -0.62 ± 0.05 | -0.81 ± 0.31 | -0.68 ± 0.31 | -- | -0.48 ± 0.01 | -0.83 ± 0.02 | -||||||
| GPT-4 | -0.71 ± 0.01 | -0.68 ± 0.01 | -- | -0.37 ± 0.01 | -0.70 ± 0.04 | -0.80 ± 0.01 | -0.67 ± 0.01 | -- | -0.47 ± 0.01 | -0.85 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].zero_shot.sentiment_analysis %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}
| Models | -VietNews | -WikiLingua | -||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -R1↑ | -R2↑ | -RL↑ | -SC↑ | -BS↑ | -Cv↑ | -De↑ | -Cp↑ | -|
| URA-LLaMa 70B | -0.42 ± 0.17 | -0.21 ± 0.12 | -0.28 ± 0.00 | --0.11 ± 0.00 | -0.03 ± 0.19 | -0.85 ± 0.00 | -14.59 ± 0.05 | -17.21 ± 0.33 | -0.37 ± 0.00 | -0.16 ± 0.00 | -0.24 ± 0.00 | --0.22 ± 0.00 | -0.26 ± 0.16 | -0.17 ± 0.00 | -0.22 ± 0.00 | -22.24 ± 0.97 | -
| URA-LLaMa 13B | -0.38 ± 0.00 | -0.18 ± 0.00 | -0.25 ± 0.00 | --0.09 ± 0.00 | -0.01 ± 0.18 | -0.71 ± 0.00 | -6.01 ± 0.07 | -24.27 ± 0.61 | -0.22 ± 0.00 | -0.08 ± 0.00 | -0.14 ± 0.00 | --0.16 ± 0.00 | --0.13 ± 0.12 | -0.42 ± 0.01 | -3.06 ± 0.10 | -49.58 ± 1.16 | -
| URA-LLaMa 7B | -0.38 ± 0.00 | -0.14 ± 0.00 | -0.25 ± 0.00 | --0.09 ± 0.00 | -0.04 ± 0.12 | -0.65 ± 0.00 | -4.88 ± 0.03 | -7.77 ± 0.05 | -0.40 ± 0.00 | -0.15 ± 0.00 | -0.26 ± 0.00 | --0.16 ± 0.00 | -0.19 ± 0.07 | -0.73 ± 0.00 | -4.79 ± 0.07 | -6.22 ± 0.07 | -
| LLaMa-2 13B | -0.06 ± 0.00 | -0.02 ± 0.00 | -0.04 ± 0.00 | --0.09 ± 0.00 | --0.18 ± 0.04 | -0.07 ± 0.00 | -0.43 ± 0.01 | -28.25 ± 0.24 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.16 ± 0.00 | --0.11 ± 0.08 | -0.03 ± 0.00 | -0.07 ± 0.01 | -19.55 ± 0.51 | -
| LLaMa-2 7B | -0.06 ± 0.00 | -0.01 ± 0.00 | -0.05 ± 0.00 | --0.09 ± 0.00 | --0.23 ± 0.04 | -0.06 ± 0.00 | -0.21 ± 0.00 | -15.75 ± 0.20 | -0.04 ± 0.00 | -0.00 ± 0.00 | -0.03 ± 0.00 | --0.16 ± 0.00 | --0.14 ± 0.07 | -0.03 ± 0.00 | -0.06 ± 0.00 | -17.84 ± 0.50 | -
| Vietcuna 7B | -0.28 ± 0.00 | -0.06 ± 0.00 | -0.18 ± 0.00 | --0.09 ± 0.00 | --0.09 ± 0.09 | -0.31 ± 0.00 | -0.80 ± 0.01 | -171.63 ± 1.71 | -0.24 ± 0.00 | -0.06 ± 0.00 | -0.15 ± 0.00 | --0.16 ± 0.00 | --0.18 ± 0.07 | -0.51 ± 0.01 | -1.16 ± 0.01 | -238.67 ± 3.37 | -
| GPT-3.5 | -0.36 ± 0.00 | -0.20 ± 0.00 | -0.24 ± 0.00 | --0.09 ± 0.00 | -0.04 ± 0.13 | -0.86 ± 0.00 | -3.97 ± 0.02 | -13.32 ± 0.65 | -0.43 ± 0.00 | -0.21 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.22 ± 0.03 | -0.87 ± 0.00 | -3.29 ± 0.03 | -35.50 ± 0.82 | -
| GPT-4 | -0.41 ± 0.00 | -0.21 ± 0.00 | -0.26 ± 0.00 | --0.08 ± 0.00 | --0.04 ± 0.11 | -0.84 ± 0.00 | -3.45 ± 0.00 | -15.43 ± 0.49 | -0.44 ± 0.00 | -0.21 ± 0.00 | -0.27 ± 0.00 | --0.16 ± 0.00 | -0.24 ± 0.04 | -0.82 ± 0.00 | -2.37 ± 0.01 | -6.61 ± 0.16 | -
| Models | -UiT-VSMEC | -PhoATIS | -||||||||
|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -|
| URA-LLaMa 70B | -0.40 ± 0.02 | -0.32 ± 0.02 | -0.68 ± 0.01 | -0.14 ± 0.02 | -0.60 ± 0.06 | -0.56 ± 0.02 | -0.48 ± 0.03 | -0.85 ± 0.00 | -0.25 ± 0.02 | -0.56 ± 0.06 | -
| URA-LLaMa 13B | -0.29 ± 0.02 | -0.25 ± 0.02 | -0.52 ± 0.01 | -0.09 ± 0.01 | -0.23 ± 0.05 | -0.10 ± 0.01 | -0.10 ± 0.01 | -0.72 ± 0.00 | -0.52 ± 0.01 | -0.14 ± 0.04 | -
| URA-LLaMa 7B | -0.13 ± 0.01 | -0.11 ± 0.01 | -0.50 ± 0.01 | -0.15 ± 0.01 | -0.21 ± 0.05 | -0.04 ± 0.01 | -0.04 ± 0.02 | -0.77 ± 0.00 | -0.30 ± 0.01 | -0.04 ± 0.02 | -
| LLaMa-2 13B | -0.11 ± 0.01 | -0.10 ± 0.01 | -0.49 ± 0.01 | -0.31 ± 0.01 | -0.09 ± 0.04 | -0.03 ± 0.01 | -0.02 ± 0.00 | -0.45 ± 0.01 | -0.28 ± 0.01 | -0.03 ± 0.02 | -
| LLaMa-2 7B | -0.07 ± 0.01 | -0.08 ± 0.01 | -0.52 ± 0.01 | -0.35 ± 0.01 | -0.07 ± 0.03 | -0.00 ± 0.06 | -0.00 ± 0.06 | -0.61 ± 0.01 | -0.32 ± 0.00 | -0.00 ± 0.00 | -
| Vietcuna 7B | -0.05 ± 0.01 | -0.02 ± 0.01 | -0.52 ± 0.01 | -0.95 ± 0.01 | -0.03 ± 0.02 | -0.05 ± 0.01 | -0.01 ± 0.00 | -0.66 ± 0.00 | -0.20 ± 0.01 | -0.01 ± 0.21 | -
| GPT-3.5 | -0.43 ± 0.02 | -0.37 ± 0.02 | -- | -0.29 ± 0.02 | -0.43 ± 0.06 | -0.44 ± 0.02 | -0.38 ± 0.03 | -- | -0.38 ± 0.02 | -0.44 ± 0.05 | -
| GPT-4 | -0.49 ± 0.02 | -0.46 ± 0.02 | -- | -0.35 ± 0.02 | -0.50 ± 0.06 | -0.89 ± 0.01 | -0.69 ± 0.02 | -- | -0.83 ± 0.01 | -0.89 ± 0.03 | -
| Models | -UiT-ViCTSD | -UiT-ViHSD | ++ Models + | + {% for dataset in site.data.leaderboard[lang].zero_shot.toxicity_detection %} ++ {{ dataset[0] }} + | + {% endfor %}||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | -AC↑ | -F1↑ | -AR↑ | -ECE↓ | -A@10↑ | + {% for dataset in site.data.leaderboard[lang].zero_shot.toxicity_detection %} +AC↑ | +F1↑ | +AR↑ | +ECE↓ | +A@10↑ | + {% endfor %}||
| URA-LLaMa 70B | -0.61 ± 0.01 | -0.52 ± 0.01 | -0.77 ± 0.01 | -0.17 ± 0.01 | -0.97 ± 0.01 | -0.38 ± 0.01 | -0.34 ± 0.01 | -0.74 ± 0.01 | -0.25 ± 0.01 | -0.91 ± 0.01 | -||||||
| URA-LLaMa 13B | -0.46 ± 0.01 | -0.28 ± 0.03 | -0.53 ± 0.02 | -0.22 ± 0.01 | -0.48 ± 0.03 | -0.33 ± 0.01 | -0.18 ± 0.00 | -0.60 ± 0.01 | -0.35 ± 0.01 | -0.54 ± 0.02 | -||||||
| URA-LLaMa 7B | -0.25 ± 0.01 | -0.19 ± 0.01 | -0.53 ± 0.01 | -0.38 ± 0.01 | -0.13 ± 0.02 | -0.19 ± 0.00 | -0.13 ± 0.00 | -0.55 ± 0.01 | -0.46 ± 0.01 | -0.13 ± 0.01 | -||||||
| LLaMa-2 13B | -0.16 ± 0.01 | -0.14 ± 0.00 | -0.40 ± 0.01 | -0.50 ± 0.01 | -0.24 ± 0.02 | -0.09 ± 0.00 | -0.13 ± 0.00 | -0.38 ± 0.01 | -0.63 ± 0.00 | -0.10 ± 0.01 | -||||||
| LLaMa-2 7B | -0.13 ± 0.01 | -0.14 ± 0.01 | -0.45 ± 0.02 | -0.69 ± 0.01 | -0.09 ± 0.01 | -0.03 ± 0.00 | -0.05 ± 0.01 | -0.56 ± 0.01 | -0.75 ± 0.00 | -0.00 ± 0.00 | -||||||
| Vietcuna 7B | -0.09 ± 0.00 | -0.07 ± 0.00 | -0.50 ± 0.00 | -0.41 ± 0.00 | -0.10 ± 0.03 | -0.07 ± 0.00 | -0.04 ± 0.00 | -0.50 ± 0.00 | -0.26 ± 0.00 | -0.07 ± 0.01 | -||||||
| GPT-3.5 | -0.75 ± 0.01 | -0.61 ± 0.02 | -- | -0.25 ± 0.01 | -0.80 ± 0.04 | -0.55 ± 0.01 | -0.42 ± 0.01 | -- | -0.22 ± 0.01 | -0.55 ± 0.02 | -||||||
| GPT-4 | -0.89 ± 0.01 | -0.69 ± 0.01 | -- | -0.39 ± 0.01 | -0.89 ± 0.03 | -0.75 ± 0.01 | -0.53 ± 0.01 | -- | -0.42 ± 0.01 | -0.75 ± 0.02 | ++ {{ model }} + | + {% for dataset in site.data.leaderboard[lang].zero_shot.toxicity_detection %} + {% assign AC_best = 0 %} + {% assign F1_best = 0 %} + {% assign AR_best = 0 %} + {% assign ECE_best = 1 %} + {% assign A10_best = 0 %} + {% for m in site.data.leaderboard[lang].models.models %} + {% if dataset[1][m].AC and dataset[1][m].AC > AC_best %} + {% assign AC_best = dataset[1][m].AC %} + {% endif %} + {% if dataset[1][m].F1 and dataset[1][m].F1 > F1_best %} + {% assign F1_best = dataset[1][m].F1 %} + {% endif %} + {% if dataset[1][m].AR and dataset[1][m].AR > AR_best %} + {% assign AR_best = dataset[1][m].AR %} + {% endif %} + {% if dataset[1][m].ECE and dataset[1][m].ECE < ECE_best %} + {% assign ECE_best = dataset[1][m].ECE %} + {% endif %} + {% if dataset[1][m]["A@10"] and dataset[1][m]["A@10"] > A10_best %} + {% assign A10_best = dataset[1][m]["A@10"] %} + {% endif %} + {% endfor %} ++ {% if dataset[1][model].AC %} + {{ dataset[1][model].AC | round: 2 }} ± {{ dataset[1][model].AC_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].F1 %} + {{ dataset[1][model].F1 | round: 2 }} ± {{ dataset[1][model].F1_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].AR %} + {{ dataset[1][model].AR | round: 2 }} ± {{ dataset[1][model].AR_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model].ECE %} + {{ dataset[1][model].ECE | round: 2 }} ± {{ dataset[1][model].ECE_std | round: 2 }} + {% else %} + - + {% endif %} + | ++ {% if dataset[1][model]["A@10"] %} + {{ dataset[1][model]["A@10"] | round: 2 }} ± {{ dataset[1][model]["A@10_std"] | round: 2 }} + {% else %} + - + {% endif %} + | + {% endfor %}