bmm-tbank

Репозиторий проекта "Языковая модель для генерации подсказок" от Большой математической мастерской в Омске

Описание

В современном мире нейронные сети активно применяются в разных отраслях, в том числе для написания кода. В частности, большой популярностью пользуются LLM (языковые модели). Мы применяем такие модели для генерации подсказок прямо во время написания разработчиком кода. При этом тратятся большие вычислительные ресурсы на часто неподходящие подсказки, где у модели не хватает информации или когнитивных возможностей, чтобы справиться с задачей. Вам будет предоставлен размеченный датасет, где известно, что сгенерировала модель, а что написано на самом деле. Ваша задача по контексту и данным предсказать, сможет ли модель правильно угадать ожидаемую строку или нет.

Результат

В качестве целевой метрики будет использоваться $F_{\beta}$ score , где beta = 1.25, precision — точность предсказания, когда языковая модель угадала правильно, recall — полнота правильных предсказаний языковой модели. Вводятся ограничения на время ответа и ресурсы, используемые вашим решением.