HumanEval如何评测pass@k，k>1的情况。

[KaiLv69]

我的代码如下所示，

humaneval_infer_cfg = dict(prompt_template=dict(
                               type=PromptTemplate,
                               template=f'{humaneval_hint}### Instruction:\nComplete the following python code.\n\n### Input:\n{{input}}\n\n### Response:\n{{prompt}}',
                               # template='</E></prompt>',
                               ),
                           retriever=dict(type=ZeroRetriever),
                           inferencer=dict(type=GenInferencer, max_out_len=512,
                                           temperature=0.1, top_p=0.95, num_return_sequences=10, do_sample=True,
                                           ))
humaneval_eval_cfg = dict(
    evaluator=dict(type=HumanEvaluator),
    k=[1, 5, 10],  # the parameter only for humaneval
    pred_postprocessor=dict(type=humaneval_postprocess),
)

我想测试pass@10，但是最后predictions文件夹下面还是只有163条数据，并且评测出来的结果只有pass@1。

[melody123123]

使用说明是让吧每个样例都复制一定数量再测吧0