Skip to content

R1-searcher 和 R1-searcher++指标问题 #52

@LanSnowZ

Description

@LanSnowZ

作者您好,我在R1-searcher中发现,模型在hotpotqa上的的指标分数,AccR是0.654,AccL更高达0.750,文章中有说明AccR是模型的Covered exact match分数,AccL是大模型评分。

Image Image

但是在您的新文章R1-searcher++中,R1-searcher模型的f1 score和Lasj得分仅有0.60和0.62。

Image

其中是出现了什么错误或者使用的测试集大小有不同吗?我应该以哪篇论文为准呢?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions