Skip to content

关于hubert-large使用CTC finetune插入错误 #57

@Swagger-z

Description

@Swagger-z

您好,我们在尝试在fairseq上对hubert-large进行ctc-finetune后推理测试出现了一个奇怪的问题,每条音频的解码结果的句尾会额外插入几个不存在的汉字,(同样的参数配置对wav2vec2-large进行微调时一切正常)例子如下:
hubert hyp:甚至出现交易几乎停止的情况(这些的交的)
wav2vec2 hyp: 甚至出现交易几乎停制的情况
ref:甚至出现交易几乎停滞的情况
请问您知道可能的原因吗

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions