识别不了地方会出现 � 这样的字符，要怎么处理？

[qiulang]

我使用 BELLE-2/Belle-whisper-large-v3-turbo-zh （但别的模型也会），当识别不了就会出现 � 这样的字符，有时候 连着了两个，比如我有一段音频 “陪同人员��”

出现 � 这样的字符要这么处理？

[hebangwen]

这个原因是：单个 utf-8 的中文字符被分成了两个 token，经过 tokenizer 之后就会乱码变为 �。如果发现 tokenizer 解码出现了 �，需要返回空字符串，等模型解码了第二个 token 之后再一起解码出有效的中文字符。伪代码长这样：

decode_inputs = []
text = tokenizer.decode(output_token)
if '�' in text:
  if decode_inputs:
    decode_inputs.append(output_token)
    text = tokenizer.decode(decode_inputs)
    decode_inputs.clear()
  else:
    decode_inputs.append(output_token)
    text = ''

print(text, flush=True)