LongformerForSequenceClassification训练速度慢

[LmYjQ]

Describe the bug/ 问题描述 (Mandatory / 必填)
BertForSequenceClassification只要5分钟可以跑完一个epoch的数据集，LongformerForSequenceClassification预计要几十个小时。可以观察到NPU的HBM有占用，但是AIcore几乎没有占用。

两份代码区别只是定义tokenizer和from_pretrained的两行。

• Hardware Environment(Ascend/GPU/CPU) / 硬件环境:
  ascend910b

• Software Environment / 软件环境 (Mandatory / 必填):
  -- MindSpore version 2.3.1
  -- Python version 3.9.20
  -- mindnlp version 0.4.0
  -- OS platform and distribution (e.g., Linux Ubuntu 16.04): ky10.aarch64

因为代码在内网环境很难弄出来，正在尝试用启智平台复现。

[lvyufeng]

longformer涉及到循环，在Ascend上目前确实非常慢