mindnlp官方文档（https://mindnlp.cqu.ai/）示例代码错误反馈

[Helloyouth2022]

##错误1
https://mindnlp.cqu.ai/tutorials/quick_start/#load-the-model

改正：from mindnlp.core.optim import AdamW

##错误2
https://mindnlp.cqu.ai/tutorials/quick_start/#prepare-a-dataset

https://mindnlp.cqu.ai/tutorials/data_preprocess/

改正：from mindnlp.dataset import load_dataset

##错误3
https://mindnlp.cqu.ai/tutorials/peft/#train-the-model

改正：import mindnlp.core.optim as optim

[lvyufeng]

ok

[LmYjQ]

@Helloyouth2022 错误1的下面我还遇到报错了。下面这一行会报错optimizer没有parameters属性

grad_fn = value_and_grad(forward_fn, None, optimizer.parameters)

[Helloyouth2022]

@Helloyouth2022 错误1的下面我还遇到报错了。下面这一行会报错optimizer没有parameters属性

grad_fn = value_and_grad(forward_fn, None, optimizer.parameters)

下面也是需要更新的，mindnlp的optimizer不同于mindspore，应该通过model直接传进去：grad_fn = value_and_grad(forward_fn, None, model.trainable_params())
建议先学习一下mindnlp的优化器的基本用法，和pytorch类似的，可以看看github源码或者更直接的：通过help(optimizer)打印帮助文档，optimizer是你创建的优化器对象

[Helloyouth2022]

https://mindnlp.cqu.ai/tutorials/peft/#training-step

optimizer(grads)相应地改为：optimizer.step(grads)

[LmYjQ]

@Helloyouth2022 请问mindnlp在训练过程中是否需要手动执行zero grad？我在910B上用sgd训练longformer，训练过程中HBM会不断增加直到OOM

[Helloyouth2022]

@Helloyouth2022 请问mindnlp在训练过程中是否需要手动执行zero grad？我在910B上用sgd训练longformer，训练过程中HBM会不断增加直到OOM

目前了解到的是：mindspore的训练过程无需显示调用zero grad操作；
mindnlp 训练过程的封装整体上还是和mindspore一样的（mindnlp本来就是基于mindspore的），只是因为优化器的做了自己的接口，可能在调用时调用方式变了一点。

其实如果了解mindspore和pytorch在“获取模型梯度并使用梯度更新”操作上的差异，也很容易理解为什么在mindspore 上不用 梯度清零这个操作；
提示：pytorch中更新模型参数是通过损失函数值（是一个Tensor）执行backward操作，而mindspore中不是：