Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

DeepSeek 7B Chat Lora 效果太棒了! #12

Open
KMnO4-zx opened this issue Dec 3, 2023 · 4 comments
Open

DeepSeek 7B Chat Lora 效果太棒了! #12

KMnO4-zx opened this issue Dec 3, 2023 · 4 comments

Comments

@KMnO4-zx
Copy link

KMnO4-zx commented Dec 3, 2023

尊敬的DeepSeek团队:

我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程,而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而,在我实测了Lora微调的效果之后,我感到非常佩服你们团队的工作。

我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色,这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验,并将其发布在GitHub上。如果需要,我可以将其整理成脚本形式,并提交PR。

再次感谢你们团队的工作,期待着你们未来的创新和贡献。

DeepSeek 7B chat lora 教程 地址:https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md
仓库地址:https://github.com/datawhalechina/self-llm.git

@yucc-leon
Copy link

好奇,这个太棒了是相对其他同尺寸开源模型来说吗?另外你们的项目看上去已经涉及了很多开源模型的微调,有什么选型或者微调中的发现可以分享吗?

@KMnO4-zx
Copy link
Author

KMnO4-zx commented Dec 4, 2023

好奇,这个太棒了是相对其他同尺寸开源模型来说吗?另外你们的项目看上去已经涉及了很多开源模型的微调,有什么选型或者微调中的发现可以分享吗?

尝试对chat-嬛嬛训练了1/3的epoch,发现效果出奇的好,没有遗忘知识,也能很好的按照嬛嬛语气对话。如果你有更多想要了解的,可以来看我们仓库中关于deepseek lora训练部分。https://github.com/datawhalechina/self-llm.git

@luofuli
Copy link
Contributor

luofuli commented Dec 4, 2023

尊敬的DeepSeek团队:

我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程,而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而,在我实测了Lora微调的效果之后,我感到非常佩服你们团队的工作。

我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色,这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验,并将其发布在GitHub上。如果需要,我可以将其整理成脚本形式,并提交PR。

再次感谢你们团队的工作,期待着你们未来的创新和贡献。

DeepSeek 7B chat lora 教程 地址:https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md
仓库地址:https://github.com/datawhalechina/self-llm.git

欢迎提交PR~

@KMnO4-zx
Copy link
Author

KMnO4-zx commented Dec 5, 2023

尊敬的DeepSeek团队:
我写这封信是为了表达我对你们团队极富创造力的工作的感激之情。我注意到在仓库中并没有关于Lora微调的脚本和教程,而llama-factory也没有为DeepSeek 7B chat模型做Lora微调适配。然而,在我实测了Lora微调的效果之后,我感到非常佩服你们团队的工作。
我非常感谢你们团队在开发DeepSeek 7B chat模型方面所做的努力。你们的模型在Lora微调方面表现出色,这让我感到非常惊喜。我已经在我的教程中分享了我的Lora微调经验,并将其发布在GitHub上。如果需要,我可以将其整理成脚本形式,并提交PR。
再次感谢你们团队的工作,期待着你们未来的创新和贡献。

DeepSeek 7B chat lora 教程 地址:https://github.com/datawhalechina/self-llm/blob/master/DeepSeek/04-DeepSeek-7B-chat%20Lora%20%E5%BE%AE%E8%B0%83.md
仓库地址:https://github.com/datawhalechina/self-llm.git

欢迎提交PR~

好的,感谢认可~

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants