Skip to content

Efficient LLM: linear attention, KD, MOE and more

Notifications You must be signed in to change notification settings

OpenLLMAI/OpenELLM

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

6 Commits
 
 

Repository files navigation

OpenELLM


OpenELLM

Logo

Open ELLM for everyone!

GitHub Contributors Issues Issues GitHub pull requests GitHub stars
开源ChatGPT / 全面 / 轻量 / 易用
文章解读 · 视频解读

代码开源,大家放心使用,欢迎贡献! 注意:模型的license取决于模型提供方

最新讯息

  • 2023/07/30:OpenELLM项目正式启动:
    • 初版代码提交
    • 成员分工

OpenELLM项目

OpenELLM项目属于OpenNLP计划的第3个正式的开源项目系列,本项目旨在基于 OpenLLaMA2 训练框架 开发一个 SFT/RLHF 微调的中文版 LlaMA2 模型.

2.开发计划与组织分工

2.1 开发计划:

  • 中文 LLaMA2 模型 SFT/RLHF 训练数据集开发
  • 中文 LLaMA2 模型 SFT/RLHF 训练

2.2 组织分工

  • Datasets:阿樊提、Longhui等
  • Pretrain:
  • SFT:羡鱼、hope等
  • RLHF:初七等

2.加入我们

我们是谁?

我们是羡鱼智能【xianyu.ai/openllmai】,成员包括但不限于LLM打工人、高校学生、研究人员等,想在LLMs领域做点有意义的事!我们的愿景是:Open AI for everyone!

【xianyu.ai】这是个人知乎名”羡鱼智能“的由来,"羡鱼不如结网,咸鱼亦可翻身"。

【openllmai】OpenLLM是我们的群名,早前在知乎上写博客时有朋友说可以搞个群方便交流,于是便有了OpenLLM技术交流群;前几天想着几百号人了,要不正式升级成一个不太正式的组织吧,刚好群友最近有做实践的想法,于是便有了OpenLLMAI。(搞笑的是,周末一大早爬起来发现,咱们目前支撑不起GitHub的组织费用~)

本项目OpenNLP计划的一部分。欢迎大家积极参与项目的建设和讨论,一起变得更强!

加入方式:

  • 直接从Git上参与项目建设:可以在前面列出的开发计划中选择自己感兴趣的部分进行开发,建议优先选择高优先级的任务。包括资料调研和算法开发等工作。
  • 加入OpenLLM技术交流群:知识在讨论中发展,QQ群:740679327,建议由QQ群转微信群,日常在微信群。
  • 加入OpenLLaMA开发群(仅限开发):有意参与开发的同学可以联系OpenLLM技术交流群的管理员。

使用步骤:TODO

1.克隆本项目

git clone https://github.com/OpenLLMAI/OpenELLM.git

2.准备数据

3.运行示例

结果展示

常见报错

参考资料&致谢

赞助我们

Starchart

Star History Chart

Contributors

About

Efficient LLM: linear attention, KD, MOE and more

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published