Replies: 2 comments
-
现在就是调用外部库的做法呀 |
Beta Was this translation helpful? Give feedback.
0 replies
-
额,是的,但是这样你不得不在有GPU的机器上才能部署,比如VPS上想部署就不太可行。等chatGLM这些也支持api调用了之后(或者自己搞一个简易版的),以服务的形式挂载到chuanhuchat上,这样是不是更好点? |
Beta Was this translation helpful? Give feedback.
0 replies
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
-
我觉得,这个项目更重要的是提供一个开源的客户端,而不是backbone+frontend的集合,像LLAMA,ChatGLM类似的开源模型,我们应该调用外部库来访问API即可,而不是将模型直接部署在当前的repo里面,这对于当前repo的维护不是一个好的想法。
这个repo只需要调用开源模型的API、openai的api等等就行。
此外,可能之后会有国内的大模型API也会开放,这样也有利于拓展
--
当然,为了保证API的兼容性,@GaiZhenbiao 完全可以新开一个repo,用于自定义LLAMA的接口。
Beta Was this translation helpful? Give feedback.
All reactions