context 及 token

[alexng88]

Request token (3328) large than context 512

我想请教那个位置能修改 context 长度? 例如改成 2048
谢谢

[GaiZhenbiao]

presets.py

[alexng88]

谢回覆 但好像没有 不过最后在 python3.11/lib llama.py 改了

我想问 用 llama2对话正常 好快回覆 但我上传文件 要用 2-3分钟才回答 这如何处理? 我 RTX40xx 8GRAM 什么规格的 GPU 才有较正常回应? (256G?)

[GaiZhenbiao]

那你可以试着

pip uninstall faiss-cpu
pip install faiss-gpu

[alexng88]

pip install pip install faiss-gpu 这句不行 我在试conda install -c pytorch. 但好像 python3.11 不能安装 晕

[GaiZhenbiao]

对不起我之前写错了

[alexng88]

没事 我可能要用 python 3.9 3.9 应该能够跑川虎GPT 吧

[GaiZhenbiao]

可以的