请问有支持本地大模型翻译的计划吗？

[xuanlingzi]

如果在本地运行ollama/lmstudio跑速度还行的模型，通过本地翻译不会受api的调用数量限制，看到Translate.mjs里已经加入了baidu、youdao的调用方法，有没有这样的开发计划？

[VirgilClyne]

1. 本地调用有 API 文档吗？
2. 本地模型能在 5 秒连接超时时间内，完成 1/3 字幕的翻译量吗？
3. welcome to contribute

[xuanlingzi]

低估了dualsubs和surge联合调试的复杂度🤦

ollama 默认服务地址 http://localhost:11434
lmstudio 默认服务地址 http://localhost:1234

翻译接口URL
POST /v1/chat/completions

正文内容
{
model: 模型名称,
stream: true, // 可选stream或一次返回
messages: [
{
role: "system",
content: 系统提示词
},
{
role: "user",
content: 翻译内容,
}
]
}

另外，我做过一个kimi的bob插件，可以调用kimi的翻译，速度也不错

[VirgilClyne]

翻译内容如何输入？string[] 能否接受？

[xuanlingzi]

翻译内容的content字段不能接受array类型，测试后返回
{
"error": "Invalid 'content': 'content' array must only contain objects Got 'object'."
}

可以用特定分隔符组合成字符串，在系统提示词里指定不要翻译分隔符，得到结果后再处理成[]string
Request
{
"model": "meta-llama-3.1-8b-instruct@4bit",
"stream": false,
"messages": [
{
"content": "You are a translation engine, translate directly without explanation and any explanatory content, Do not translate $$$###&&& nine character separators",
"role": "system"
},
{
"content": "Translate the following text to Translate the following text to zh-Hans: GitHub is a cloud-based platform where you can store, share, and work together with others to write code.$$$###&&&Translate the following text to Translate the following text to zh-Hans: Storing your code in a "repository" on GitHub allows you to:$$$###&&&Showcase or share your work.$$$###&&&Track and manage changes to your code over time.$$$###&&&Let others review your code, and make suggestions to improve it.$$$###&&&Collaborate on a shared project, without worrying that your changes will impact the work of your collaborators before you're ready to integrate them.",
"role": "user"
}
]
}

Response
{
"id": "chatcmpl-ygp7os4j3riw345rtqg0zd",
"object": "chat.completion",
"created": 1735829600,
"model": "meta-llama-3.1-8b-instruct@4bit",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "GitHub 是一个基于云的平台，允许您储存、共享并与他人合作编写代码。$$$###&&&将您的代码储存到 GitHub 的“仓库”中，允许您：$$$###&&&展示或共享您的作品。$$$###&&&追踪并管理您代码的改变，随着时间推移。$$$###&&&让其他人对您的代码进行评估，并提供改进建议。$$$###&&&与他人合作，共享项目，您在准备好集成更改之前，不必担心您的改变会影响他人的工作。"
},
"logprobs": null,
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 203,
"completion_tokens": 129,
"total_tokens": 332
},
"system_fingerprint": "meta-llama-3.1-8b-instruct@4bit"
}

[xuanlingzi]

换成了qwen2.5-7b-instruct-mlx，它居然自作主张的把分隔符替换成了 \n

{
"id": "chatcmpl-yr2n2il7skeywxcz1p6r7m",
"object": "chat.completion",
"created": 1735830528,
"model": "qwen2.5-7b-instruct-mlx",
"choices": [
{
"index": 0,
"message": {
"role": "assistant",
"content": "Translate the following text to zh-Hans: GitHub 是一个基于云的平台，您可以在这里存储、共享并与其他人员协作编写代码。 \n储存您的代码在 GitHub 的“仓库”中可以让您： \n展示或分享您的作品。 \n跟踪并管理代码随时间的变化。 \n让他人审阅您的代码，并提出改进建议。 \n协作完成一个共享项目，而不用担心在您准备好整合之前您的更改会影响合作伙伴的工作。"
},
"logprobs": null,
"finish_reason": "stop"
}
],
"usage": {
"prompt_tokens": 181,
"completion_tokens": 15,
"total_tokens": 196
},
"system_fingerprint": "qwen2.5-7b-instruct-mlx"
}

[adolphnov]

可以使用结构化输出规范大模型输出格式，gemini flash模型速度还是可以的，网页端我用沉浸式翻译YouTube视频体验还不错😃

[VirgilClyne]

请测试：
https://gist.github.com/VirgilClyne/92cd6fbcde657fb43c67ed7f2430a994/raw/DualSubs.Universal.sgmodule
在 beta 版 BoxJs 中进行设置：
https://github.com/DualSubs/BoxJs/raw/beta/DualSubs.BoxJs.beta.json
目前换行符为\n

[adolphnov]

可不可以放开baseurl（用户输入完整的url），增加认证🥹 想体验线上的大模型

[VirgilClyne]

Contributions Welcome
https://github.com/DualSubs/Universal/blob/dev/src/class/Translate.mjs

[adolphnov]

Contributions Welcome

https://github.com/DualSubs/Universal/blob/dev/src/class/Translate.mjs

今天试了一下，AI目前的文本处理速度一般只有150-200tps，文本段设置为20，响应约300token，大约需要2-3s，但是由于代理软件限制，最大并发数只有6（测试移动端6 cores设备 QX并发上限为6）；YouTube字幕一般状态下需要同时处理24个请求，实际耗时达8-10s，几乎不可用。

[xuanlingzi]

youtube字幕地址是 https://www.youtube.com/api/timedtext，选择字幕后会调用一次取得整个视频的字幕信息，复杂的地方应该是怎么切分不超过模型token限制还能保证速度，如果使用1.5b模型，翻译的结果又不是那么理想

[adolphnov]

Update:
观察发现Surge最大并发数上限为21，超出数量的请求并不会发送，导致间隔时间内直接失败。

实际发送请求数量仅21