[Bug]: Markdown翻译（指定翻译成何种语言）无法处理比较长的文章

[Weitong0513]

Installation Method | 安装方法与平台

Pip Install (I used latest requirements.txt)

Version | 版本

Latest | 最新版

OS | 操作系统

Linux

Describe the bug | 简述

正常上传一篇比较长的文档时，会出现报错
Traceback (most recent call last):
File "./toolbox.py", line 235, in decorated
yield from f(main_input, llm_kwargs, plugin_kwargs, chatbot_with_cookie, history, *args, **kwargs)
File "./crazy_functions/Markdown_Translate.py", line 264, in Markdown翻译指定语言
yield from 多文件翻译(file_manifest, project_folder, llm_kwargs, plugin_kwargs, chatbot, history, system_prompt, language=language)
File "./crazy_functions/Markdown_Translate.py", line 68, in 多文件翻译
pfg.run_file_split(max_token_limit=1024)
File "./crazy_functions/Markdown_Translate.py", line 33, in run_file_split
segments = breakdown_text_to_satisfy_token_limit(file_content, max_token_limit)
File "./crazy_functions/ipc_fns/mp.py", line 26, in wrapper
raise TimeoutError(f'功能单元{str(func)}未能在规定时间内完成任务')
TimeoutError: 功能单元<function breakdown_text_to_satisfy_token_limit_ at 0x7f10fc1c69e0>未能在规定时间内完成任务

Screen Shot | 有帮助的截图

Terminal Traceback & Material to Help Reproduce Bugs | 终端traceback（如有） + 帮助我们复现的测试材料样本（如有）

No response

[Weitong0513]

重写一下crazy_functions/pdf_fns/breakdown_txt.py中的force_breakdown 函数，仅供参考：
def force_breakdown(txt, limit, get_token_fn):
"""当无法用标点、空行分割时，暴力切分（从 3072 开始倒数）"""
start_index = min(len(txt), 3072) # 从 3072 开始倒数（如果文本不足3072就从末尾开始）
for i in reversed(range(start_index)):
if get_token_fn(txt[:i]) < limit:
return txt[:i], txt[i:]
return "Tiktoken未知错误", "Tiktoken未知错误"