update learn-stdio.py & readme for multiprocess (#30)

Author: zycccishere

README.md

@@ -2,17 +2,17 @@
 
 ## Features
 
-0. 跨平台支持：Windows/Mac/Linux支持双击运行（[详情点击](https://github.com/Trinkle23897/learn2018-autodown/releases)）
+0. 跨平台支持：Windows/Mac/Linux 支持双击运行（[详情点击](https://github.com/Trinkle23897/learn2018-autodown/releases)）
 1. 下载所有课程公告
 2. 下载所有课件
 3. 下载所有作业文件及其批阅情况
 4. 下载所有课程讨论
 5. 下载课程信息
 6. 增量更新
 7. 可选下载课程
-8. 随时按Ctrl+C跳过某个文件的下载
+8. 随时按 Ctrl+C 跳过某个文件的下载
 9. 下载助教课程
-10. 可使用cookie登录
+10. 可使用 cookie 登录
 11. 多刷刷有利于后台成绩提高，比如以下第三条记录是我的：
 
 ![](hint.jpg)
@@ -27,67 +27,101 @@ pip3 install -r requirements.txt --user -U
 
 ## Usage
 
-`learn-stdio.py` 中显示的参数和下面是一样的。
+### CLI 下载
 
-### 下载选项
+```bash
+python learn-stdio.py
+```
+
+### 原始脚本下载选项
 
 下载当前学期课程（默认）
+
 ```bash
-./learn.py
+python learn_async.py
 ```
+
 下载所有学期课程
+
 ```bash
-./learn.py --all
+python learn_async.py --all
 ```
+
 下载指定学期课程
+
 ```bash
-./learn.py --semester 2018-2019-1 2018-2019-3
+python learn_async.py --semester 2018-2019-1 2018-2019-3
 ```
+
 下载指定课程
+
 ```bash
-./learn.py --course 计算机网络安全技术 计算机组成原理
+python learn_async.py --course 计算机网络安全技术 计算机组成原理
 ```
+
 跳过某几个课程下载
+
 ```bash
-./learn.py --ignore 数据结构 "实验室科研探究(1)"
+python learn_async.py --ignore 数据结构 "实验室科研探究(1)"
 ```
+
 移除所有文件夹下完全相同的文件
+
 ```bash
-./learn.py --clear --all
+python learn_async.py --clear --all
 ```
-以上参数均可组合使用，比如我想更新大二的课程，但是不想下载数据结构、实验室科研探究、中国近现代史纲要（课程文件太大了）：
+
+指定下载路径
+
+```bash
+python learn_async.py --dist your_download_path
+```
+
+启用多进程下载
+
+```bash
+python learn_async.py --multi
+```
+
+启用多进程下载，并指定进程数（如果不指定则默认使用所有 CPU 核心数）
+
+```bash
+python learn_async.py --multi --processes 4
+```
+
+以上参数均可组合使用，比如我想并发的更新大二的课程到`./download`目录，但是不想下载数据结构、实验室科研探究、中国近现代史纲要（课程文件太大了）：
 
 ```bash
-./learn.py --semester 2017-2018-1 2017-2018-2 2017-2018-3 --ignore 数据结构 "实验室科研探究(2)" 中国近现代史纲要
+python learn_async.py --semester 2017-2018-1 2017-2018-2 2017-2018-3 --ignore 数据结构 "实验室科研探究(2)" 中国近现代史纲要 --multi --dist ./download
 ```
 
-**如果想跳过正在下载的某个文件，按Ctrl+C即可。**
+**如果想跳过正在下载的某个文件，按 Ctrl+C 即可。**
 
-### 登录选项（learn-stdio中禁用）
+### 登录选项（learn-stdio 中禁用）
 
-懒得每次输入info账号密码？创建文件`.pass`，写入info账号和密码之后可以自动登录，或者是：
+懒得每次输入 info 账号密码？创建文件`.pass`，写入 info 账号和密码之后可以自动登录，或者是：
 
 ```bash
-./learn.py --_pass your_info_file
+python learn_async.py --_pass your_info_file
 ```
 
-其中文件格式为 
+其中文件格式为
 
 ```bash
 info账号
 info密码
 ```
 
-使用Cookie登录而不是输入info密码：
+使用 Cookie 登录而不是输入 info 密码：
 
 ```bash
-./learn.py --cookie your_cookie_filename
+python learn_async.py --cookie your_cookie_filename
 ```
 
-其中cookie文件格式可参考 `example_cookie.txt`。
+其中 cookie 文件格式可参考 `example_cookie.txt`。
 
 ## Common Issues
 
-- 卡在login：网络原因，看看pulse-secure关了没，重跑试试看
-- `500 : Internal Server Error`：请拉取最新版的脚本。网络学堂自2020/2/22开启强制https。
-- `info_xxx.csv`在Mac下打开是乱码：别用office，用mac自带的软件吧 :)
+- 卡在 login：网络原因，看看 pulse-secure 关了没，重跑试试看
+- `500 : Internal Server Error`：请拉取最新版的脚本。网络学堂自 2020/2/22 开启强制 https。
+- `info_xxx.csv`在 Mac 下打开是乱码：别用 office，用 mac 自带的软件吧 :)

learn-stdio.py

@@ -1,7 +1,9 @@
 #!/usr/bin/env python3
 
 import time, argparse
-from learn import main
+from learn_async import main
+import os
+
 
 def get(help, choices=None, default=None):
     while True:
@@ -16,26 +18,52 @@ def get(help, choices=None, default=None):
         else:
             return default
 
+
 def get_args():
     parser = argparse.ArgumentParser()
     args = parser.parse_args()
-    print('按回车选择默认选项 ...')
-    args.all = get('同步所有学期的所有课程 [y/N]：', choices=['Y', 'N', 'y', 'n'], default=None)
-    if args.all in ['n', 'N']:
+    print("按回车选择默认选项 ...")
+    args.all = get(
+        "同步所有学期的所有课程 [y/N]：", choices=["Y", "N", "y", "n"], default=None
+    )
+    if args.all in ["n", "N"]:
         args.all = None
-    args.clear = get('清空相同文件 [y/N]：', choices=['Y', 'N', 'y', 'n'], default=None)
-    if args.clear in ['n', 'N']:
+    args.clear = get("清空相同文件 [y/N]：", choices=["Y", "N", "y", "n"], default=None)
+    if args.clear in ["n", "N"]:
         args.clear = None
-    args.semester = get('学期：', default=[])
-    args.course = get('指定课程：', default=[])
-    args.ignore = get('忽略课程：', default=[])
-    args._pass = '.pass'
-    args.cookie = ''
+    args.semester = get("学期：", default=[])
+    args.course = get("指定课程：", default=[])
+    args.ignore = get("忽略课程：", default=[])
+    args.dist = get("下载路径(默认当前目录)：", default="")
+    if len(args.dist) != 0:
+        if not os.path.exists(args.dist):
+            multi = get(
+                f"路径{args.dist}不存在，是否创建? [Y/n]",
+                choices=["Y", "N", "y", "n"],
+                default="Y",
+            )
+            if multi in ["y", "Y"]:
+                os.makedirs(args.dist)
+            else:
+                exit()
+    multi = get("是否启用多进程?[y/N]", choices=["Y", "N", "y", "n"], default="N")
+    if multi in ["y", "Y"]:
+        args.multi = True
+        args.processes = get("进程数(默认使用所有CPU核心数):", default=None)
+    else:
+        args.multi = False
+    args._pass = ".pass"
+    args.cookie = ""
+    args.http_proxy = ""
+    args.https_proxy = ""
+    args.username = ""
+    args.password = ""
     return args
 
-if __name__ == '__main__':
+
+if __name__ == "__main__":
     t = time.time()
     main(get_args())
     t = time.time() - t
-    print('耗时: %02d:%02d:%02.0f' % (t // 3600, (t % 3600) // 60, t % 60))
-    input('请按任意键退出')
+    print("耗时: %02d:%02d:%02.0f" % (t // 3600, (t % 3600) // 60, t % 60))
+    input("请按任意键退出")

learn-async.py learn_async.pylearn-async.py renamed to learn_async.py

@@ -694,9 +694,9 @@ def main(args):
     if args.login:
         courses = get_courses(args)
         if args.multi:
-            # 如果未指定进程数，则使用课程数量
+            # 如果未指定进程数，则使用CPU核数
             if not args.processes:
-                args.processes = len(courses)
+                args.processes = mp.cpu_count()
             print(f"启动多进程下载，进程数：{args.processes}")
             pool = mp.Pool(processes=args.processes)
             process_func = partial(process_course, args=args)