pepper 2.9での動作確認

[k-okada]

From: @kochigami

Pepperなのですが、Naoqiのバージョンが2.5だったのが今年から全員機体交換になり、2.9 (android) になりました。
関節角度列を送る方法が変わり、
https://github.com/ros-naoqi/naoqi_driver?tab=readme-ov-file#check-that-the-node-is-running-correctly
にあるように、/joint_angles (naoqi_bridge_msgs/JointAnglesWithSpeed) を使わないといけなくなりました。

そのため、jsk_robotのパッケージやpeppereusが現状使えなくなっている状態です。
(cross だけでなく、jsk_pepper_startup.launchも使えなくなりました。安全装置も解除できなくなり、手引き移動もできなくなってしまいました。)

ひとまず、そのまま 関節角度列はtopic を送って使うようにしようと思うのですが、
時間がある時に jsk_robotパッケージ（特にpeppereus）が使えるように直していけたらいいなと思います。

[k-okada]

まずは現状どうなっているか確認ですが、peppereus を使うときって pose_manager.launchを必ず立ち上げる、でよかったっけ？

はい，そうです。

pepper-interface.lの中にもnaoqi-interface.lの中にも該当部分が見つけられていなくて、
もしかしたら継承している pr2-interface.lの中にあるのかなと思ったのですが、

:angle-vectorを送ると/pepper_robot/pose/joint_trajectory/goal (naoqi_bridge_msgs/JointTrajectoryActionGoal) に指令が送られるようです。
これは pose_manager.launch に含まれています。（後述の確認１）

Naoqi 2.9のバージョンだと，
Ubuntu 18.04のパソコン(Python2) で試しても，
pepper_bringup/launch/pepper_full.launchの中身である：

• roslaunch naoqi_driver naoqi_driver.launch network_interface:=wlp0s20f3 nao_port:=9503 password:=nao # これは立ち上がる
• roslaunch naoqi_pose pose_manager.launch # これがエラーになる．nao_port:=9503 に変えても駄目
  pose_manager.launch が上がらず，/pepper_robot/pose/joint_trajectory/goalが使えない状況です．

pose_manager.launch の中身はPythonプログラムなので，
いずれにせよ，naoqiのpythonプログラムは，Python2の NAOqi SDK（pynaoqi-python2.7-2.5.5.5-linux64）を必要としているため，20.04以降は動かなくなる現状があります。

なので，/joint_angles (naoqi_bridge_msgs/JointAnglesWithSpeed)をpeppereusで使えるようにするか、naoqi_driverのプログラムの中で、/pepper_robot/pose/joint_trajectory アクションを使えるようにする、という方向がありそうだと思いました。

（実は，もともとnaoqi_driver.launchを上げた時に，/joint_angles (naoqi_bridge_msgs/JointAnglesWithSpeed) は前から使えるようになっていたと知りました。）

後者のほうが正しそうなので、できそうか考えてみます。
(/joint_angles をpeppereusで送れるようになっても、複数時間ごとの角度列が送れないので、ちょっと不便かもしれないと思っております。)

[k-okada]

@a-ichikura こういう状況です。

@kochigami 勝手に引用してすいません。この件、放置しちゃっていてごめんなさい。ちょうど @a-ichikura が https://www.rosielab.ca/ に訪問中で、先生はロボット動かしてほしいけど、学生はデータセットにした興味ない、みたいな状況なので、よいついでなので、３研究室のロボットが動いたら良いなと思って、Issueにしました。

[kochigami]

いえいえ、皆さんにも関係する話になったみたいで良かったです。

割り込み仕事がなければ、今週ちょうど取り組む予定でした（ですが、とりあえず既存のデモが動くように関節角度列をPythonで送るプログラムを書いて試すだけになりそうです・・・）。
また情報共有いたします。

[a-ichikura]

ありがとうございます。こちら(rosie lab)のPepperについても確認中です。

Pepperなのですが、Naoqiのバージョンが2.5だったのが今年から全員機体交換になり、2.9 (android) になりました。
関節角度列を送る方法が変わり、
https://github.com/ros-naoqi/naoqi_driver?tab=readme-ov-file#check-that-the-node-is-running-correctly
にあるように、/joint_angles (naoqi_bridge_msgs/JointAnglesWithSpeed) を使わないといけなくなりました。

というのは、機体そのものが交換になったという解釈で正しいでしょうか？
JSKのPepperは機体自体は変わっていないはず（そしてアップデートなどもしていないはず）なので、
特に変わっていないかと思うのですがいかがでしょうか? ==> @k-okada

[kochigami]

機体そのものが交換になったという解釈で正しいでしょうか？

はい、そうです！
rosie labのPepperのNAOqiが2.5だったら、jsk_robotのパッケージそのまま使えると思います。

[a-ichikura]

東風上さん

ご返信ありがとうございます。
2.9も2.5も両方あるそうなのでjsk_robotのパッケージをそのまま使う場合は2.5の方を使おうと思います。

[k-okada]

@kochigami ようやくデバッグ環境ができました．．
https://github.com/jsk-ros-pkg/jsk_robot/pull/1918/files
で，(setq *ri* (instance pepper-interface :init :type :naoqi-controller-disabled)) として *ri* を作ると動くとおもいます．

でも，(/joint_angles をpeppereusで送れるようになっても、複数時間ごとの角度列が送れないので、ちょっと不便かもしれないと思っております。) が正しくて，さらにenable-lifeとかpose_manager 経由で動かしていそうなので，pythonから動くようにする，というのが良い気がします．

で，@a-ichikura が 2.9 ＋Python で動かしていて，2.5で動くコードとの差分が以下のようになっていて，最初の認証周りで何か更新がありそうなので，この辺を頑張れば良さそうな気がしています．

    def __init__(self):
        self.app = qi.Application(sys.argv, url="tcp://xx.xx.xx.xx:9559") ;; 2.5で確認
        #
        # naoqi 2.5 have following erros
        #
        # AttributeError: 'Object' object has no attribute 'setClientAuthenticatorFactory'
        #self.app = qi.Application(sys.argv, url="tcps://xx.xx.xx.xx:9503") ;; 2.9で動いているもの
        #logins = ("xxx", "xxx")
        #factory = AuthenticatorFactory(*logins)
        #self.app.session.setClientAuthenticatorFactory(factory)
        #
        self.app.start()
        self.autonomous_life = self.app.session.service("ALAutonomousLife")
        self.motion_service = self.app.session.service("ALMotion")
        self.posture_service = self.app.session.service("ALRobotPosture")

で，そのまえにいくつか確認したいんだけど，，，，，

• naoqi_driver, naoqi_bridge　等は，どのリポジトリを使っている？ ros-naoqi/master ? kochigami/kochigami-develop ??
• pythonのlibqi? qi? みたいなのが必要だと思うけど，どうやって入れている？ pynaoqi-python2.7-2.5.5.5-linux64 みたいなやつ？それとも pip install qi ???(← @a-ichikura は 2.9 をこれで使っていると言っている）
• 以下のコマンドを打つとどういう値が返ってくる？

>>> from qi import version
>>> version
<module 'qi.version' from '/home/k-okada/pynaoqi/pynaoqi-python2.7-2.5.5.5-linux64/lib/python2.7/site-packages/qi/version.pyc'>

• pose_manager.launch が動かないということだけど，roslaunch --screen naoqi_pose pose_manager.launch nao_port:=9503 の出力ログを教えて下さい．

[k-okada]

naoqi_bridge も含めて 多分ですが，Pepper2.9 で動く様になったとおもいます．（実機でもシミュレーションでも確認していない，妄想100%なので，割り引いて読んで下さい）

1 : (僕は20.04を使ったけど，多分18.04でもOK)　https://github.com/jsk-ros-pkg/jsk_robot/tree/master/jsk_naoqi_robot#setup-environment の要領で環境をセットアップする．正確には 3. Install ROS packages for NAO and Pepper の最初の手順（mkdir, cd, wstoolからrosdepまで）行う．1, 2 は飛ばして良い．ただし，NAO_IP, ROS_IP はセットしておくと楽．

2: naoqi_driverはkochigami-developではなく，https://github.com/ros-naoqi/naoqi_driver/tree/master を，naoqi_bridge　は https://github.com/k-okada/naoqi_bridge/tree/master に入れ替える．

3: pip install qi をする．僕のは

>>> import qi
>>> qi.version
>>> qi.__version__
'3.1.5'

4: https://github.com/jsk-ros-pkg/jsk_robot/tree/master/jsk_naoqi_robot#setup-environment の要領で環境をセットアップの続きを行う．正確には 3. Install ROS packages for NAO and Pepper のsudo apt-get install ros-${ROS_DISTRO}-pepper-meshes した後，一覧のcatkin build XXXX と source devel/setup.bash を行う

5: #1474 (comment) に従い，naoqi_driver/share/boot_config.json を修正

6: roslaunch pepper_bringup pepper_full.launch nao_ip:=$NAO_IP nao_port:=9503 roscore_ip:=$ROS_IP network_interface:=enpXXXX user:=XXX password:=XXX で動くと思う．
2.5 のPepperでは，roslaunch pepper_bringup pepper_full.launch nao_ip:=$NAO_IP roscore_ip:=$ROS_IP network_interface:=enpXXXX で動いた

c.f. ros-naoqi/naoqi_bridge#98

[kochigami]

ありがとうございます。
１つ前のコメントへの返信です。

Ubuntu 20.04 ROS noetic
Pepper NAOqi 2.9

今は、naoqi_driverだけとりあえず使えるようになっています。

jsk_naoqi_robot のREADMEにある環境構築のやり方 (Setup environmentの 3. Install ROS packages for NAO and Pepper) をやって、（pynaoqi-python2.7-2.5.5.5-linux64は入れていないです）
naoqi_libqi, naoqi_libqicore を入れて、
最終的には naoqi_driver: ros-naoqiのmasterブランチに変えています。

roslaunch naoqi_driver naoqi_driver.launch network_interface:=<networkinterface> nao_port:=9503 password:=<password>
で動きます。

• use ros-naoqi/naoqi_driver master branch

cd ~/catkin_ws/src
git clone git@github.com:ros-naoqi/libqi.git
git clone git@github.com:ros-naoqi/libqicore.git

cd ~/catkin_ws/src/naoqi_driver
git remote add ros-origin git@github.com:ros-naoqi/naoqi_driver.git
git fetch ros-origin
git checkout -b ros-master ros-origin/master
catkin b

Python3 になったので、naoqi_appsなど、pynaoqi-python2.7-2.5.5.5-linux64 を必要とするものは使えないと思っているのですが、そうではないのでしょうか。（めちゃめちゃエラーが出て心が折れた記憶があります。）

以下のコマンドを打つとどういう値が返ってくる？

pip install qiなどしていないので、以下のようになりました。

ipython3
Python 3.8.10 (default, Nov 22 2023, 10:22:35) 
Type 'copyright', 'credits' or 'license' for more information
IPython 7.13.0 -- An enhanced Interactive Python. Type '?' for help.

In [1]: from qi import version                                                  
---------------------------------------------------------------------------
ModuleNotFoundError                       Traceback (most recent call last)
<ipython-input-1-5f15c41eec7f> in <module>
----> 1 from qi import version

ModuleNotFoundError: No module named 'qi'

In [2]: version                                                                 
---------------------------------------------------------------------------
NameError                                 Traceback (most recent call last)
<ipython-input-2-605b5d1778ad> in <module>
----> 1 version

NameError: name 'version' is not defined

In [3]:  

pose_manager.launch が動かないということだけど，roslaunch --screen naoqi_pose pose_manager.launch nao_port:=9503 の出力ログを教えて下さい．

NAO_IP, ROS_IPを.bashrcにセットした状態で、

roslaunch --screen naoqi_pose pose_manager.launch nao_port:=9503

... logging to /home/kochigami/.ros/log/1101c96a-2fbc-11ef-9d78-bb12a8109141/roslaunch-kochigami-ThinkPad-X13-Gen-3-1482349.log
Checking log directory for disk usage. This may take a while.
Press Ctrl-C to interrupt
Done checking log file disk usage. Usage is <1GB.

started roslaunch server http://192.168.8.162:45045/

SUMMARY
========

PARAMETERS
 * /pose_manager/poses/init/joint_names: ['Body']
 * /pose_manager/poses/init/positions: [0.0, 0.0, 1.39, ...
 * /pose_manager/poses/init/time_from_start: 1.5
 * /pose_manager/poses/zero/joint_names: ['Body']
 * /pose_manager/poses/zero/positions: [0.0, 0.0, 0.0, 0...
 * /pose_manager/poses/zero/time_from_start: 1.5
 * /pose_manager/xap: /home/kochigami/c...
 * /rosdistro: noetic
 * /rosversion: 1.16.0

NODES
  /
    pose_controller (naoqi_pose/pose_controller.py)
    pose_manager (naoqi_pose/pose_manager.py)

auto-starting new master
process[master]: started with pid [1482357]
ROS_MASTER_URI=http://localhost:11311

setting /run_id to 1101c96a-2fbc-11ef-9d78-bb12a8109141
process[rosout-1]: started with pid [1482367]
started core service [/rosout]
process[pose_controller-2]: started with pid [1482374]
process[pose_manager-3]: started with pid [1482375]
Traceback (most recent call last):
  File "/home/kochigami/catkin_ws/devel/lib/naoqi_pose/pose_controller.py", line 15, in <module>
    exec(compile(fh.read(), python_script, 'exec'), context)
  File "/home/kochigami/catkin_ws/src/naoqi_bridge/naoqi_pose/./nodes/pose_controller.py", line 153
    except RuntimeError,e:
                       ^
SyntaxError: invalid syntax
================================================================================REQUIRED process [pose_controller-2] has died!
process has died [pid 1482374, exit code 1, cmd /home/kochigami/catkin_ws/devel/lib/naoqi_pose/pose_controller.py --pip=192.168.8.113 --pport=9503 __name:=pose_controller __log:=/home/kochigami/.ros/log/1101c96a-2fbc-11ef-9d78-bb12a8109141/pose_controller-2.log].
log file: /home/kochigami/.ros/log/1101c96a-2fbc-11ef-9d78-bb12a8109141/pose_controller-2*.log
Initiating shutdown!
================================================================================
[pose_manager-3] killing on exit
[pose_controller-2] killing on exit
Traceback (most recent call last):
  File "/home/kochigami/catkin_ws/devel/lib/naoqi_pose/pose_manager.py", line 15, in <module>
    exec(compile(fh.read(), python_script, 'exec'), context)
  File "/home/kochigami/catkin_ws/src/naoqi_bridge/naoqi_pose/./nodes/pose_manager.py", line 174, in <module>
    manager = PoseManager()
  File "/home/kochigami/catkin_ws/src/naoqi_bridge/naoqi_pose/./nodes/pose_manager.py", line 55, in __init__
    rospy.init_node('pose_manager')
  File "/opt/ros/noetic/lib/python3/dist-packages/rospy/client.py", line 323, in init_node
    raise rospy.exceptions.ROSInitException("init_node interrupted before it could complete")
rospy.exceptions.ROSInitException: init_node interrupted before it could complete
[rosout-1] killing on exit
[master] killing on exit
shutting down processing monitor...
... shutting down processing monitor complete
done

出ているエラーは直せそうなのですが、これを直しただけでは（python2.7の記法を3に直しただけでは）解決する問題ではなかったという記憶があります。結局　pynaoqi-python2.7-2.5.5.5-linux64 の中身をいじらないといけなくなって、心が折れた記憶があります。

よろしくお願いいたします。

[kochigami]

↑ 今更の返信ですみませんでした・・・

#1915 (comment)
こちら試します。ありがとうございます。

[a-ichikura]

@k-okada

naoqi_bridge も含めて 多分ですが，Pepper2.9 で動く様になったとおもいます．（実機でもシミュレーションでも確認していない，妄想100%なので，割り引いて読んで下さい）

1 : (僕は20.04を使ったけど，多分18.04でもOK)　https://github.com/jsk-ros-pkg/jsk_robot/tree/master/jsk_naoqi_robot#setup-environment の要領で環境をセットアップする．正確には 3. Install ROS packages for NAO and Pepper の最初の手順（mkdir, cd, wstoolからrosdepまで）行う．1, 2 は飛ばして良い．ただし，NAO_IP, ROS_IP はセットしておくと楽．

2: naoqi_driverはkochigami-developではなく，https://github.com/ros-naoqi/naoqi_driver/tree/master を，naoqi_bridge　は https://github.com/k-okada/naoqi_bridge/tree/master に入れ替える．

3: pip install qi をする．僕のは

>>> import qi
>>> qi.version
>>> qi.__version__
'3.1.5'

4: https://github.com/jsk-ros-pkg/jsk_robot/tree/master/jsk_naoqi_robot#setup-environment の要領で環境をセットアップの続きを行う．正確には 3. Install ROS packages for NAO and Pepper のsudo apt-get install ros-${ROS_DISTRO}-pepper-meshes した後，一覧のcatkin build XXXX と source devel/setup.bash を行う

5: #1474 (comment) に従い，naoqi_driver/share/boot_config.json を修正

6: roslaunch pepper_bringup pepper_full.launch nao_ip:=$NAO_IP nao_port:=9503 roscore_ip:=$ROS_IP network_interface:=enpXXXX user:=XXX password:=XXX で動くと思う． 2.5 のPepperでは，roslaunch pepper_bringup pepper_full.launch nao_ip:=$NAO_IP roscore_ip:=$ROS_IP network_interface:=enpXXXX で動いた

c.f. ros-naoqi/naoqi_bridge#98

こちらに関して、
1.2.4まで行いました。
4のbuildでエラーは出ませんでした。

そして、3.のpip install qiなのですが、私のdefaultのpython3が、Python 3.6で

$ python3
Python 3.6.9 (default, Mar 10 2023, 16:46:00) 
[GCC 8.4.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> 

qiのドキュメントを読むと3.1.5はpython 3.7からしかインストール出来ないようです。https://pypi.org/project/qi/#description

Python with at least version 3.7 and its development libraries.

        On Ubuntu: apt-get install libpython3-dev.

私がPythonのみでPepper 2.9を動かしているときはanaconda を使っていて、Python3.8なので

$ python
Python 3.8.19 (default, Mar 20 2024, 19:58:24) 
[GCC 11.2.0] :: Anaconda, Inc. on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> 

問題なくpip install qiが出来ました。

Python3.7以上を別で入れることも考えたのですが環境を壊しそうで怖かったので一旦やめておきました。したがって5以降はやっていないです。(5はあんまり関係ないですが‥）

[k-okada]

@kochigami 僕も20.04 なんだけど、pythonは3.8です。Ubuntu 20.04のデフォルトのPythonは3.8ではないでしょうか？
https://packages.ubuntu.com/search?keywords=python3

3.6にしているのは何か理由がありますか？

$ which python
/usr/bin/python
$ ls -al /usr/bin/python
lrwxrwxrwx 1 root root 7 Apr 15  2020 /usr/bin/python -> python3
$ ls -al /usr/bin/python3
lrwxrwxrwx 1 root root 9 Mar 13  2020 /usr/bin/python3 -> python3.8
$ dpkg -S /usr/bin/python3.8
python3.8-minimal: /usr/bin/python3.8

[kochigami]

@k-okada => @a-ichikura の間違いですかね。私はPython3.8だと思われます。

[a-ichikura]

3.6にしているのは何か理由がありますか？

Python 3.6にしている理由は特にないのですが、Ubuntuは 18.04です。

[k-okada]

@kochigami そうでした。どこ見てたんだろう？

Python3 になったので、naoqi_appsなど、pynaoqi-python2.7-2.5.5.5-linux64 を必要とするものは使えないと思っているのですが、そうではないのでしょうか。

これ自体は正しくて、ros-naoqi/naoqi_bridge#98 で、Python3 への対応＋pip install qi で入るPythonモジュールで動くように変更してあります。

pip install qiなどしていないので、以下のようになりました。

pip install qi しましょう。多分大丈夫。最悪、この時のログを全部残しておけば、元に戻せます

出ているエラーは直せそうなのですが、これを直しただけでは（python2.7の記法を3に直しただけでは）解決する問題ではなかったという記憶があります。結局　pynaoqi-python2.7-2.5.5.5-linux64 の中身をいじらないといけなくなって、心が折れた記憶があります。

これを直す -> ros-naoqi/naoqi_bridge#9 で直ってるはずです。
。結局　pynaoqi-python2.7-2.5.5.5-linux64 の中身をいじらないといけなくなって -> そこをいじるのではなくて、naoqi_bridge を pi (NOT pynaoqi) に対応するというのが、ros-naoqi/naoqi_bridge#9 で行ったことです。

naoqi_appsなど

https://github.com/ros-naoqi/naoqi_driver/tree/master が動いたら、これベースで再度 kochigami-develop を作る
ros-naoqi/naoqi_bridge#9 が動いたらマージする
上の2つが動いたらnaoqi_apps 等も確認する。

という予定です。