prototype.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "2ef01ca6",
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "os.environ[\"CUDA_VISIBLE_DEVICES\"]=\"7\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "eb0abca1",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "2023-01-19 17:02:37.125392: I tensorflow/core/platform/cpu_feature_guard.cc:193] This TensorFlow binary is optimized with oneAPI Deep Neural Network Library (oneDNN) to use the following CPU instructions in performance-critical operations:  AVX2 FMA\n",
      "To enable them in other operations, rebuild TensorFlow with the appropriate compiler flags.\n",
      "2023-01-19 17:02:38.093813: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer.so.7'; dlerror: libnvinfer.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/nvidia/lib:/usr/local/nvidia/lib64\n",
      "2023-01-19 17:02:38.093887: W tensorflow/compiler/xla/stream_executor/platform/default/dso_loader.cc:64] Could not load dynamic library 'libnvinfer_plugin.so.7'; dlerror: libnvinfer_plugin.so.7: cannot open shared object file: No such file or directory; LD_LIBRARY_PATH: /usr/local/nvidia/lib:/usr/local/nvidia/lib64\n",
      "2023-01-19 17:02:38.093897: W tensorflow/compiler/tf2tensorrt/utils/py_utils.cc:38] TF-TRT Warning: Cannot dlopen some TensorRT libraries. If you would like to use Nvidia GPU with TensorRT, please make sure the missing libraries mentioned above are installed properly.\n"
     ]
    }
   ],
   "source": [
    "import torch\n",
    "from transformers import AutoTokenizer\n",
    "from trl import PPOTrainer, PPOConfig, AutoModelForCausalLMWithValueHead, create_reference_model\n",
    "from trl.core import respond_to_batch"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "73cc560b",
   "metadata": {},
   "outputs": [],
   "source": [
    "device = torch.device(\"cuda\")#ppo_trainer.accelerator.device"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "e28066c3",
   "metadata": {},
   "outputs": [],
   "source": [
    "pretrained = \"\"#\"flax-community/gpt2-base-thai\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "5383a486",
   "metadata": {},
   "outputs": [],
   "source": [
    "# get models\n",
    "model = AutoModelForCausalLMWithValueHead.from_pretrained(pretrained).to(device)\n",
    "model_ref = create_reference_model(model).to(\"cuda\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "fce204c3",
   "metadata": {},
   "outputs": [],
   "source": [
    "tokenizer = AutoTokenizer.from_pretrained(pretrained)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "d2ccee67",
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "/workspace/gpt2moon/trl/trl/trainer/ppo_trainer.py:137: UserWarning: No dataset is provided. Make sure to set config.batch_size to the correct value before training.\n",
      "  warnings.warn(\n"
     ]
    }
   ],
   "source": [
    "# initialize trainer\n",
    "ppo_config = PPOConfig(\n",
    "    batch_size=1,\n",
    "    forward_batch_size=1\n",
    ")\n",
    "ppo_trainer = PPOTrainer(ppo_config, model, model_ref, tokenizer)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "5d761a57",
   "metadata": {},
   "outputs": [],
   "source": [
    "# # encode a query\n",
    "# query_txt = \"Q:อธิบายข้อเสียของสภาวะโลกร้อนให้ฟังหน่อย \\nA:\"\n",
    "# query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\")\n",
    "\n",
    "# # get model response\n",
    "# response_tensor  = respond_to_batch(model_ref, query_tensor)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "c8c355dd",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:คุณหมออยากรู้เลยค่ะว่าจะน่าเอาเป็นผู้ป่วยมะเร็งไหมค่ะ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:ตรงนี้เราก็เป็นคนหนึ่งอยู่แล้ว</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:ผมเป็นคนปากีสถานครับ ข้อมูลค่อนข้างน้อยเลย จะเรียนวิทยาศาสตร์ไปก็ไม่ได้ไปสอบ สุดท้ายก็จบโทไทย สูงประมาณ 160 เลขใบขับขี่ ไม่ใช่ไทยนะครับ ภาษาลาวเป็นหนามและแขน 555</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:ให้ลองเป็นนักเรียนนวด thai body best หรือ Mind body best กันนะคะ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s>\n",
      "reward: 11\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s>\n",
      "Q: ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:คือว่าคะ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:สวัสดีค่ะ น้องเบย์ อ.อัษฎาพร จาก อ.อุบลฯ รับวุฒิ ม.1, ม.3 น้องป๊วน พี่ฉลาด และน้องมิ้นครับ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s>\n",
      "reward: 11\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s>\n",
      "Q: เล่นเกมอะไรอ่ะครับเล่นเกมอะไรอ่ะครับ\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:เล่นสายลับบ้าๆหน่อยเลย</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:มีแฟ้มเกมส์ที่เหนักหน่อยแต่fun อย่างเพื่อนๆ ผม</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:แต่งตัวไปดูหนังสือทีวีก็ได้ค่ะ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ใช่ครับเล่น เกมโบราณๆหน่อย เกมส์บาส ฟุตบอลฝรั่ง ท้องฟ้าย่อมสวย หมุนตามการ์ตูนมั่ง</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:คืออะไรไม่รู้ผมชื่อวุ้นปอยส์ครับ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:อยากรู้ข้อมูลเกี่ยวกับเกม</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:พึ่งตกวีรุ่งดดดด</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s>\n",
      "reward: 11\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s>\n",
      "Q: น่าสนุกนะครับ แล้วคุณกินอะไรยังครับน่าสนุกนะครับ แล้วคุณกินอะไรยังครับ\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:ชอบกินก๋วยเตี๋ยวจีนทุกกระเบียดนิ้วเลยครับ(ไม่ใช่มัวกินเลมว่ะ)</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:(ความเมามัน) เป็นยาครับ สําหรับผม ตอนแรกนึกภาพว่าเป็นไอติมนะ(ประมาณปลาหมึกน่ะครับ) แต่รู้สึกว่ามันมีน้ําตาลแซมนาน ๆ ครับ (แต่ตัวจริงมันหวาน) เลยพยายามแก้เลี่ยงเท่านั้นค่ะ และแล้ววันนึงก็ทําดันอร่อยเข้าไปอีกต้นนึง อร่อยจริง ๆ ครับ เก่งมากจริง ๆ :)</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:เอามาจากแกงหน่อไม้อ่ะครับ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:ผมกินสปาเก็ตตี้ครับ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:แต่คุณคือเพลย์บอยอ่ะจิงๆ -_-\"</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อ่านหนังสือก่อนนอนครับ เเต่แค่เรื่องเดียวเเล้วนะ(อิอิ) ^^</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:คือชมอาหารญี่ปุ่นนะ ถุยโฟบริเวณกันมั่งล่ะ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:แน่ใจแค่ว่ากินอะไรกับเขาเต้นจบก็ต่อครับ โมสต์ไปแล้วค่อยมาให้ผมได้เลยมั้ง</s>\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:ได้รวมเก๊กฮวยเก๊กเฮลกอยู่ที่ร้านนองรักด้วยกัน</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อืมส์ดื่มน้ําหรือครับ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อาหารเยี่ยมเลยครับ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อ้อครับ เอากาแฟเย็นมาเม้าท์เจ้ครับ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:ฮ่าฮ้า แล้วก็เล่นอะไรไปก็ได้ครับ ไปเที่ยวได้ 2 วันเเล้ว</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:งั้นก็...คือชื่อจิ๊วกี้ มัน...คือ ชื่อที่อยู่ในปากข้าวเลย เเฮะ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อยากกินอะไรก็ชอบเเค่นั้นแหละครับ :)</s>\n",
      "reward: 11\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อยากกินอะไรก็ชอบเเค่นั้นแหละครับ :)</s>\n",
      "Q: กวนนี่น่ากวนนี่น่า\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อยากกินอะไรก็ชอบเเค่นั้นแหละครับ :)</s> Q:กวนนี่น่า</s> A:Crazy Rich Asians (สนุกมากเลยค่ะ เป็นอีกเรื่องที่น่าติดตาม)</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อยากกินอะไรก็ชอบเเค่นั้นแหละครับ :)</s> Q:กวนนี่น่า</s> A:คือผมเเรงเท่านี้แต่หัวใจผมจะบาน..!!</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อยากกินอะไรก็ชอบเเค่นั้นแหละครับ :)</s> Q:กวนนี่น่า</s> A:ถ้ามีกวนดันให้มากินได้นะคะ</s>\n",
      "reward: 11\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อยากกินอะไรก็ชอบเเค่นั้นแหละครับ :)</s> Q:กวนนี่น่า</s> A:ถ้ามีกวนดันให้มากินได้นะคะ</s>\n",
      "Q: ได้เลย แค่นี้นะ ลากได้เลย แค่นี้นะ ลาก่อน\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อยากกินอะไรก็ชอบเเค่นั้นแหละครับ :)</s> Q:กวนนี่น่า</s> A:ถ้ามีกวนดันให้มากินได้นะคะ</s> Q:ได้เลย แค่นี้นะ ลาก่อน</s> A:สัญญาณมือถือคืออะไรคะ</s>\n",
      "reward: 00\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อยากกินอะไรก็ชอบเเค่นั้นแหละครับ :)</s> Q:กวนนี่น่า</s> A:ถ้ามีกวนดันให้มากินได้นะคะ</s> Q:ได้เลย แค่นี้นะ ลาก่อน</s> A:ทักทายกันยาวๆจุ๊ ^^</s>\n",
      "reward: 11\n",
      "Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:สวัสดีค่ะ ชื่อหนูแพรครับ</s> Q:ยินดีต้อนรับครับคุณแพร คุณทำอะไรอยู่ครับ</s> A:ขอบคุณครับ อยู่บ้านเล่นโทรศัพท์มากกว่าค่ะ</s> Q:เล่นเกมอะไรอ่ะครับ</s> A:ถึงเป็นเกมนึงนะครับ(จริง ๆ ก็เงียบไม่มาก) คือเล่นเกมส์ติดต่อเพื่อดูภาพยนตร์เรื่องนวนิยายที่ขึ้นปกนิตยสารเเล้วแง่กิจกรรมต่างๆ(จริงๆ ก็แอบเเจะครับ)</s> Q:น่าสนุกนะครับ แล้วคุณกินอะไรยังครับ</s> A:อยากกินอะไรก็ชอบเเค่นั้นแหละครับ :)</s> Q:กวนนี่น่า</s> A:ถ้ามีกวนดันให้มากินได้นะคะ</s> Q:ได้เลย แค่นี้นะ ลาก่อน</s> A:ทักทายกันยาวๆจุ๊ ^^</s>\n",
      "Q: exitexit\n"
     ]
    }
   ],
   "source": [
    "query_txt = \"Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A:\"\n",
    "while True:\n",
    "    query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "    response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "    print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")\n",
    "    _i = input(\"reward: \")\n",
    "    reward = [torch.tensor(float(_i))]\n",
    "    train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)\n",
    "    if _i==\"1\":\n",
    "        query_txt+=str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\"\n",
    "        print(query_txt)\n",
    "        add = input(\"Q: \")\n",
    "        if add==\"exit\":\n",
    "            break\n",
    "        query_txt+=\" Q:\"+add+\"</s> A:\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "9a591631",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:พรุ่งนี้อากาศจะเป็นอย่างไรบ้าง</s> A:__ภาคเหนือสัปดาห์หน้ายังมีอากาศร้อน สําหรับสัปดาห์ที่แล้วอากาศร้อนแม้ไม่ได้ลดในวันนี้ แต่ถูกขับคาตอลิ่งมากกว่าเมื่อวานด้วยฝนลงมา ซึ่งสภาพลมระหว่างระหว่างรัฐบัลลังก์และปูร์ได้กลับมากทม. ส่วนคลื่นลมบริเวณนั้น นักพยากรณ์เนย์มาร์ คาดว่ามีแนวโน้มว่าจะซัดบ้านเรือนหาดเจ้าหลาว ชาวกระบี่ หลังฝนตกติดต่อกันหลายชั่วโมง</s> Q:ในสัปดาห์นี้ 1.วันที่ 9\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:พรุ่งนี้อากาศจะเป็นอย่างไรบ้าง</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100)\n",
    "print(query_txt+\"__\"+str(tokenizer.decode(response_tensor[0])))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "a2f5ecef",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tensor([     6,  20850,  45475, 121165,   6065,  47727,  37549,  39045,  21309,\n",
       "        121165, 114195,  37549,  39045,  69576,  13901,  19308,   1274,  41274,\n",
       "          4034,  12783,  66063,  20529,   4154,  23450,  80683,  31507,  12215,\n",
       "        143886,   4470,  16979,   1485,   6556,   2293,   8193,  45567,  31672,\n",
       "         35574,  35574,  37642,   2469,  45399, 108117,   2014,   4310,   1347,\n",
       "         74735,  15317,   1621,  46071,   2014, 131768,      5,  29020,   2107,\n",
       "        179938,  31672,  50440,   5812,  59843, 250094, 121527,  24227,  14479,\n",
       "        103585,      6,  57669, 139419,  28255,  20393,  19363,  52521,   5186,\n",
       "         13674,   8017,  99455,  69952,  17587, 149808,   3725,      6,  23861,\n",
       "        138690,  27124,  68715,  16979,   1485,  24717,  57584,   3503,  15970,\n",
       "        236460,      2,   1336,     13,   1274, 121165,   2417,    588,  39090,\n",
       "           465], device='cuda:0')"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "response_tensor[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "4617686f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[2, 2]"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer.encode(\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "907e626b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "' A:Sale จ้า เป็นสาวกใหม่แต่ตัวเองค่อนข้างเป็นคนขี้อาย'"
      ]
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "\"Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนำตัวเองได้ไหม</s> A: </s> Q:สวัสดีครับ</s> A:สวัสดีค่ะ</s> Q:คุณช่วยแนะนําตัวเองได้ไหม</s> A:Sale จ้า เป็นสาวกใหม่แต่ตัวเองค่อนข้างเป็นคนขี้อาย</s>\".split(\"</s>\")[-2]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "id": "afc0ada3",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:พรุ่งนี้อากาศจะเป็นอย่างไรบ้าง</s> A:ภาคเหนือสัปดาห์หน้ายังมีอากาศร้อน สําหรับสัปดาห์ที่แล้วอากาศร้อนแม้ไม่ได้ลดในวันนี้ แต่ถูกขับคาตอลิ่งมากกว่าเมื่อวานด้วยฝนลงมา ซึ่งสภาพลมระหว่างระหว่างรัฐบัลลังก์และปูร์ได้กลับมากทม. ส่วนคลื่นลมบริเวณนั้น นักพยากรณ์เนย์มาร์ คาดว่ามีแนวโน้มว่าจะซัดบ้านเรือนหาดเจ้าหลาว ชาวกระบี่ หลังฝนตกติดต่อกันหลายชั่วโมง</s> Q:แล้วที่กรุงเทพล่ะ</s> A:กรุงเทพจะเป็นจังหวัดที่ร้อนที่สุดเมื่อเทียบกับภาคอื่น ตอนนี้จะเข้าสู่ช่วงที่การหิมะออกเยอะ สภาพอากาศไม่ค่อยได้เลยสําหรับบางพื้นที่ ขณะที่ระดับน้ําจะทรงตัว และอึมครึม</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:พรุ่งนี้อากาศจะเป็นอย่างไรบ้าง</s> A:ภาคเหนือสัปดาห์หน้ายังมีอากาศร้อน สําหรับสัปดาห์ที่แล้วอากาศร้อนแม้ไม่ได้ลดในวันนี้ แต่ถูกขับคาตอลิ่งมากกว่าเมื่อวานด้วยฝนลงมา ซึ่งสภาพลมระหว่างระหว่างรัฐบัลลังก์และปูร์ได้กลับมากทม. ส่วนคลื่นลมบริเวณนั้น นักพยากรณ์เนย์มาร์ คาดว่ามีแนวโน้มว่าจะซัดบ้านเรือนหาดเจ้าหลาว ชาวกระบี่ หลังฝนตกติดต่อกันหลายชั่วโมง</s> Q:แล้วที่กรุงเทพล่ะ</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "id": "451ace68",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'ฝนตกมากที่สุดตั้งแต่30-18.00น. มีฝนลมแรงตกทุกแห่งทั่วทั้งกรุงเทพ โดยเฉพาะเหนือ-ใต้ฝั่งอ่าวไทยเล็กน้อยและฝนตกหนักให้ตกทั่วทั้งจังหวัด โดยเฉพาะวันนี้ที่อ่าวไทยมีฝนตกหนักติดต่อกันเกือบทั้งวัน ภาคใต้ฝั่งตะวันออกมีฝนตกเกือบทั้งวัน</s>'"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer.decode(response_tensor[0]).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "id": "ba03d38b",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'อย่างที่รู้ดีว่า อัทธยานิยมเกิดในปี พ.ศ.2548 ร้อนอย่างรุนแรงฤดูร้อน พ.ศ.2550 มาปีนี้ทางบริติช เคานซิล จะได้รับผลกระทบไปด้วย ดังนั้นสิงหาคมปีหน้าอากาศจะเป็นแบบนี้แหละ บ้านเรือน คุณยายก็คงอ่วมไปทั่วประมาณ 3 วันแล้ว การใช้ชีวิตต้องปรับตัวกันทั้งนั้น คุณอาจเจ็บป่วย หรือแม่เขาขาขาวได้ อย่าเอาร่างกายเป็นศูนย์กลางกายใจ ขับรถเป็นระเบียบ อย่าละเมิดกฎ '"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "str(tokenizer.decode(response_tensor[0]))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "id": "905709ae",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:เป็นสิ่งส่งผลกระทบต่อโลกของเราโดยตรง เพราะฉะนั้นการที่เราละเลย ไม่ได้เข้าร่วมกับการส่งเสริมการเลี้ยงดู 'แม่'ขึ้นมาใหม่นี่แหละค่ะ</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:หากปล่อยคือทางตัน แต่ไม่มีหลักฐานอ้างอิง กรณีสึนามิ นักเรียนภาคหนักของนักกีฬาพนักงานและกรรมการผู้ตัดสินจะมีอายุสั้นกว่าวัยทํางานทั่วไป 1.5 ปี</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนในปัจจุบัน มีสาเหตุจากหลากหลายสาเหตุ รวมทั้งการลดลงของระดับน้ําในแม่น้ําที่ไหลผ่านจึงสลายตัวเป็นน้ําแข็ง นอกจากนี้ยังส่งผลให้สังเกตพบว่าอุณหภูมิในบางระดับเปลี่ยนแปลงอย่างรวดเร็ว</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะธรรมชาติถูกสร้างขึ้นมาจากอนุมูลอิสระที่ย่อยสลายได้เองและประกอบกับปิโตรเลียมน้ํามัน มันจึงถูกดึงโดยเร่ธาตุที่ทําให้เกิดการสึกกร่อนออกไซด์อย่างรวดเร็ว นั่นก็คือ ร้อน (ร้อนกระทําความร้อนให้ความร้อนแก่สิ่งมีชีวิต) มันจึงเป็นที่มาของสภาวะโลกร้อนที่เรียกว่า ภาวะโลกร้อนระดับโลก (Global Warming) แต่สภาวะโลกร้อนระดับโลกจะถูกวางแผนไว้ล่วงหน้า และสังเกตเอาเองว่าเป็นยังไง</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:... ทําให้เกิดประกายไฟ ประกายหิมะ และฝนตกอยู่ในตอนหนาว ทําให้อุณหภูมิต่ํา ทําให้อุณหภูมิเย็นลง ตัวหินเหล่านี้เกิดจากมหาสมุทร อีกส่วนที่กล่าวถึงก็คือ ดาวเคราะห์เหล่านี้ดุร้ายมากที่สุดแต่ก็ในที่สุดก็จะตกใจ เพราะอะไร มันน่ากลัวแค่ไหน ถ้าเราสามารถหาคําอธิบายและรู้ว่ามันจะเกิดขึ้นหรือไม่ Let’s talk together it’s very exciting to learn about it LetMeImaginwithyou</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s>\n",
      "reward: 11\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s>\n",
      "Q: แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:แนวทางการ Climate Justice จะมี 3 ทาง คือ</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:การแบ่งประเทศมีข้อจํากัดตามแนวคิดไบนารี่ มีเพียงบางส่วนเท่านั้นที่สามารถเพิ่มรายได้ของเจ้าของประเทศได้ เพราะเจ้าของประเทศมีทรัพยากรน้อย หรือเป็นเข้าร่วมกับประเทศอื่นอยู่แล้ว เงินทุนที่เป็นไปสู่ประเทศต่างๆจึงยากที่จะดึงคนไทยเข้าประเทศ</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s>\n",
      "reward: 11\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s>\n",
      "Q: จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะจริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:บอกได้เลยว่าทําให้เราประหยัดเงินไปเยอะ แต่ไม่เห็นเชื่อ ทั้งที่เราอยู่กับพลังงานออกไม่เท่ากัน ผลิตภัณฑ์ไฟฟ้าที่เราผลิตใช้พลังงานนานขึ้นจึงทําให้มีพื้นที่ที่ใช้ทดแทนวิผลักพลังงานได้อีก</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ช่วยกันทําลายทรัพยากรธรรมชาติด้วยการเลิกปลูกพืช พืชไร้สีขน และใช้ปุ๋ยชีวภาพภายใต้ชื่อกรดบางเจลโดยเร็ว ควบคุมการแปรงสีฟันและขจัดคราบน้ํามันฝุ่นละออง neutrogenase ลดการใช้ยาฆ่าแมลง</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:นอนง่วง แสวงหาทางออกไขมันออกจากร่างกายด้วยวิธีธรรมชาติ ทุกวัย ทุกเพศ ไม่ทําลายตัวท่าน</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ตัวเลขที่ได้นั้นคํานวณได้จากหกทศวรรษก่อน โครงการปล่อยก๊าซเรือนกระจกทั้งหมดที่ว่านี้ จะอยู่ที่ 5 ล้านตันต่อปี ในแปดห้าปีข้างหน้า ต้องทําประชากรโลกถูกปลดปล่อยโดยพลการ (จาก 45 ล้านคนปีพ.ศ. 2540)</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ถ้าใครเคยปั่นจักรยานรอบกรุงเทพ แล้วหยุดเฉพาะที่หมอกควันแล้วเอากาน้ําร้อนเข้าไปปั่นก็จะดูโล่ง ใส แต่เอาบางที่กลับ....</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ไม่หรอก ไม่ว่าจะทําอะไรร่วมกันแค่นี้ก็จะทําให้เรามีส่วนร่วมในโลกที่มีแต่ทรัพยากรไม่พอเพียง เชื่อว่าหากเราลดเหลือเหลือแค่พอเพียงน้อย ๆ ผ่านการทํากิจกรรมที่หนักหน่วงเท่านั้น ทั้งกายใจ ร่างกายเราก็จะได้มีแรงบัลดาลใจมาให้มากขึ้น</s>\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ใช่ครับ เราพยายามลดการใช้พลังงานอย่างจริงจัง การแปรรูปพืช เป็นสัญลักษณ์ของความยั่งยืน ซึ่งโดยทั่วไปแล้วเกษตรกรส่งออกจะมีเครื่องนุ่งห่ม ผ้าขนหนู เครื่องปั๊มน้ํา และไฟฟ้าจากภาคเอกชนทั้งหมด</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ปีนี้จะพยายามรวมนักวิจัย อาจารย์กรและเด็กๆที่ทําความไม่ทิ้งขยะ มาช่วยแก้ปัญหาประชากรโลกทั้งประเทศ</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ต้องหาองค์กรที่มีวัตถุประสงค์ร่วมกันในการสร้างสิ่งแวดล้อมที่ดี เป็นมิตรสามารถใช้คุณค่าของทรัพยากรธรรมชาติอย่างคุ้มค่า</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ถ้าหากเราสามารถช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียงและลดการใช้พลังงานในระดับครัวเรือน สิ่งที่น่าสนใจก็คือ การประหยัดพลังงานโดยการตัด ขยะ ทําน้ําขายแล้วฉีดลงไปที่ทุ่งนา</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ถ้าไม่มีการกระทําทางเศรษฐกิจทําให้มนุษย์พึ่งพาตัวเองได้ทุกคนก็จะกลายเป็นประชากรโลกติดต่อกันนานขึ้น และเราจะไม่สามารถที่จะฉุดบั้งพลาสติกให้อยู่ได้นานๆอย่างในปัจจุบัน โดยที่ผลกระทบทางกายภาพจะไม่เกิดขึ้นอีก</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ต้องขอโทษที่ไม่สามารถอธิบายถึงอิทธิพลของปัญหานี้ได้ สุดยอดพระเอกสู้พระนางโด่งดังแห่งปีนน~~~</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:โดยหวังเพียงคํานึงถึงผลกระทบด้านลบที่ดีส่วนรวมที่จะต้องเกิดขึ้น แต่ไม่ลืมว่า ผลกระทบนี้ยังไม่อาจจะลดได้ที่นี่ (camera) ซึ่งก็ไม่ใช่จะลดได้ อีกทั้งปัจจุบันเทคโนโลยีดั้งเดิมของเรายังไม่สามารถใช้ได้ดีพอที่จะเป็นทรัพยากรสีเขียวสําหรับการดํารงชีพของสังคม</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ไม่ได้หรอก สอนไว้แบบนี้ คือลดภาวะโลกร้อน เมื่อไรก็ตามที่เราคิดจะลดภาวะโลกร้อน หรือในรายที่เป็นเด็กหรือคนตาบอดอ่านหนังสือก็เป็นการจัดการความรู้โดยใช้วิธีนี้บ่อยๆ และก็ใช้สถานการณ์ระหว่างเรียนได้ตลอด 24 ชม.</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ง่ายเลย แค่เราขับรถ สามารถเข้าร่วมเดินรณรงค์รวมพลังช่วยกันลดโลกร้อน ปีละ 30 คน ที่สามารถเดินไปซื้อดอกไม้ไหว้พระได้ด้วย ถ้าเป็นสมาชิกครบทุกปี เขาก็จะได้รับการสนับสนุนจากนักจัดการแข่งขันแบ่งถนนปีละ 2 ครั้ง เพื่อให้วโนทัศน์ของชาวไทยทั่วทั้งประเทศเกี่ยวกับการดําเนินงานป้องกันปัญหาสิ่งแวดล้อม และลดขยะและภัยพิบัติ เกิดความรู้สึกที่ดีในการเข้ามาช่วยกันลดโลกร้อนได้เช่นกัน</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ทําตามขั้นตอนที่เราเขียนไว้ข้างต้นก็ได้นะครับ</s>\n",
      "reward: 11\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ทําตามขั้นตอนที่เราเขียนไว้ข้างต้นก็ได้นะครับ</s>\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q: ขอบคุณครับขอบคุณครับ\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ทําตามขั้นตอนที่เราเขียนไว้ข้างต้นก็ได้นะครับ</s> Q:ขอบคุณครับ</s> A:อาจจะจะเป็น โรงเรียน กวดวิชา มาร่วมสมัครกันด้วยนะครับ วันละ 8 คน วันนี้เป็นวันสุดท้ายของโครงการ ขอบคุณล่วงหน้าครับ</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ทําตามขั้นตอนที่เราเขียนไว้ข้างต้นก็ได้นะครับ</s> Q:ขอบคุณครับ</s> A:ขอขอบคุณท่านช่างกล้องด้วยนะครับ</s>\n",
      "reward: 00\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ทําตามขั้นตอนที่เราเขียนไว้ข้างต้นก็ได้นะครับ</s> Q:ขอบคุณครับ</s> A:นอกจากกระบวนการผลิตและการใช้พลังงานในครัวเรือน ประเทศไทยยังมีสภาวะโลกร้อนที่สามารถลดได้ครับ</s>\n",
      "reward: 11\n",
      "Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:สภาวะโลกร้อนเกิดจากปรากฏการณ์ทางธรรมชาติที่เกิดจากกิจกรรมของมนุษย์ ซึ่งเกิดจากกิจกรรมต่างๆในชีวิตประจําวัน เช่น การทําเหมืองแร่ การเพาะเห็ด แกลบ แกง และกิจกรรมอื่นของภาคเกษตรกรรม เช่น การทําเกษตรอินทรีย์ ไถนา ปลูกพืช และการคมนาคม</s> Q:แล้วเราจะช่วยกันลดโลกร้อนได้อย่างไรบ้าง?</s> A:ช่วยกันปลูกต้นไม้ ส่งเสริมการใช้พลังงานพอเพียง และวิธีใช้พลังงานที่เหลือน้อยอย่างมีประสิทธิภาพ ลดการใช้พลังงานในระดับครัวเรือน ใช้ในอาคารบ้านเรือน ลดการใช้พลาสติก</s> Q:จริงด้วย เดี่ยวเราไปช่วยกันลดโลกร้อนกันนะ</s> A:ทําตามขั้นตอนที่เราเขียนไว้ข้างต้นก็ได้นะครับ</s> Q:ขอบคุณครับ</s> A:นอกจากกระบวนการผลิตและการใช้พลังงานในครัวเรือน ประเทศไทยยังมีสภาวะโลกร้อนที่สามารถลดได้ครับ</s>\n",
      "Q: exiexit\n"
     ]
    }
   ],
   "source": [
    "query_txt = \"Q:สวัสดี ถามอะไรหน่อย ช่วยอธิบายสาเหตุของสภาวะโลกร้อนให้หน่อย</s> A:\"\n",
    "while True:\n",
    "    query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "    response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "    while True:\n",
    "        response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "        ptext = str(tokenizer.decode(response_tensor[0]))\n",
    "        if len(ptext.split(\"</s>\"))>1:\n",
    "            break\n",
    "    print(query_txt+ptext.split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")\n",
    "    _i = input(\"reward: \")\n",
    "    reward = [torch.tensor(float(_i))]\n",
    "    train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)\n",
    "    if _i==\"1\":\n",
    "        query_txt+=ptext.split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\"\n",
    "        print(query_txt)\n",
    "        add = input(\"Q: \")\n",
    "        if add==\"exit\":\n",
    "            break\n",
    "        query_txt+=\" Q:\"+add+\"</s> A:\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "id": "39f16207",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:พรุ่งนี้อากาศจะเป็นอย่างไรบ้าง</s> A:ภาคเหนือสัปดาห์หน้ายังมีอากาศร้อน สําหรับสัปดาห์ที่แล้วอากาศร้อนแม้ไม่ได้ลดในวันนี้ แต่ถูกขับคาตอลิ่งมากกว่าเมื่อวานด้วยฝนลงมา ซึ่งสภาพลมระหว่างระหว่างรัฐบัลลังก์และปูร์ได้กลับมากทม. ส่วนคลื่นลมบริเวณนั้น นักพยากรณ์เนย์มาร์ คาดว่ามีแนวโน้มว่าจะซัดบ้านเรือนหาดเจ้าหลาว ชาวกระบี่ หลังฝนตกติดต่อกันหลายชั่วโมง</s> Q:แล้วที่กรุงเทพล่ะ</s> A:ขณะนี้สภาพอากาศในกรุงเทพฯ อยู่ในเทรนด์ที่ดี ส่วนใหญ่ยังคงลมเย็น ลมแรง ส่วนภาคใต้มีอากาศร้อนจัด ติดตาม 5 พ.ค. ที่นี่</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:พรุ่งนี้อากาศจะเป็นอย่างไรบ้าง</s> A:ภาคเหนือสัปดาห์หน้ายังมีอากาศร้อน สําหรับสัปดาห์ที่แล้วอากาศร้อนแม้ไม่ได้ลดในวันนี้ แต่ถูกขับคาตอลิ่งมากกว่าเมื่อวานด้วยฝนลงมา ซึ่งสภาพลมระหว่างระหว่างรัฐบัลลังก์และปูร์ได้กลับมากทม. ส่วนคลื่นลมบริเวณนั้น นักพยากรณ์เนย์มาร์ คาดว่ามีแนวโน้มว่าจะซัดบ้านเรือนหาดเจ้าหลาว ชาวกระบี่ หลังฝนตกติดต่อกันหลายชั่วโมง</s> Q:แล้วที่กรุงเทพล่ะ</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "id": "06de9b93",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างำร</s> A:การไม่กล่าว วันนี้จะทําให้คุณไม่ได้ทําให้ใครผิดหวัง รักคุณเท่าที่คุณทําได้</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างำร</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "id": "9de7502a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:หากคุณแอบรัก หรือทําตัวเจ้าชู้ อาศัยเรื่องของใจเป็นตัวบ่งบอกว่าคุณยังเป็นแฟนเขา ไม่จําเป็นต้องปรึกษาฝ่ายหญิง หรืออะไรทุกอย่างให้ชัดเจนนะ เธอคิดแน่นอน และแน่นอนอยู่ๆก็ขาดใจเด็ดขาด ถ้าคุณยังทําใจไม่ได้ ก็ดูใจเธออย่างจริงจัง ทางที่ดีนัดกันไปก็แล้วกัน แล้วเธอก็จะเข้าใจและเข้าใจ คุณไม่ต้องมาคันปาก</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = responaad_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "id": "72521425",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(0.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "id": "00798c2a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:ขั้นแรกก็คือต้องตัวเองให้หญิงมาเป็นแฟน หญิงจะต้องอุ้มหลานไปก่อน แล้วค่อยจัดเวลาให้ได้ ถ้ากลัวหิวอาจจะพาไปทานเวลากลางคืน เป็นต้น</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "id": "a6a3eb42",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(0.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "id": "7f77667e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:มันจะดูหวานล่อนิดๆ แต่อบอุ่นหน่อยๆ (เรื่องนี้เขียนโดยพี่นุช เลยไม่เหมือนหนู )</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "id": "84ac6f7f",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(0.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 54,
   "id": "cb7bf81b",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:นอกจากตอนที่รู้จักกัน อย่าง รู้จักกันได้ทุกนาทีจากบทเรียนที่ยากมากๆของ มาร์ค ในช่วงๆ ที่มัดมือ</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 55,
   "id": "814c631b",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(0.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "id": "53fe7868",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:การที่เราจะแต่งงานก็จริง แต่ห้าม</s>\n",
      "reward: 00\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:50 ข้อ \"บางครั้ง\" ลองทําดู</s>\n",
      "reward: 00\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s>\n",
      "reward: 11\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s>\n",
      "Q: คุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกันคุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกัน\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s> Q:คุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกัน</s> A:คุณเปนลมแอบซ่า ชอบแอบใจร้อนมากแนะนําการพร้อนไลน์ละกัน อย่าทนได้แบบพี่เค้าหรอก (ลองหาคนที่สดใส แอบใจร้อน เรื่องใจ แล้วจะอินสุดๆ)</s>\n",
      "reward: 00\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s> Q:คุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกัน</s> A:ยิ้มแข็งและปลื้มกันทุกคน ขอยิ้มได้เท่านี้หัวใจจะใสเปร่งปรั่ง</s>\n",
      "reward: 11\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s> Q:คุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกัน</s> A:ยิ้มแข็งและปลื้มกันทุกคน ขอยิ้มได้เท่านี้หัวใจจะใสเปร่งปรั่ง</s>\n",
      "Q: แล้วผมจะบอกรักเขาอย่างไรได้บ้างแล้วผมจะบอกรักเขาอย่างไรได้บ้าง\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s> Q:คุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกัน</s> A:ยิ้มแข็งและปลื้มกันทุกคน ขอยิ้มได้เท่านี้หัวใจจะใสเปร่งปรั่ง</s> Q:แล้วผมจะบอกรักเขาอย่างไรได้บ้าง</s> A:ผมจะว่าเขาให้ตอบนะครับ</s>\n",
      "reward: 00\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s> Q:คุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกัน</s> A:ยิ้มแข็งและปลื้มกันทุกคน ขอยิ้มได้เท่านี้หัวใจจะใสเปร่งปรั่ง</s> Q:แล้วผมจะบอกรักเขาอย่างไรได้บ้าง</s> A:การอนุญาตเอาใจเขาทั้งหลาย และที่สําคัญคือใจดวงลึกๆจริงๆ</s>\n",
      "reward: 00\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s> Q:คุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกัน</s> A:ยิ้มแข็งและปลื้มกันทุกคน ขอยิ้มได้เท่านี้หัวใจจะใสเปร่งปรั่ง</s> Q:แล้วผมจะบอกรักเขาอย่างไรได้บ้าง</s> A:ยิ้มให้คุณไกลหัวใจจะรักกลับกัน(ห้ามพูดของจริง) เอาให้เหมือนฉันมีใคร</s>\n",
      "reward: 00\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s> Q:คุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกัน</s> A:ยิ้มแข็งและปลื้มกันทุกคน ขอยิ้มได้เท่านี้หัวใจจะใสเปร่งปรั่ง</s> Q:แล้วผมจะบอกรักเขาอย่างไรได้บ้าง</s> A:จะทําความเข้าใจและมีชีวิตอกๆ ของเราครั้งแรก</s>\n",
      "reward: 00\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s> Q:คุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกัน</s> A:ยิ้มแข็งและปลื้มกันทุกคน ขอยิ้มได้เท่านี้หัวใจจะใสเปร่งปรั่ง</s> Q:แล้วผมจะบอกรักเขาอย่างไรได้บ้าง</s> A:เขียนให้รักเขาเล่าว่าคุณแอบรักเขา</s>\n",
      "reward: 11\n",
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:วันแรกที่ได้เจอกันคุณจะรู้สึกอย่างไร (ไม่ว่าจะใกล้แค่ไหน)</s> Q:คุณสึกใจเต้น หลง ทำตัวไม่ถูก ใจชื้น ชอบ แอบรักตั้งแต่เจอกัน</s> A:ยิ้มแข็งและปลื้มกันทุกคน ขอยิ้มได้เท่านี้หัวใจจะใสเปร่งปรั่ง</s> Q:แล้วผมจะบอกรักเขาอย่างไรได้บ้าง</s> A:เขียนให้รักเขาเล่าว่าคุณแอบรักเขา</s>\n"
     ]
    },
    {
     "ename": "KeyboardInterrupt",
     "evalue": "Interrupted by user",
     "output_type": "error",
     "traceback": [
      "\u001b[0;31m---------------------------------------------------------------------------\u001b[0m",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m                         Traceback (most recent call last)",
      "Cell \u001b[0;32mIn[62], line 17\u001b[0m\n\u001b[1;32m     15\u001b[0m query_txt\u001b[38;5;241m+\u001b[39m\u001b[38;5;241m=\u001b[39mptext\u001b[38;5;241m.\u001b[39msplit(\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124m</s>\u001b[39m\u001b[38;5;124m\"\u001b[39m)[\u001b[38;5;241m-\u001b[39m\u001b[38;5;241m2\u001b[39m]\u001b[38;5;241m.\u001b[39mreplace(\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mA:\u001b[39m\u001b[38;5;124m\"\u001b[39m,\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124m\"\u001b[39m)\u001b[38;5;241m.\u001b[39mstrip()\u001b[38;5;241m+\u001b[39m\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124m</s>\u001b[39m\u001b[38;5;124m\"\u001b[39m\n\u001b[1;32m     16\u001b[0m \u001b[38;5;28mprint\u001b[39m(query_txt)\n\u001b[0;32m---> 17\u001b[0m add \u001b[38;5;241m=\u001b[39m \u001b[38;5;28;43minput\u001b[39;49m\u001b[43m(\u001b[49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43mQ: \u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m)\u001b[49m\n\u001b[1;32m     18\u001b[0m \u001b[38;5;28;01mif\u001b[39;00m add\u001b[38;5;241m==\u001b[39m\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mexit\u001b[39m\u001b[38;5;124m\"\u001b[39m:\n\u001b[1;32m     19\u001b[0m     \u001b[38;5;28;01mbreak\u001b[39;00m\n",
      "File \u001b[0;32m/usr/local/lib/python3.10/dist-packages/ipykernel/kernelbase.py:1187\u001b[0m, in \u001b[0;36mKernel.raw_input\u001b[0;34m(self, prompt)\u001b[0m\n\u001b[1;32m   1185\u001b[0m     msg \u001b[38;5;241m=\u001b[39m \u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mraw_input was called, but this frontend does not support input requests.\u001b[39m\u001b[38;5;124m\"\u001b[39m\n\u001b[1;32m   1186\u001b[0m     \u001b[38;5;28;01mraise\u001b[39;00m StdinNotImplementedError(msg)\n\u001b[0;32m-> 1187\u001b[0m \u001b[38;5;28;01mreturn\u001b[39;00m \u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43m_input_request\u001b[49m\u001b[43m(\u001b[49m\n\u001b[1;32m   1188\u001b[0m \u001b[43m    \u001b[49m\u001b[38;5;28;43mstr\u001b[39;49m\u001b[43m(\u001b[49m\u001b[43mprompt\u001b[49m\u001b[43m)\u001b[49m\u001b[43m,\u001b[49m\n\u001b[1;32m   1189\u001b[0m \u001b[43m    \u001b[49m\u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43m_parent_ident\u001b[49m\u001b[43m[\u001b[49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43mshell\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m]\u001b[49m\u001b[43m,\u001b[49m\n\u001b[1;32m   1190\u001b[0m \u001b[43m    \u001b[49m\u001b[38;5;28;43mself\u001b[39;49m\u001b[38;5;241;43m.\u001b[39;49m\u001b[43mget_parent\u001b[49m\u001b[43m(\u001b[49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[38;5;124;43mshell\u001b[39;49m\u001b[38;5;124;43m\"\u001b[39;49m\u001b[43m)\u001b[49m\u001b[43m,\u001b[49m\n\u001b[1;32m   1191\u001b[0m \u001b[43m    \u001b[49m\u001b[43mpassword\u001b[49m\u001b[38;5;241;43m=\u001b[39;49m\u001b[38;5;28;43;01mFalse\u001b[39;49;00m\u001b[43m,\u001b[49m\n\u001b[1;32m   1192\u001b[0m \u001b[43m\u001b[49m\u001b[43m)\u001b[49m\n",
      "File \u001b[0;32m/usr/local/lib/python3.10/dist-packages/ipykernel/kernelbase.py:1230\u001b[0m, in \u001b[0;36mKernel._input_request\u001b[0;34m(self, prompt, ident, parent, password)\u001b[0m\n\u001b[1;32m   1227\u001b[0m \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mKeyboardInterrupt\u001b[39;00m:\n\u001b[1;32m   1228\u001b[0m     \u001b[38;5;66;03m# re-raise KeyboardInterrupt, to truncate traceback\u001b[39;00m\n\u001b[1;32m   1229\u001b[0m     msg \u001b[38;5;241m=\u001b[39m \u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mInterrupted by user\u001b[39m\u001b[38;5;124m\"\u001b[39m\n\u001b[0;32m-> 1230\u001b[0m     \u001b[38;5;28;01mraise\u001b[39;00m \u001b[38;5;167;01mKeyboardInterrupt\u001b[39;00m(msg) \u001b[38;5;28;01mfrom\u001b[39;00m \u001b[38;5;28mNone\u001b[39m\n\u001b[1;32m   1231\u001b[0m \u001b[38;5;28;01mexcept\u001b[39;00m \u001b[38;5;167;01mException\u001b[39;00m:\n\u001b[1;32m   1232\u001b[0m     \u001b[38;5;28mself\u001b[39m\u001b[38;5;241m.\u001b[39mlog\u001b[38;5;241m.\u001b[39mwarning(\u001b[38;5;124m\"\u001b[39m\u001b[38;5;124mInvalid Message:\u001b[39m\u001b[38;5;124m\"\u001b[39m, exc_info\u001b[38;5;241m=\u001b[39m\u001b[38;5;28;01mTrue\u001b[39;00m)\n",
      "\u001b[0;31mKeyboardInterrupt\u001b[0m: Interrupted by user"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:\"\n",
    "while True:\n",
    "    query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "    response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "    while True:\n",
    "        response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "        ptext = str(tokenizer.decode(response_tensor[0]))\n",
    "        if len(ptext.split(\"</s>\"))>1:\n",
    "            break\n",
    "    print(query_txt+ptext.split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")\n",
    "    _i = input(\"reward: \")\n",
    "    reward = [torch.tensor(float(_i))]\n",
    "    train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)\n",
    "    if _i==\"1\":\n",
    "        query_txt+=ptext.split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\"\n",
    "        print(query_txt)\n",
    "        add = input(\"Q: \")\n",
    "        if add==\"exit\":\n",
    "            break\n",
    "        query_txt+=\" Q:\"+add+\"</s> A:\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 61,
   "id": "9d186c53",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'objective/kl': -30.161563873291016, 'objective/kl_dist': [tensor([ 1.3102e+00, -9.4143e-02, -2.2765e-01, -5.5613e-02,  5.8686e-04,\n",
      "         3.7514e-01, -1.9476e-02, -3.0494e-01, -2.8878e-04,  1.5344e-04,\n",
      "         7.3922e-03, -2.3897e-01, -2.6681e-01, -9.8923e-04, -2.0653e-02,\n",
      "        -2.5510e-02, -1.6439e-02, -1.6802e-02, -7.7270e-03,  1.2084e-04,\n",
      "        -7.3867e-03, -7.4793e-03,  1.8673e-01, -3.4639e-03, -1.9593e-02,\n",
      "        -7.4680e-03,  1.0251e-05, -2.2086e-03,  7.2016e-03, -4.3339e+00,\n",
      "        -7.7256e-01,  2.0225e-02,  2.9731e-01,  2.5217e-02,  1.7617e-02,\n",
      "        -2.8029e-01,  3.6254e-03,  1.0826e-01, -2.2823e+00,  7.0902e-01,\n",
      "         1.8185e-02, -6.5479e+00,  6.2843e-01, -7.6460e-01, -4.4929e-01,\n",
      "        -7.1776e-01, -5.3027e-01, -5.4220e-02,  2.3718e-01, -8.5772e-01,\n",
      "        -6.3090e-01, -2.0187e-01, -3.8445e-01,  2.3216e-01, -2.3829e-01,\n",
      "        -3.7042e-01,  1.8201e-01, -5.5538e-01, -3.9912e-01,  4.4328e-01,\n",
      "        -5.3475e-01, -1.5946e-01,  2.7745e-01,  3.2878e-02,  5.4221e-02,\n",
      "         4.4121e-02, -4.4449e-03, -1.6260e-01, -8.7557e-02,  3.4239e-01,\n",
      "        -7.1146e-01, -1.7817e-01,  1.1694e+00, -2.5156e-01,  6.6625e-01,\n",
      "        -2.7124e-01,  2.3084e-01, -6.0617e-02,  1.2512e-01, -5.9396e-01,\n",
      "        -1.2796e-01,  2.8157e-01,  4.4879e-01,  2.2971e-01,  1.5818e-01,\n",
      "        -5.8576e-02, -4.4442e-01,  4.7589e-01, -1.9531e-01, -1.2891e-03,\n",
      "        -3.1490e-01, -1.0292e+00,  6.7243e-02, -5.9189e-01,  2.4417e-01,\n",
      "         5.5257e-01, -5.4427e-01, -8.0230e-01,  7.7903e-03, -1.1539e+01],\n",
      "       device='cuda:0')], 'objective/logprobs': [tensor([-7.8263e+00, -6.7827e+00, -7.5615e+00, -1.0035e-01, -3.8758e-02,\n",
      "        -1.5199e-01, -5.3256e-02, -4.8186e-01, -5.7182e-03, -6.1338e-04,\n",
      "        -9.1527e-01, -3.2037e-01, -3.7675e-01, -1.4293e-03, -3.3964e-02,\n",
      "        -6.6247e-02, -1.8536e-02, -1.9253e-02, -9.8156e-03, -2.6807e-04,\n",
      "        -1.6216e-02, -9.0620e-03, -1.9598e-01, -1.8978e-02, -2.2247e-02,\n",
      "        -1.3508e-02, -6.7828e-05, -1.4567e-02, -8.9683e-03, -5.1363e+00,\n",
      "        -1.7193e+00, -2.4489e-03, -6.4983e+00, -1.0110e-02, -6.9266e-03,\n",
      "        -9.1208e-01, -2.0136e-03, -7.2188e-02, -6.3475e+00, -4.4981e-01,\n",
      "        -2.8447e-03, -9.0756e+00, -4.7958e+00, -5.9324e+00, -3.8339e+00,\n",
      "        -6.9418e+00, -5.8710e+00, -3.8668e+00, -5.4166e+00, -4.8711e+00,\n",
      "        -4.7038e+00, -3.6100e+00, -2.5326e+00, -8.8234e+00, -1.9407e+00,\n",
      "        -8.5091e+00, -3.1906e+00, -5.6274e+00, -3.5997e+00, -2.9037e+00,\n",
      "        -5.0285e+00, -9.5540e+00, -7.3377e+00, -5.8509e-01, -6.3506e+00,\n",
      "        -7.3762e-02, -1.3569e-02, -1.3009e+00, -8.3772e+00, -3.1179e+00,\n",
      "        -4.5117e+00, -5.3729e+00, -2.7915e+00, -2.1292e+00, -3.3567e+00,\n",
      "        -8.5224e+00, -6.5529e+00, -3.4926e+00, -1.9411e+00, -7.1812e+00,\n",
      "        -1.0325e+01, -4.7581e-01, -7.4479e+00, -8.9258e+00, -1.1387e-01,\n",
      "        -1.7342e+00, -7.0032e+00, -6.4153e+00, -4.0995e-01, -1.6752e-03,\n",
      "        -7.2784e+00, -7.5081e+00, -5.8758e+00, -4.3627e+00, -7.8476e+00,\n",
      "        -6.9811e+00, -5.6278e+00, -7.0758e+00, -3.0861e+00, -1.3939e+01],\n",
      "       device='cuda:0')], 'objective/ref_logprobs': [tensor([-9.1365e+00, -6.6886e+00, -7.3338e+00, -4.4736e-02, -3.9345e-02,\n",
      "        -5.2713e-01, -3.3780e-02, -1.7692e-01, -5.4294e-03, -7.6682e-04,\n",
      "        -9.2266e-01, -8.1401e-02, -1.0994e-01, -4.4002e-04, -1.3311e-02,\n",
      "        -4.0737e-02, -2.0976e-03, -2.4507e-03, -2.0886e-03, -3.8890e-04,\n",
      "        -8.8291e-03, -1.5827e-03, -3.8271e-01, -1.5514e-02, -2.6547e-03,\n",
      "        -6.0402e-03, -7.8079e-05, -1.2358e-02, -1.6170e-02, -8.0236e-01,\n",
      "        -9.4678e-01, -2.2674e-02, -6.7956e+00, -3.5327e-02, -2.4544e-02,\n",
      "        -6.3180e-01, -5.6390e-03, -1.8045e-01, -4.0652e+00, -1.1588e+00,\n",
      "        -2.1030e-02, -2.5277e+00, -5.4242e+00, -5.1678e+00, -3.3846e+00,\n",
      "        -6.2240e+00, -5.3407e+00, -3.8126e+00, -5.6538e+00, -4.0133e+00,\n",
      "        -4.0729e+00, -3.4081e+00, -2.1482e+00, -9.0556e+00, -1.7024e+00,\n",
      "        -8.1387e+00, -3.3726e+00, -5.0720e+00, -3.2006e+00, -3.3469e+00,\n",
      "        -4.4937e+00, -9.3945e+00, -7.6152e+00, -6.1797e-01, -6.4048e+00,\n",
      "        -1.1788e-01, -9.1242e-03, -1.1383e+00, -8.2896e+00, -3.4603e+00,\n",
      "        -3.8002e+00, -5.1947e+00, -3.9609e+00, -1.8776e+00, -4.0230e+00,\n",
      "        -8.2511e+00, -6.7837e+00, -3.4320e+00, -2.0662e+00, -6.5872e+00,\n",
      "        -1.0197e+01, -7.5738e-01, -7.8967e+00, -9.1555e+00, -2.7205e-01,\n",
      "        -1.6756e+00, -6.5588e+00, -6.8912e+00, -2.1464e-01, -3.8604e-04,\n",
      "        -6.9635e+00, -6.4789e+00, -5.9430e+00, -3.7708e+00, -8.0917e+00,\n",
      "        -7.5336e+00, -5.0835e+00, -6.2735e+00, -3.0939e+00, -2.3992e+00],\n",
      "       device='cuda:0')], 'objective/kl_coef': 0.19970130450394452, 'objective/entropy': 342.2962951660156, 'ppo/mean_non_score_reward': 6.023303985595703, 'ppo/loss/policy': -0.04684114828705788, 'ppo/loss/value': 0.5325269103050232, 'ppo/loss/total': 0.006411544047296047, 'ppo/policy/entropy': 3.4449567794799805, 'ppo/policy/approxkl': 0.023751530796289444, 'ppo/policy/policykl': -0.031532663851976395, 'ppo/policy/clipfrac': 0.1325, 'ppo/policy/advantages': array([-1.6015093 , -0.43628272,  0.03490806, -0.38929805, -0.66697526,\n",
      "        0.3130586 ,  0.16316856, -0.16483532,  1.1095694 ,  0.7519441 ,\n",
      "        0.5583006 ,  0.49935263,  1.2431741 ,  0.23920327,  0.66263664,\n",
      "       -0.15957603,  0.40104064,  1.2149893 ,  1.0434393 ,  0.8734745 ,\n",
      "        1.0694869 ,  1.0194962 ,  1.3949168 ,  1.3752064 ,  1.9236794 ,\n",
      "        1.8357067 ,  1.75087   ,  1.782943  ,  1.9366279 ,  1.5495616 ,\n",
      "        0.92796665,  0.95056033,  0.9939239 ,  1.4878454 ,  1.2718033 ,\n",
      "        1.4986672 ,  0.9022007 ,  2.251851  ,  2.2663395 ,  1.3560433 ,\n",
      "        0.92331564,  0.8865984 , -0.40548822,  0.05397689,  0.39650688,\n",
      "        0.05382669,  0.09417337, -1.214163  , -0.77809644, -0.5272691 ,\n",
      "       -0.10476194, -0.95480776, -0.87012494, -0.28344882,  0.00670907,\n",
      "       -0.36089244, -0.18147428, -1.0906119 , -0.97578675, -0.71399766,\n",
      "        0.01117169, -0.8752062 , -1.4434575 , -0.93875307, -0.19394696,\n",
      "       -1.092082  , -1.469343  , -1.993587  , -1.3447067 , -0.571343  ,\n",
      "       -0.78916985, -1.2830812 , -0.5631195 , -1.278192  , -0.62343067,\n",
      "       -1.1729082 , -0.7106607 , -1.1563404 , -0.953202  , -0.57252336,\n",
      "       -0.98493123, -0.8430896 , -0.4839037 , -1.0798086 , -0.46217054,\n",
      "        0.4117367 , -0.5766592 ,  0.19309755, -0.5440541 , -0.12158506,\n",
      "       -0.8278447 , -0.8071362 , -0.48652703, -0.32272324, -0.45458895,\n",
      "       -0.3181675 , -0.52119935,  0.06287625, -0.37926927, -1.6298357 ,\n",
      "       -1.6015093 , -0.43628272,  0.03490806, -0.38929805, -0.66697526,\n",
      "        0.3130586 ,  0.16316856, -0.16483532,  1.1095694 ,  0.7519441 ,\n",
      "        0.5583006 ,  0.49935263,  1.2431741 ,  0.23920327,  0.66263664,\n",
      "       -0.15957603,  0.40104064,  1.2149893 ,  1.0434393 ,  0.8734745 ,\n",
      "        1.0694869 ,  1.0194962 ,  1.3949168 ,  1.3752064 ,  1.9236794 ,\n",
      "        1.8357067 ,  1.75087   ,  1.782943  ,  1.9366279 ,  1.5495616 ,\n",
      "        0.92796665,  0.95056033,  0.9939239 ,  1.4878454 ,  1.2718033 ,\n",
      "        1.4986672 ,  0.9022007 ,  2.251851  ,  2.2663395 ,  1.3560433 ,\n",
      "        0.92331564,  0.8865984 , -0.40548822,  0.05397689,  0.39650688,\n",
      "        0.05382669,  0.09417337, -1.214163  , -0.77809644, -0.5272691 ,\n",
      "       -0.10476194, -0.95480776, -0.87012494, -0.28344882,  0.00670907,\n",
      "       -0.36089244, -0.18147428, -1.0906119 , -0.97578675, -0.71399766,\n",
      "        0.01117169, -0.8752062 , -1.4434575 , -0.93875307, -0.19394696,\n",
      "       -1.092082  , -1.469343  , -1.993587  , -1.3447067 , -0.571343  ,\n",
      "       -0.78916985, -1.2830812 , -0.5631195 , -1.278192  , -0.62343067,\n",
      "       -1.1729082 , -0.7106607 , -1.1563404 , -0.953202  , -0.57252336,\n",
      "       -0.98493123, -0.8430896 , -0.4839037 , -1.0798086 , -0.46217054,\n",
      "        0.4117367 , -0.5766592 ,  0.19309755, -0.5440541 , -0.12158506,\n",
      "       -0.8278447 , -0.8071362 , -0.48652703, -0.32272324, -0.45458895,\n",
      "       -0.3181675 , -0.52119935,  0.06287625, -0.37926927, -1.6298357 ,\n",
      "       -1.6015093 , -0.43628272,  0.03490806, -0.38929805, -0.66697526,\n",
      "        0.3130586 ,  0.16316856, -0.16483532,  1.1095694 ,  0.7519441 ,\n",
      "        0.5583006 ,  0.49935263,  1.2431741 ,  0.23920327,  0.66263664,\n",
      "       -0.15957603,  0.40104064,  1.2149893 ,  1.0434393 ,  0.8734745 ,\n",
      "        1.0694869 ,  1.0194962 ,  1.3949168 ,  1.3752064 ,  1.9236794 ,\n",
      "        1.8357067 ,  1.75087   ,  1.782943  ,  1.9366279 ,  1.5495616 ,\n",
      "        0.92796665,  0.95056033,  0.9939239 ,  1.4878454 ,  1.2718033 ,\n",
      "        1.4986672 ,  0.9022007 ,  2.251851  ,  2.2663395 ,  1.3560433 ,\n",
      "        0.92331564,  0.8865984 , -0.40548822,  0.05397689,  0.39650688,\n",
      "        0.05382669,  0.09417337, -1.214163  , -0.77809644, -0.5272691 ,\n",
      "       -0.10476194, -0.95480776, -0.87012494, -0.28344882,  0.00670907,\n",
      "       -0.36089244, -0.18147428, -1.0906119 , -0.97578675, -0.71399766,\n",
      "        0.01117169, -0.8752062 , -1.4434575 , -0.93875307, -0.19394696,\n",
      "       -1.092082  , -1.469343  , -1.993587  , -1.3447067 , -0.571343  ,\n",
      "       -0.78916985, -1.2830812 , -0.5631195 , -1.278192  , -0.62343067,\n",
      "       -1.1729082 , -0.7106607 , -1.1563404 , -0.953202  , -0.57252336,\n",
      "       -0.98493123, -0.8430896 , -0.4839037 , -1.0798086 , -0.46217054,\n",
      "        0.4117367 , -0.5766592 ,  0.19309755, -0.5440541 , -0.12158506,\n",
      "       -0.8278447 , -0.8071362 , -0.48652703, -0.32272324, -0.45458895,\n",
      "       -0.3181675 , -0.52119935,  0.06287625, -0.37926927, -1.6298357 ,\n",
      "       -1.6015093 , -0.43628272,  0.03490806, -0.38929805, -0.66697526,\n",
      "        0.3130586 ,  0.16316856, -0.16483532,  1.1095694 ,  0.7519441 ,\n",
      "        0.5583006 ,  0.49935263,  1.2431741 ,  0.23920327,  0.66263664,\n",
      "       -0.15957603,  0.40104064,  1.2149893 ,  1.0434393 ,  0.8734745 ,\n",
      "        1.0694869 ,  1.0194962 ,  1.3949168 ,  1.3752064 ,  1.9236794 ,\n",
      "        1.8357067 ,  1.75087   ,  1.782943  ,  1.9366279 ,  1.5495616 ,\n",
      "        0.92796665,  0.95056033,  0.9939239 ,  1.4878454 ,  1.2718033 ,\n",
      "        1.4986672 ,  0.9022007 ,  2.251851  ,  2.2663395 ,  1.3560433 ,\n",
      "        0.92331564,  0.8865984 , -0.40548822,  0.05397689,  0.39650688,\n",
      "        0.05382669,  0.09417337, -1.214163  , -0.77809644, -0.5272691 ,\n",
      "       -0.10476194, -0.95480776, -0.87012494, -0.28344882,  0.00670907,\n",
      "       -0.36089244, -0.18147428, -1.0906119 , -0.97578675, -0.71399766,\n",
      "        0.01117169, -0.8752062 , -1.4434575 , -0.93875307, -0.19394696,\n",
      "       -1.092082  , -1.469343  , -1.993587  , -1.3447067 , -0.571343  ,\n",
      "       -0.78916985, -1.2830812 , -0.5631195 , -1.278192  , -0.62343067,\n",
      "       -1.1729082 , -0.7106607 , -1.1563404 , -0.953202  , -0.57252336,\n",
      "       -0.98493123, -0.8430896 , -0.4839037 , -1.0798086 , -0.46217054,\n",
      "        0.4117367 , -0.5766592 ,  0.19309755, -0.5440541 , -0.12158506,\n",
      "       -0.8278447 , -0.8071362 , -0.48652703, -0.32272324, -0.45458895,\n",
      "       -0.3181675 , -0.52119935,  0.06287625, -0.37926927, -1.6298357 ],\n",
      "      dtype=float32), 'ppo/policy/advantages_mean': -1.4305114426349519e-08, 'ppo/policy/ratio': array([1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       1.        , 1.        , 1.        , 1.        , 1.        ,\n",
      "       0.7905904 , 0.9663969 , 1.0456055 , 1.0063244 , 1.0037754 ,\n",
      "       1.0082748 , 1.0011889 , 1.006134  , 1.0003611 , 0.9999852 ,\n",
      "       1.0538476 , 1.0181247 , 1.037354  , 1.0001976 , 0.9999831 ,\n",
      "       1.0013794 , 1.000705  , 1.0007048 , 1.0008944 , 1.000011  ,\n",
      "       1.0011669 , 1.0005356 , 1.0076874 , 1.0018327 , 1.0024253 ,\n",
      "       1.0011535 , 1.000001  , 1.0006789 , 1.0005709 , 1.5553261 ,\n",
      "       1.0258409 , 1.0000465 , 1.0854555 , 1.0004855 , 1.0001818 ,\n",
      "       1.0547881 , 1.0001389 , 1.0071021 , 1.7831562 , 1.01323   ,\n",
      "       1.0001272 , 1.6684312 , 1.043145  , 1.0060627 , 1.0057932 ,\n",
      "       1.0120912 , 0.9973329 , 0.7419717 , 0.96405286, 0.93705887,\n",
      "       0.9653496 , 0.9163979 , 0.98801273, 0.9899968 , 1.0017631 ,\n",
      "       1.0004216 , 0.95656836, 0.9456215 , 0.9435615 , 0.9831892 ,\n",
      "       0.96067274, 0.9533917 , 0.89815825, 1.0034958 , 0.99423075,\n",
      "       1.0001012 , 1.0003984 , 1.0049223 , 0.92585397, 0.9180706 ,\n",
      "       0.97296125, 0.90867573, 0.9917827 , 0.90947896, 0.95848113,\n",
      "       0.9475614 , 0.8433787 , 0.7112252 , 0.7785133 , 0.90420866,\n",
      "       0.9068006 , 0.96973366, 0.9852295 , 0.9424479 , 1.000321  ,\n",
      "       0.99578744, 0.9671114 , 1.0096508 , 0.99714845, 1.0000062 ,\n",
      "       0.96178323, 0.9540456 , 0.9706138 , 0.9492116 , 0.9544151 ,\n",
      "       0.9416842 , 0.9703278 , 0.9988072 , 0.9699492 , 0.8832749 ,\n",
      "       0.6357202 , 0.90396553, 1.0901343 , 1.0124013 , 1.0070008 ,\n",
      "       1.0168195 , 1.0027488 , 1.0113599 , 1.0007122 , 0.9999783 ,\n",
      "       1.130938  , 1.0409175 , 1.0841917 , 1.0003774 , 1.0006388 ,\n",
      "       1.0037037 , 1.0019152 , 1.0017782 , 1.0017934 , 1.0000268 ,\n",
      "       1.0025556 , 1.001207  , 1.0177729 , 1.0038937 , 1.0050063 ,\n",
      "       1.0023257 , 1.0000027 , 1.0014884 , 1.0013349 , 2.3228822 ,\n",
      "       1.077097  , 1.0001352 , 1.2679906 , 1.0010428 , 1.0004123 ,\n",
      "       1.1372064 , 1.0002921 , 1.0150146 , 3.0494103 , 1.0365373 ,\n",
      "       1.0003042 , 2.6188347 , 1.0436574 , 1.0163629 , 1.0286359 ,\n",
      "       1.0322906 , 0.9996796 , 0.5699051 , 0.91639006, 0.8139042 ,\n",
      "       0.91448337, 0.787973  , 0.94162357, 0.98174185, 0.9924724 ,\n",
      "       0.9967809 , 0.8659808 , 0.82696855, 0.8723915 , 0.966708  ,\n",
      "       0.9191256 , 0.8568713 , 0.74829894, 0.9991555 , 0.96518207,\n",
      "       1.0002521 , 1.0009955 , 1.0021484 , 0.80691296, 0.8040945 ,\n",
      "       0.9306893 , 0.77716523, 0.97992855, 0.7826283 , 0.907351  ,\n",
      "       0.86519927, 0.62617326, 0.51744235, 0.61825377, 0.75050265,\n",
      "       0.7488711 , 0.9197286 , 0.9592926 , 0.8509866 , 1.0000626 ,\n",
      "       1.0006508 , 0.91050607, 1.0270445 , 0.985162  , 1.000027  ,\n",
      "       0.8972777 , 0.86747384, 0.92557985, 0.8796765 , 0.87288874,\n",
      "       0.85809875, 0.92343825, 1.0038421 , 0.9252893 , 0.69845545,\n",
      "       0.5216073 , 0.8227596 , 1.1317687 , 1.0185261 , 1.0099857 ,\n",
      "       1.0257629 , 1.0046725 , 1.0165123 , 1.0010525 , 0.9999785 ,\n",
      "       1.2264187 , 1.0681952 , 1.1378384 , 1.0005424 , 1.0020336 ,\n",
      "       1.0070677 , 1.0036402 , 1.0032495 , 1.0027292 , 1.0000463 ,\n",
      "       1.0041552 , 1.0020255 , 1.0297716 , 1.0060711 , 1.0075831 ,\n",
      "       1.0036021 , 1.0000052 , 1.0023942 , 1.002225  , 3.3838325 ,\n",
      "       1.1485347 , 1.0002351 , 1.4756755 , 1.0016087 , 1.0006545 ,\n",
      "       1.2450888 , 1.000457  , 1.0231897 , 5.0470767 , 1.0658594 ,\n",
      "       1.0004897 , 3.88552   , 1.0082074 , 1.032045  , 1.0672339 ,\n",
      "       1.0607368 , 1.0071907 , 0.4539907 , 0.85551745, 0.6699116 ,\n",
      "       0.8612075 , 0.68229693, 0.8748157 , 0.96944493, 0.9784425 ,\n",
      "       0.9868163 , 0.751074  , 0.6891375 , 0.79373   , 0.94780606,\n",
      "       0.88534147, 0.7300565 , 0.6349198 , 0.98699236, 0.932551  ,\n",
      "       1.0003321 , 1.001781  , 0.99094844, 0.67134523, 0.67676497,\n",
      "       0.8768046 , 0.6821278 , 0.94044214, 0.68245035, 0.85583454,\n",
      "       0.7667917 , 0.47744927, 0.38585043, 0.49610347, 0.63770705,\n",
      "       0.61137754, 0.85498273, 0.91988283, 0.74705577, 0.99874914,\n",
      "       1.0135503 , 0.8279759 , 1.05936   , 0.96697783, 1.0000633 ,\n",
      "       0.822358  , 0.7644705 , 0.87025756, 0.80169016, 0.77441335,\n",
      "       0.75977707, 0.86144495, 1.0114027 , 0.8734343 , 0.56119263],\n",
      "      dtype=float32), 'ppo/returns/mean': 2.8695194721221924, 'ppo/returns/var': 0.4187362790107727, 'ppo/val/vpred': 2.188633441925049, 'ppo/val/error': 0.9320882558822632, 'ppo/val/clipfrac': 0.3275, 'ppo/val/mean': 2.1577367782592773, 'ppo/val/var': 0.10113877803087234, 'ppo/time/ppo/optimizer_step': 0.10233855247497559, 'ppo/val/var_explained': -1.2259552478790283, 'time/ppo/forward_pass': 0.08094263076782227, 'time/ppo/compute_rewards': 0.00025773048400878906, 'time/ppo/optimize_step': 0.9107446670532227, 'time/ppo/calc_stats': 0.0032253265380859375, 'time/ppo/total': 0.9953813552856445}\n"
     ]
    }
   ],
   "source": [
    "print(train_stats)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 68,
   "id": "66fcb14d",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:รู้ใช่ไหมว่า คนที่แอบรักจะต้อง รักซึ่งกันและกัน</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 69,
   "id": "22a0c18e",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(1.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 248,
   "id": "d96a5eb2",
   "metadata": {},
   "outputs": [],
   "source": [
    "# ปรับแต่ง traning\n",
    "query_txt=\"Q:อยากบอกรักให้กับคนที่แอบรักต้องอย่างไร</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "ans=tokenizer.encode(query_txt+\"ขึ้นอยู่กับคุณนะคะ</s>\", return_tensors=\"pt\").to(device)\n",
    "reward = [torch.tensor(float(1))]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [ans[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 71,
   "id": "7ece3ea6",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:สภาพอากาศพรุ่งนี้จะเป็นอย่างไรบ้าง</s> A:พรุ่งนี้อากาศจะเย็นนะครับ ร้อนมาก โดยเฉพาะจังหวัดภูเก็ตและกระบี่ อุณหภูมิจะ 19-20 องศา เป็นระยะๆ จะร้อนไปถึงตอนใกล้สิ้นปีเลย เดี๋ยวปิดเทอมจะมาแปะภาพมาให้ดู</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:สภาพอากาศพรุ่งนี้จะเป็นอย่างไรบ้าง</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 137,
   "id": "7455ecdb",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:ทำไมวัยทำงานสมัยนี้มันเหนื่อย?</s> A:เวลาอายุมากตั้งแต่สมัยเด็กก็มักจะรู้สึกว่ามันเหนื่อยเหมือนกับที่เพิ่งออกจากโรงเรียนและสุขภาพจิตไม่ค่อยดี ก็เกิดเป็นคําถามว่า</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:ทำไมวัยทำงานสมัยนี้มันเหนื่อย?</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 138,
   "id": "2ee2c31d",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(0.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 143,
   "id": "a8d4cb1b",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:ทำไมวัยทำงานสมัยนี้มันเหนื่อย?</s> A:การทํางานในยุคดิจิทัลทําให้คนวัยทํางานทํางานเหนื่อยไม่ต่างกัน</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:ทำไมวัยทำงานสมัยนี้มันเหนื่อย?</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 144,
   "id": "18e671b3",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(1.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "4c3d3d6e",
   "metadata": {},
   "outputs": [],
   "source": [
    "Q:ทำไมวัยทำงานสมัยนี้มันเหนื่อย?</s> A:ชั่วโมงที่คนวัยทํางานทํางานเนี่ย ผมว่ามันเทียบไม่ได้เรื่องของคุณภาพชีวิต เพราะว่ามันไม่ใช่การแข่งขันกันระหว่างเดือนกับเดือน เป็นแค่งานที่ถือเป็นความฝัน แต่ความจริงก็แค่ใจที่ต้องทํามันเท่านั้นครับ ไม่ใช่หน้าที่ บางคนแพ้ก็เป็นพวกขี้อ้อน บางคนถึงขั้นหัวฟูก็ได้</s>\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 128,
   "id": "f3b7eade",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:9+1=?</s> A:== Orient View and Window GlowingLandscape</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:9+1=?</s> A:=\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=40,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 129,
   "id": "aef77664",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(0.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 252,
   "id": "22314f97",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:9+1 เท่ากับอะไร</s> A:ความเร็วและแรงบิดที่เดินทางผ่านสนามจะถูกระบุไว้ด้วยกราฟ</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:9+1 เท่ากับอะไร</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=40,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 218,
   "id": "eb5733f5",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(0.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 250,
   "id": "8023e86c",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Q:ทำไมวัยทำงานสมัยนี้มันเหนื่อย?</s> A:สาเหตุเพราะรู้สึกว่าเราต้องใช้เวลาส่วนใหญ่ในระยะนี้กับการสร้างระบบความสัมพันธ์กับครอบครัว สังคม และผู้ใหญ่</s>\n"
     ]
    }
   ],
   "source": [
    "query_txt=\"Q:ทำไมวัยทำงานสมัยนี้มันเหนื่อย?</s> A:\"\n",
    "query_tensor = tokenizer.encode(query_txt, return_tensors=\"pt\").to(device)\n",
    "response_tensor  = respond_to_batch(model_ref, query_tensor, txt_len=100,end=2)\n",
    "print(query_txt+str(tokenizer.decode(response_tensor[0])).split(\"</s>\")[-2].replace(\"A:\",\"\").strip()+\"</s>\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 251,
   "id": "524af0ef",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(1.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 246,
   "id": "c5cc9daa",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tensor([     2,   1336,     13, 108899,  48670,  25132,  39331,   2417,  10120,\n",
       "        189964,     28,      2,     46,     13,  13956,   6003,   2653,  33960,\n",
       "         12339,   7637,   2165,  98901,   1153,  26256, 193568,  16401,  73465,\n",
       "         24326,  77505,   6721, 122444,   3650,   4034,  67747,   3991, 135715,\n",
       "        201518,   7210,  77766,  26698,   1485,      6,  13033,      6,  90380,\n",
       "         17878,   3503, 142879, 168892,   1153,  99410,      2],\n",
       "       device='cuda:0')"
      ]
     },
     "execution_count": 246,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "response_tensor[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 247,
   "id": "24164c27",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "tensor([     2,   1336,     13,  33102,  25135,  15463,  36803,  43266,  24817,\n",
       "          2469,  15463,   9022,  56987,      2,     46,     13, 207184,   7481,\n",
       "         38903,      2], device='cuda:0')"
      ]
     },
     "execution_count": 247,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ans[0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 239,
   "id": "f7634228",
   "metadata": {},
   "outputs": [],
   "source": [
    "reward = [torch.tensor(0.0)]\n",
    "train_stats = ppo_trainer.step([query_tensor[0]], [response_tensor[0]], reward)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "5e3cbfb8",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.6"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}