爬蟲處理JS網頁的問題

[philosopher1121]

老師，想要詢問一下最近在自學playwright(老師應該知道是MS所發表的自動化工具)，嘗試在處理一些網頁的動作，今天在處理這個網站 https://www.burgerking.com.tw/ 她有一個抽獎的活動，原本想用自動化程式點選，然後去讀取中獎的資訊，然後判斷是否是自己想要的獎品，如果不是自己想要的就重複抽獎，但發現他的中獎資訊放在js裡面，然後這個js網頁的header的網址需要附上一個現在的時間(這個用datetime就可以處理，算簡單)，但現在遇到問題是當我用playwright去點選之後，要執行卻都會遇到timeout即使我延長了等待時間(我不知道這是網站機制嗎?就是會擋爬蟲，還是這單純只是自動化程式往往會遇到的問題)，但我也有問題是即使我可以進行點選，但爬蟲如果要處理js網頁會不會遇到很多問題，因為去查過好像都要用爬蟲的框架(Scrapy)去處理(我有理解錯就跟我說)，或是跟我稍微指引一下方向，因為我發現現在用js的網站很多，所以如果要爬往往都會遇到很多問題，希望能在這邊可以有所突破，謝謝老師!!!

[jwlin]

我不太了解問題的內容，但如果只是要用 playwright 去進行抽獎動作，就用 playwright codegen 錄製過程，再找尋可以定位抽獎結果資訊的標籤即可。以下是我測試的抽獎動作及執行截圖，有回答到你的問題嗎?

from playwright.sync_api import Playwright, sync_playwright, expect


def run(playwright: Playwright) -> None:
    browser = playwright.chromium.launch(headless=False)
    context = browser.new_context()
    page = context.new_page()
    page.goto("https://www.burgerking.com.tw/")
    page.get_by_role("button", name="GO").click()
    print(page.locator(".player-styles-opnfk-1ec2byg").text_content())
    print(page.locator(".player-styles-opnfk-796bk7").text_content())


    # ---------------------
    context.close()
    browser.close()


with sync_playwright() as playwright:
    run(playwright)

[philosopher1121]

謝謝老師!! 從這邊我就可以知道 老師用得很順手 真的是經驗值的問題 我原本想得很複雜 沒想到老師一下就處理了 謝謝老師 我會再努力精進累積更多經驗的 十分感激!!

[philosopher1121]

老師 我剛在我自己電腦跑了一下，結果發現我這邊會有錯誤，然後您那邊不會出現"點選通知"的頁面出現，不知道是否有做過什麼設定(我原本以為是不是因為不是在無痕模式下，結果看起來老師也是在無痕模式底下，但卻不會出現點選通知) 如果老師知道為何有這樣的差異再麻煩告知 謝謝 (下面是自己錄製的gif檔，因為超過10MB，所以放到google cloud)

https://drive.google.com/file/d/1bLOuiyR4g1IYARpCjZKl0zai9fcp8dPe/view?usp=sharing

[jwlin]

我錄製的時候沒看到「點選通知」的視窗，我猜測應該是隨機出現？因為活動已經結束，我沒辦法再測試，如果下次再遇到同樣情況，可以一樣試試用 playwright codegen 指令，錄製操作過程，把通知視窗點掉。或是有一個判斷條件，有看到通知視窗就點掉，沒看到就繼續抽獎動作