預測後的下一步:規範性分析 (Prescriptive Analysis)

資料科學家、AI 工程師都很擅長透過資料建立一個預測模型,但得到模型並預測實際上還沒有發揮影響力,如何根據預測結果去進行決策,才會真正產生價值,也就是 Prescriptive Analytics[1]。 ▶️▶️▶️ 💡目錄 (Table of Contents) 一、資料分析的四種類型(The Four Types of Data Analysis) 二、為什麼要特別討論規範性分析(Why Focus on Prescriptive Analytics?)? 三、如何去建立規範性分析 (How to Develop Prescriptive Analytics?)? 四、總結(Conclusion) ▶️▶️▶️ 💡一、資料分析的四種類型(The Four Types of Data Analysis) 資料分析可以被分類為4種主要類型,像是SAP[2]、Gartner[3]、Harvard[4]、Intel[5]等公司、組織都使用這種規範去分類,其中是描述性分析、解釋性分析、預測性分析、規範性分析。
megapx
From SAP[2] 1. 描述性分析:過去發生了什麼?(Descriptive Analytics: What happened in the past?) 本質是敘述性統計的延伸,根據當前數據進行基礎說明以及視覺化。例如說明 Google(Alphabet) 2024Q3 營收佔比[6]為 「Google搜尋引擎 56%」「Google Cloud 12.8%」「YouTube 廣告 10%」「Google Network 8.5%」「其他服務 12.7%」 2. 診斷性分析:當前數據、事情是為什麼會發生?(Diagnostic Analytics: Why did it happen?) 比如台積電產線產品發現瑕疵,追溯到源頭也許是發現機台數據異常,推測是機台耗損等議題。(雖然都是探討為什麼,但與因果推論有不同,更像是從相關性以及當前數據給出符合邏輯的可能原因) 3. 預測分析:未來會發生什麼?(Predictive Analytics: What will happen in the future?) 使用統計模型、機器學習模型根據過往歷史紀錄學習到的模式預測「未來可能會發生什麼」,例如 Pinterest 根據廣告商之過往投遞行為、操作廣告平台之紀錄,預測未來 14 天是否會消費(消費=投遞廣告)。 4. 規範性分析:應該採取什麼行動?(Prescriptive Analytics: What actions should be taken?) 通常根據前述的預測分析得知未來訊息之後,根據不同情況針對性地設計策略進行動作。例如以剛剛的未來14天是否會消費為例,根據是否會消費的機率(0~1)切分成高機率、中機率、低機率進行操作,以低機率來說可能搭配優惠方法、推播提醒去促進廣告商消費可能。 ▶️▶️▶️ 💡二、為什麼要特別討論規範性分析?(Why Focus on Prescriptive Analytics?) 前述提到的描述性分析、診斷性分析、預測分析可以有效地幫助我們得到一些有用的資訊,但有用的資訊如果只停留在口頭討論上,並沒有辦法真正對產品、業務發揮影響力。例如建立了一個流失模型,預測用戶未來是否會流失非常準確,但是然後呢? 舉例來說,透過描述性分析得知了當前社群媒體APP營收的狀況,主要集中在廣告業務,但呈現些許下跌趨勢,再透過診斷性分析判斷下跌的趨勢來自於廣告系統異常顯示的比例提高,而背後是發現廣告系統的機器 CPU 過高導致無法負荷大量需求,團隊因此建立了一個根據當前社群APP總體資訊預估是可能會超出負荷的模型。 團隊進行到這邊已經得到許多有用的資訊,但已經解決問題了嗎?還沒有! 需要再根據當前負荷狀態設計對應的處理狀態,比如可負荷就不進行任何處理,不可複合就根據不可負荷的程度進行加開機器來滿足需求,最終根據廣告的營收結果查看是否有效。到這邊才是完整的把有用的資訊整合在一起,變成一個完整的處理流程,解決了廣告營收下跌的問題。 透過上面的例子可以發現,資料分析師、資料科學家、AI 工程師通常都會接到自家產品單位或者跨單位的一些數據分析、建模需求,而根據需求解決問題,通常都需要連結到最終的可操作洞見(actionable insights),也就是例子中的加開機器動作。 因此規範性分析應該是資料分析師、資料科學家、AI工程師在接到任何需求之後,必須要思考、設計的部分,才可以避免非常辛苦地建立了有用的分析、模型,卻最終沒有產生實質幫助。 ▶️▶️▶️ 💡三、如何去建立規範性分析?(How to Develop Prescriptive Analytics?) 首先我們先假設情境是預測性分析已經建立完成的狀況下。(有的時候不需要預測,只要描述性;診斷性也足夠) 那該怎麼有效地建立規範性分析呢? 建立規範性分析其實很直覺,就是設計模型不同輸出(outputs)對應的動作(actions),該動作需要與輸出有符合邏輯的關係。 舉例來說, 1. Pinterest 在廣告商流失模型[7]對應每一個流失機率區間(outputs),給予一個針對性的推播處置(actions)。 2. YouTube 推薦模型[8]根據用戶對影片預估可能的觀看時長(output)去排序,並呈現(action)到首頁上。
megapx
From YouTube Paper[8] 3. Google Map 最短路徑預估模型產生多條可能路徑(output)並有根據時間排序,呈現(action)到使用者介面給使用者選擇。
megapx
From Google Map [9] 4. LinkedIn 假帳號偵測模型根據用戶行為判斷是否為假帳號(output)[10],如果是假帳號就進行停權(action)。 以上的案例都是可執行的動作相對直覺的例子,如果有的時候不那麼直覺時,可以按照以下步驟執行: 1. 可以先發想當前產品可以對用戶做哪一些事情,從中找到可能的選項 2. 新功能的開發 ▶️▶️▶️ 💡四、總結(Conclusion) 這篇文章與大家分享了資料分析的四種類型,以及其中的規範性分析為什麼特別重要,也介紹一個建立規範性分析的原則,並用各種不同產業領域的應用說明。 希望這篇文章對於大家有些許幫助,如果有感興趣的議題也可以讓我知道唷! 如果習慣 Medium 版型,也可以使用以下連結閱讀唷!
▶️▶️▶️ 💡參考(Reference) [1] What Is Prescriptive Analytics? 6 Examples | HBS Online
[2] 何謂分析?| 定義、重要性、範例 | SAP
[3] What Is Data and Analytics: Everything You Need to Know | Gartner
[4] 4 Types of Data Analytics to Improve Decision-Making
[5] 資料分析是什麼?
[6] Alphabet ( GOOGL ) 財報分析2024 Q3 — 搜尋和雲端運算推動營收大幅增長
[7] 資料科學應用分享:Pinterest 使用 ML 預防廣告商流失
[8] Deep Neural Networks for YouTube Recommendations
[9] Google Map Service
!3m1!5s0x3442a9725cb90555:0x436635c543f81238!4m14!4m13!1m5!1m1!1s0x3442ac3acd404a7d:0x5d6d7018397a09c1!2m2!1d121.5484925!2d25.1023554!1m5!1m1!1s0x3442a9729f13e59d:0x8398ab0c37b6418!2m2!1d121.51753!2d25.04625!3e1?authuser=1&entry=ttu&g_ep=EgoyMDI1MDEwOC4wIKXMDSoASAFQAw%3D%3D [10] Automated Fake Account Detection at LinkedIn, Jenelle Bray
愛心
69
留言
encourage first comment
有些話想說嗎 快分享出來彼此交流吧!