HPX Campus 78 – 聊聊 AI UX Design / 陳翰申

-

聊聊 AI UX Design

主講：陳翰申（AI UX Designer）
開會開到天荒地老，會議記錄用最高速寫完，咬牙在幾乎最後時限內跳上 Uber，在 2020 年的開始，在各種起始終結的一月份，怎麼能錯過這麼有趣的題目，經歷這麼堅強的講者？還有這麼可愛的 Max 老師！（好吧看到那堆徽章真的有心動，但只能心動...）
HPX Campus 經典的交朋友時間，今天我認識了 PIXNET 的 Jeff 和 Pilotfish Wei Yo，默默了解了為什麼我的 PIXNET 的第一層發文 button 不見了的原因...（即使知道還是很難過，user 想舉手表達 pain point 啦～）
言歸正傳，講師翰申登場，講起了「AI UX」這個名詞的起源，畫面上出現一張「瞎子摸象」的浮世繪，翰申想表達的是，AI UX 是一個正在發展中的領域，各公司也正在形塑自己的認知以及發展、積累相關的專業知識，甚至 Google 都已經成立專門的 AI UX team。
翰申走過了 IBM、Google、Microsoft 等國際級大公司，接著將走進 Adobe，結合 AI + ML 的領域專業，接著將走進 AI/ML principle designer 的角色，而 Human-Centered Machine Learning (People-Centered Machine Learning）會是今晚分享的重點。
我們都會越來越老，而你們正要開始，台灣是一個很棒的環境，你們都會成為一個非常 impactful 的 designer。
翰申對講給學生聽戰戰兢兢，因為講給學生聽，需要百分之百正確，這也是 HPX Campus 希望走進校園，培育種子的初衷。
「所有事情都是有跡可循的。」 Can Machine Think? - Alan Turing (1950)
Man-Computer Symbiosis (J. C. R. Licklider)
1) to let computers facilitate FORMULATIVE THINKING as they now facilitate the solution of formulated problems.
「Designer 要不斷延伸自己的職能，全能之外要加入 PM 的能力，才能在 product 的時代獲得最大的成功。」翰申很認真的對台下分享。

Human factor 是在釐清人與機器的關係，當第一個滑鼠被設計出來的當下，便開啟了 Interaction 設計的時代。

Data to "AI/ML Platform" and Output to - Machine Teaching -> Input to "User Data Platform (Users)
透過 AI/ML 設計產品，並不僅僅是為了「設計產品」，而是要「解決問題」。

ML Real World, AI Design Project  

Computer Vision 看得比人要準確，透過 data 的分析和分析可以做到更多人類不能做的事情。

Artificial Intelligence - The science of making machines intelligent, so they can recognize pattern.

（底下的象限來不及記到）

                      Thinking

     Thinking                                                       
    Rationally       

Optimally <------------------> Human-Like


                          Acting

訓練 AI 解決問題可以分成很多層次：
  • 傳統 ML：Rules + Data (Traditional Programming) > Results
  • AI：Answers + Data (Traditional Programming) > Rules 不是找出演算法，而是訓練演算法 
可參考的演算法線上資料：3Blue1Brown
  • Supervised Learning 監督學習：給予 label
  • Un-Supervised Learning 無監督學習：透過 grouping 的做法歸納
  • Reinforcement Learning 強化學習：寫 policy，figure 後給 reward，但最難的就是將人的決斷原則轉為 policy

Basic ML

  • Regression - Prediction of numerical values 
  • Confidence Level - A numerical expression of certainty in percentages. 如何 define error
  • Google Flight 
ML Prototyping 將會變成很重要的 capability 
AI 的時代，不只是規劃 UI flow，要預測和 planning 這個產品後續的成長和可能面臨的變化和挑戰。這也是可以透過

People AI Guidebook (AI Foundation) 

Jess Holbrook (Researcher) & Josh Lovejoy (Designer)
Human-Centered Machine Learning - Design is [SMART]
你要先知道什麼事情「可能」，才會知道什麼事情「不可能」。
翰申鼓勵所有人嘗試任何事情，提出任何有熱情或想嘗試的提案，不要先替自己亮紅燈，永遠「綠燈思考」，當一件事情沒有前例可循時，「自己怎麼嘗試、怎麼做都是對的」。

User Needs & Define Success

  • Which user problems is AI uniquely positioned to solve? 不一定要用 AI 解決的事情，就不要用 AI 處理，除非需要透過 AI 產出 unique way
  • How can we augment human capabilities in addition to automating tasks?
  • How can we ensure our reward function optimizes AI for the right thing? 
  • AI Transformation Playbook

ML Problem Statment: How might we solve _________{ out user need } _______? Can AI solve this problem in a unique way? 要不斷反問自己，這問題是否一定要透過 AI 才能有特別的解法。

Confuse Metrics 

  • True positives - When the model correctly predicts a positive outcome. 真的真的
  • True negatives - When the model correctly predicts a negative outcome. 真的假的
  • False positives - 假的真的
  • False negatives - 假的假的（最嚴重、影響最大的狀況）

Precision + Recall

  • Precision refers to the proportion of true positives correctly categorized out of all the true and false positives
    • Model classifies no false positives, but misses some true positive
  • Recall refers to the proportion of true positives correctly categorized out of all the true positives and false negatives 
    • Model classifies all true positives, but captures some false positives

Data Collection & Evaluation 

  • Does our training dataset have the features and breadth to ensure 
  • Translate user needs into data needs - Datasets that can be used to train AI models contain examples, which contain one or more features, and possibly labels. 透過好的 example 

Match user needs with data needs 

  • Data scientist/engineer 必須要檢視資料，而 data 的選用和搜集需要符合目標的 user needs，「AI 像是電，Data 像是石油」，Data 用來 training 後就不能再重複使用了。

Reporting Bias

  • Reporting bias occurs when the frequency of events, properties, and/or outcomes captured in a data set does not accurately reflect their real-world frequency. 要注意資料選擇的多樣性，否則會導致 ML 產出的盲點。
現在的 AI 就像是當初 Internet 起來時需要學習的東西，「必須要懂」。

Automatic Bias

Selection Bias

  • Example: A model is trained to predict future sales of a new product based on phone surveys conducted with a sample of consumers who bought the product. Consumers who instead opted to buy a competing product were not surveyed, and as a result, this group of people was not represented in the training data.
    • 若選用的 data 來源都是「既有使用者」，則產出的結果會受限於資料來源，而不能針對「新使用者」產出最佳內容。

Mental Model 

  • Which aspects of AI should we explain to our users?
  • How should we introduce AI to the user initially-and thereafter?
  • What are the pros and cons of introducing our AI as human-like?
  1. Identify existing mental models
  2. Onboard in stages 
  3. Explain the benefit, not the technology
  4. Design for experimentation - encourage that with a small target
  5. Onboarding template

Co-Learning Flow 相對較自然的啟動過程

  1. Setup Google Home
  2. Calibrate Lighting 
  3. Add Media Service 
  4. Suggest Routine
  • Add Media service
  • Calibrate service preference
  • Add a new lighting
  • Calibrate lighting 
  • Suggest routine

Trust 

Help users calibrate their trust 

  • Scope - Show an overview of the data being collected about an individual user, which aspects of their data are being used for what purpose.
  • Reach - Personalized to one user or device 
  • Removal - Tell users whether they can remove or reset some of the data being used. 

Tie explanations to user actions 

  • Trust spectrum of "No trust" to "Too much trust".

Trust calibration

  • What kinds of experiences and interactions would decrease, maintain, or inflate trust in your feature's AI. 

Optimize for understanding

  • 當 user impact 高的時候要特別注意

Data Visualization 

  • Indicating the range of alternative outcomes based on the system's confidence level. 
AI is all built by "trust".

Feedback + Control

Align feedback with model improvement 

  • What user experience is triggering this feedback opportunity?
  • 要透過使用者的回饋來確認自己的設計是否正確或有用

Communicate value & time to impact

  • 透過 engage user 來改善產品
  • Do all of your user groups benefit from this feedback?
  • How might the user's level of control over the AI influence their willingness to provide feedback?
  • How will the AI change based on this feedback?
  • When will the AI change based on this feedback?

Balance control & automation

  • Wide range of user abilities and preference
  • Highly-sensitive 

Error + Graceful failure 每個錯誤 (context error) 都是學習的機會

  • When do users consider low-confidence predictions to be an "error"?
  • How will we reliably identify sources of error in a complex AI? 

Define "errors" & "failure"

  • System limitation
  • Context 
  • Failstates - true negative

Identify error sources / 如何設計 error message

  • Prediction & training data errors occur when...
  • Input errors occur when...
  • Relevance errors occur when...
  • System hierarchy errors occur when...

Provide paths forward from failure 

  • 要透過各種方式確認「錯誤」的原因
翰申提到在 Google 學到最重要的東西：Team 能提出的解法一定比個人優秀，而為了「toward to future problem」則需要維持群體的多樣性，這不管是在 AI 的表現上，也是為了產出「有用的解法」。
要回到「要解決什麼問題」上，目標清楚，才知道要選擇什麼樣的 Data 做 training - Product is gonna to solve a problem，不一定要用最好的 model，能 focus on "Business Objective" 的就是好 model。

Ｑ＆Ａ 時間

  • 要如何找出 AI unique way 做產品的創新？
"Always figure out the problem." 這是翰申反覆幫大家畫的重點。
透過建立有趣的互動 engage user 並建立 eco-system，再慢慢根據 business objective 加入 features。Product Designer 可以 initiate project，不一定要寫 PRD (Product Requirement Document)，先定義自己要解決什麼問題，才能決定自己要使用什麼來解決問題。
  • 搜集 feedback 很重要，那為什麼 Siri 沒有收集什麼 feedback 的感覺？Google Home 會怎麼搜集 user feedback？後續又怎麼處理？
可以蒐集 routine 的 event/behavior，當 confidence level 提高時，再提出更多變異。UI 也需要重新思考，何謂 dynamic UI / Index UI。
  • Feedback 就是要回傳使用者的 data 回來做標記、分析，那要怎麼再回拋 client 端做使用者內容客製化？如何讓使用者理解做這些事情的目的跟帶來的好處？ 
其他一些小關鍵字：
  • Low data training
  • Privacy UX
  • Legal UX
  • Dynamic UI
  • Index UI
Max 老師補充說明，人的改變是非常緩慢的，即使外在的刺激和環境不斷變動，適應也沒有那麼快，而 AI 則是我們目前碰到的轉折。當閱讀 "People + AI Guidebook" 時，很多 usability 的原則其實都還是沿用的，因應新的系統、新的轉變，既有的 UX 原則被重新詮釋，但受到更多的要素影響（training model, data, context, etc.)，只要理解其中的運作，就會了解如何在設計中包入 AI 的產出，也會知道如何跟工程師溝通。

「改變會越來越劇烈，不論如何要勇敢擁抱和適應這些改變。」翰申最後的勵志總結。
The most important thing is "Always ask the good question instead of to get the answer." Because the answer is always changed. 

Comments

Post a Comment

Popular posts from this blog

【2023 應用心理學與實務研討會】AI 都不 AI 了 - 由 AI 生成到 AI 思維－生成藝術的創意空間（李怡志）

-
生成藝術的創意空間（李怡志－政治大學新聞學系助理教授）   Generative Art 生成藝術是什麼？這是一個已經存在很久的概念，從 1963 年就有人做圖像，在討論生成藝術時，需要先討論人類在生成藝術的時候的思考方式： Precise Aesthetics Process by Designers →  Ideation / Execution / Appreciation 三者很靠近且重疊 但若是 Precise Aesthetics Process by Non-Designers →  Ideation, Execution, Appreciation 三者是獨立的 生成圖像的特性，Randomness, Unpreditorable 是重點。目前產出的作品，有幾種對人類可分類的價值類型：Self-expression, Serendipity (偶遇) , Surprise（可以激發人類的想像力）, Evolutional（對 prompt 的指令是逐漸逼近）。 Ways of Seeing - AI  生成圖像的背後也是大型模型，要看 meta-data 是如何整合。AI 對文字的理解有非常多面，我們需要知道如何運作，才知道如何下指令。可以嘗試搭配 ChatGPT 產出的 prompt 再倒給 Midjourney 繪圖，可以完全 break normal rules，做出架空的東西。 Non-Generative Process 是從開放到收斂的模型，當 Concept Sketch 定義好，路徑就會瞬間收斂。 (News) Infographics Project Procedure: Prepare > Investigation > Design > Final Work 人類傳統的 Level of Sketches: Research (What to Sketches) Information Elements Concept Sketch Layout Sketch Real Size Sketch Final Work  人類傳統在進行設計，從草稿到完稿的距離非常的接近。 AI Generative Process （李怡志總結） Variate (小的變異) Randomize (寫了 prompt 後會出現一些
Read more

ProductTank Taipei #12 - 大型組織的產品管理與協作

-
Image
難得提早到現場，開了電腦正在準備，突然發現 Peter 正在遠端連線，抓圖時才發現，原來人在荷蘭的 Peter 今天是遠端分享，算是很特別的經驗。 Celine 「裸辭」上一份工作後，輾轉到了中國的攜程工作。直接破題的 Celine 以攜程旅遊網的首頁為例，告知頁面信息的排序，事實上並不只是考慮使用者的閱讀習慣與興趣，而是依據組織內部的角力，哪個組織收付的佣金夠多，排序就會提前，例如：酒店、機票、旅遊等區塊，就會有所上下排序調整。 Celine 的工作是後端的靜態信息組。攜程分為垂直式、水平式分工，垂直式分工意指從後端信息整合、API 接口到前台的 App UI 呈現和實作，水平式分工則指當重要功能需要整合時，便需要拉出平行橫跨並進的規劃作法。 在大公司工作讓 Celine 覺得任務非常複雜，例如做「需求調研」時，若功能橫跨各信息組或功能組，則一個需求便是牽一髮動全身，需要橫跨各組做繁複的溝通，甚至要召開【需求澄清會】，遭受各組的炮轟，最後再回去重寫。 若想要做一個扁平的東西，仍然需要跟開發努力爭取資源，並跟各部門 PK 優先，甚至談好資源之後，若開發部門有緊急事件，仍會不告知值接插隊延後需求實作，而為了功能，測試資源也是稀缺資源要透過血淋淋的爭取。 很多事情即使講很多次，還是會有人聽不懂！ Celine 分享開發產品時的四個主要步驟： 需求調研 需求評審 開發測試 優化迭代 理想的狀況是這樣的： 需求調研 - 開發、內部/外部訪談、PRD 撰寫 需求評審 - 內部評審、外部評審 開發測試 - 敏捷開發、測試 優化迭代 - 投訴處理、收集需求 現實中是這樣： 需求調研 - 查出接口的所有調用方、調研開發可行性、召開 N 遍 需求澄清會、梳理業務流程 需求評審 - 到 N 個部門講 N 遍 需求、跟各部門 PK 優先級、預先爭取測試資源 開發測試 - 講 N 遍 需求、確認開發負責人、開發功能微調、跨部門溝通 優化迭代 - 跨部門講 N 遍 需求、修 bug、運營流程優化、用戶反饋整理 Celine 接著分享攜程內部常用的操作方式： 盡量找到大部分的調用方（stakeholder） 項目管理工具（JIRA-cp4 + Teambetion, Lengoo, etc.） 但其實
Read more

【2023 應用心理學與實務研討會】AI 都不 AI 了 - 由 AI 生成到 AI 思維－ChatGPT 的解析與挑戰（陳縕儂）

-
ChatGPT 的解析與挑戰（陳縕儂－台灣大學資訊工程學系副教授） 陳縕儂用了一張 Midjourney 的生成圖做為開場，形塑出一位潮流女孩的工作環境，除了自己的電腦和周邊鍵盤外，螢幕上投映著「ChatGPT」的大字，試圖描繪出未來大家的工作想像圖 - 除了自己的工作內容之外，ChatGPT 可能常伴左右在協助各種任務。 AI & ML 首先定義 AI 這個字，我們現在看到的生成式 AI，是偏向 Synthesizing 的類型。而達成 AI 的方法有很多種，Machine learning (ML) 就是其中一種手段，並非所有的 AI 都需要應用 Machine learning，只是近期最熱門的 AI 是透過 ML 達成的 AI。 大家最常看到的 LINE 聊天機器人，其實內部沒有什麼 ML，只是確實是有很多模組的 AI。 Machine Learning 的訓練，陳縕儂用了一些例子：Looking for a Function      Task: predicting positive or negative given a product review 套用一些規則，讓機器自己去學習，把「輸入」變成「輸出」，Given a large amount of data, the machine learns what to output (後半句沒看清楚)。 「在訓練機器學習之前，首先需要有人工學習（工人智慧）」，需要提供非常大量的資料和資訊才能讓機器去運算出預期中的輸出 f(x)。 人類的學習能力金字塔，知識建構，是從低階知識到高階知識（請想像底下是一個金字塔，有底層的 Low-order thinking skills 到高階的知識） Learning Pyramid (Bloom's Taxonomy, 2001) Create (Use information to create some thing new) Evaluate (Examine information and make judgments) Analyze (Take apart the known and identify relationships) Apply (Use information in a new but similiar situation)
Read more