AI應(yīng)用實(shí)戰(zhàn)！產(chǎn)品出海如何用 ChatGPT 完成用戶調(diào)研？

在全球化市場(chǎng)中，用戶的聲音往往是產(chǎn)品和服務(wù)優(yōu)化的重要指引。對(duì)于以家居設(shè)計(jì)和 3D 渲染技術(shù)為核心的 Coohom 來(lái)說(shuō)，海外客戶的反饋更是理解多元化需求、提升用戶體驗(yàn)的關(guān)鍵。然而，面對(duì)來(lái)自不同文化、語(yǔ)言背景的海量評(píng)論，如何高效地進(jìn)行調(diào)研和分析，成為了 Coohom 面臨的重要挑戰(zhàn)。

幸運(yùn)的是，像 ChatGPT 這樣的人工智能工具，憑借其強(qiáng)大的自然語(yǔ)言處理能力，能夠幫助團(tuán)隊(duì)快速定性解析評(píng)論內(nèi)容，提煉出核心洞察，為產(chǎn)品優(yōu)化和市場(chǎng)拓展提供數(shù)據(jù)支持和戰(zhàn)略參考。這項(xiàng)技術(shù)不僅提升了調(diào)研效率，更為 Coohom 的全球化發(fā)展注入了創(chuàng)新動(dòng)力。

更多用研干貨：

一、如何獲取海外用戶評(píng)論 - SaaS 平臺(tái)評(píng)論的獲取

國(guó)外主流的 SaaS 平臺(tái)軟件測(cè)評(píng)主要有四個(gè)：G2, Capterra, Trustpilot, Software Advice。在這些基礎(chǔ)上，還有一些社交媒體中的評(píng)論可以瀏覽，如 Facebook，Youtube 評(píng)論，Reddit，Instagram 等。

然而，就信息量而言，社交媒體上的信息有的時(shí)候只是隨意抒發(fā)的言論，存在信息量少，信息嘈雜的特點(diǎn)。因此，如果想要系統(tǒng)的爬取分析，最好從上述提到的四個(gè)專業(yè)網(wǎng)站上進(jìn)行獲取。

這幾個(gè)網(wǎng)站，通常會(huì)要求用戶對(duì)對(duì)應(yīng)軟件進(jìn)行評(píng)分，對(duì)軟件撰寫(xiě)長(zhǎng)評(píng)，并且對(duì)軟件的優(yōu)缺點(diǎn)進(jìn)行分析。因此，查找這些網(wǎng)站的數(shù)據(jù)時(shí)，不但可以獲取評(píng)論，還可以收集多名用戶對(duì)于軟件的評(píng)分，獲取多維度的分析。

在本次對(duì)于 Coohom 海外用戶評(píng)論的調(diào)研中，筆者對(duì) Trustpilot 和 Software Advice 兩個(gè)網(wǎng)站的評(píng)論內(nèi)容進(jìn)行了爬取和分析，運(yùn)用了 Octparse 這款非代碼用戶友好的軟件。之所以選擇這兩個(gè)網(wǎng)站，是因?yàn)?G2 與 Capterra 有反爬蟲(chóng)機(jī)制，運(yùn)用 Octparse 無(wú)法從上面提取內(nèi)容。因此，只爬取了上述兩個(gè)網(wǎng)站。

*Trustpolite - Coohom 評(píng)分和評(píng)論。　

*Software Advice - Coohom 評(píng)分，評(píng)論，和優(yōu)缺點(diǎn)分析　

*Octparse - 網(wǎng)站評(píng)論爬取界面　

Octparse 爬取輸出的內(nèi)容，為包含用戶信息，評(píng)論時(shí)間點(diǎn)，評(píng)論網(wǎng)址，評(píng)論內(nèi)容等的 excel 表格。爬取時(shí)，由于代碼的重復(fù)獲取的因素，會(huì)有大量的 depulicated 評(píng)論。對(duì)于這部分評(píng)論的處理方式有兩種：

1. Octparse 有自動(dòng)去重復(fù)評(píng)論的機(jī)制，因此可以要求其自動(dòng)去除。
2. 但在自動(dòng)去除時(shí)，有些評(píng)論可能會(huì)識(shí)別錯(cuò)誤或者讀取不靈，所以請(qǐng)務(wù)必瀏覽一下。可以將 Octparse 提取出來(lái)的評(píng)論部分單獨(dú)復(fù)制進(jìn)一個(gè)新的 excel 表格中，靈活運(yùn)用 excel 的內(nèi)置功能查找重復(fù)項(xiàng)，然后進(jìn)行處理。

與此同時(shí)，還有一點(diǎn)需要注意，由于海外文化對(duì)于隱私保護(hù)及其敏感，因此，最好將原文件的評(píng)論部分單獨(dú)復(fù)制出來(lái)進(jìn)一個(gè)新的 excel 文件，再進(jìn)行分析。與此同時(shí)，源文件的其他內(nèi)容，最好銷(xiāo)毀，至少也是進(jìn)行加密處理，以防隱私泄露。在處理數(shù)據(jù)時(shí)，尤其是海外數(shù)據(jù)，保護(hù)隱私這一習(xí)慣應(yīng)當(dāng)作為肌肉記憶來(lái)進(jìn)行培養(yǎng)。

第一部分操作的產(chǎn)物，應(yīng)當(dāng)為一個(gè)或者幾個(gè) excel 表格 - 每個(gè)表格包含且只包含了對(duì)應(yīng)網(wǎng)站上爬取的評(píng)論內(nèi)容。

二、評(píng)論的初步分析 - 利用 ChatGPT 進(jìn)行主題獲取

在第一步評(píng)論獲取和去重完成之后，筆者獲得了 387 條有效評(píng)論。但該評(píng)論只是評(píng)論源文本，還未進(jìn)行主題分類(lèi)。這個(gè)時(shí)候第一步，是需要運(yùn)用 ChatGPT 對(duì)原文本進(jìn)行主題的粗提取。

*GPT 現(xiàn)有的模型　

圖示為 GPT 現(xiàn)有的 3 個(gè)模型：4o，o1 和 o1-mini。就這次分析的經(jīng)驗(yàn)來(lái)說(shuō)，4o 宛若一個(gè)智障，不但要多次返工還會(huì)瞎編，所以在不建議作為主力分析模型使用。o1 和 o1-mini 的文字歸納和推理能力尚可，因此可以在進(jìn)行評(píng)論主題分類(lèi)的時(shí)候使用。

這兩者中，o1 和 o1-mini 推理能力有所差別 - 就如名字所指示的那樣，o1-mini 在長(zhǎng)文本推理和歸納方面是 o1 的閹割版，并且文本處理?xiàng)l數(shù)也受限，因此，如果需要處理長(zhǎng)評(píng)或者復(fù)雜文本，o1 是首選，其次 o1-mini。除非在實(shí)在沒(méi)有辦法的情況下，不要用 4o，如果不得已要用，請(qǐng)務(wù)必校準(zhǔn)其輸出結(jié)果。

但是考慮到大模型的資源受限（筆者的 GPT 賬號(hào)是個(gè)人會(huì)員版），其中 o1 以及 o1-mini 都是有限次數(shù)使用，因此，需要將 4o，o1-mini 和 o1 搭配著使用，其中 o1 在核心推理步驟才使用，其余時(shí)間都是使用 4o 和 o1-mini。至于什么是核心推理步驟，下面會(huì)詳細(xì)說(shuō)明。當(dāng)然，如果后續(xù)人使用的是富裕的 pro 版，那就無(wú)腦 o1，因?yàn)橥评硇阅茏詈谩?/p>

源數(shù)據(jù)到手，就是 387 條亂序評(píng)論。這時(shí)候需要進(jìn)行主題的初步框定。筆者嘗試過(guò)將 387 條評(píng)論一次性輸入進(jìn) GPT（o1 模型）中進(jìn)行分析，但是得到的結(jié)果是：文本量過(guò)大，無(wú)法處理。因此，只能采取分批次處理策略，一次性輸入 20-30 條，然后對(duì)這些評(píng)論進(jìn)行主題分析，歸納出對(duì)應(yīng)主題；然后再次輸入下 20-30 條，填充進(jìn)現(xiàn)有主題，或者增添新主題，直到所有評(píng)論按批次處理完畢。

在前期主題提取的過(guò)程中使用的模式是 o1 - 因?yàn)樾枰獜臒o(wú)到有的創(chuàng)造主題，因此對(duì)于模型的推理能力要求更高；但是，當(dāng)筆者發(fā)現(xiàn)主題飽和出現(xiàn)之后，果斷將模型切換為 o1-mini - 因?yàn)檫@種情況下對(duì)于文字推理的能力要求出現(xiàn)降低，只需要在現(xiàn)有的主題框架下填充評(píng)論即可。

但是，由于 o1-mini 本身的推理能力限制，在該模型進(jìn)行推理完輸出評(píng)論后，務(wù)必人工校準(zhǔn)一下，因?yàn)?mini 偶爾會(huì)出現(xiàn)主題歸納不規(guī)范的情況。這時(shí)候，需要手動(dòng)校準(zhǔn) - 錯(cuò)誤概率不是很多，可能每 40-50 條評(píng)論，或者模棱兩可的評(píng)論會(huì)出現(xiàn)這樣的情況。

在主題提取的過(guò)程中，筆者從領(lǐng)導(dǎo)那里獲取了一個(gè)框架：需要區(qū)分正/負(fù)面評(píng)論。那在該大框架下，筆者又手動(dòng)調(diào)校了一個(gè)二級(jí)框架，設(shè)定為：

正面評(píng)論（P）　

主題一

主題二

主題...

負(fù)面評(píng)論（N）　

主題一

主題二

主題...

在完成這一步之后，接下來(lái)是訓(xùn)練人工智能。首先，就像筆者剛才所說(shuō)的那樣，非關(guān)鍵步驟不要使用 o1，因此，在這步，先使用 4o - 開(kāi)啟 GPT 一個(gè)新主題，第一個(gè) prompt，開(kāi)始介紹背景："我現(xiàn)在需要給 Coohom 這一設(shè)計(jì)工具進(jìn)行用戶評(píng)論的定性分析。接下來(lái)，我會(huì)給你輸入一個(gè)框架，你理解一下輸出給我你的理解。如果和我要求的一致，我會(huì)給你輸入新的指令。”

這時(shí)候，GPT 應(yīng)該給你一個(gè)繼續(xù)指令的回復(fù)。下一步，就是將框架輸入給它，然后看它的理解。我輸入給它框架后，它的答復(fù)如下：

很幸運(yùn)，它的回答基本與我想要的一致。那我現(xiàn)在告訴它：我現(xiàn)在會(huì)給你輸入評(píng)論，以 20 條為單位。這樣子，它會(huì)回答你準(zhǔn)備開(kāi)始接收。這個(gè)時(shí)候，就做好了 AI 定性分析環(huán)境的搭建。

這個(gè)時(shí)候開(kāi)始主題分析。在這種情況下，需要將模型切換為 o1，因?yàn)橐_(kāi)始復(fù)雜文字推理 - 進(jìn)行主題提取和創(chuàng)建。于此同時(shí)，在復(fù)制評(píng)論的過(guò)程中也有一個(gè)小細(xì)節(jié) - 從 excel 中直接復(fù)制過(guò)去的評(píng)論，是不帶句首序列點(diǎn)的。因此，GPT 帶讀取的過(guò)程中，可能會(huì)出現(xiàn)語(yǔ)句混淆，然后影響分析精度。

因此，excel 中復(fù)制評(píng)論過(guò)來(lái)，需要新開(kāi)一個(gè) word 處理一下，對(duì)每條評(píng)論進(jìn)行手動(dòng)標(biāo)序，并且人工校準(zhǔn)。這樣，GPT 讀取的評(píng)論才是精準(zhǔn)的，可以用來(lái)主題分析。

*未手動(dòng)標(biāo)號(hào)，直接從 excel 中復(fù)制粘貼的評(píng)論，會(huì)使得 GPT 的文本分析進(jìn)行混淆　

因此，在將 20 條評(píng)論進(jìn)行手動(dòng)標(biāo)號(hào)之后，我會(huì)先給它做一點(diǎn)準(zhǔn)備工作 - 將模型切換為 4o, 輸入這 20 條評(píng)論，然后跟他同步：“這是我要你分析的評(píng)論，你先記住，我稍后會(huì)給你指令”。等它形成記憶之后，再切換為 o1，輸入指令：”參考我最開(kāi)始教會(huì)給你的框架，首先區(qū)分正面和負(fù)面評(píng)論，輸出結(jié)果我們對(duì)齊。“當(dāng)結(jié)果輸出被分類(lèi)為正面評(píng)論和負(fù)面評(píng)論后，再次使用 o1 輸入指令：”在你之前分析的基礎(chǔ)上，我需要在正面評(píng)論（P-category）和負(fù)面評(píng)論（N-category）下對(duì)評(píng)論進(jìn)行子主題的提取。你分析這些評(píng)論，提取主題，然后將對(duì)應(yīng)評(píng)論放在相應(yīng)的主題下。不要分析單個(gè)詞語(yǔ)，要分析完整的句子上下文，然后打印這些完整的句子在主題下。“

這一步其實(shí)有三個(gè)要點(diǎn)：

1. 與 GPT 對(duì)齊評(píng)論是為了使得它形成記憶，方便后續(xù)分析進(jìn)行提取。
2. 分步式的輸入指令：雖然我說(shuō) o1 推理能力相對(duì)較強(qiáng)，但是如果它在同一步的指令過(guò)多，它也會(huì)智障化，不是瞎編就是漏掉這個(gè)漏掉那個(gè)，徒增工作量。因此分步式的操作有利于提高精度。并且，當(dāng)分步式的分析流程形成后，也可以 push GPT 打包這一部分操作過(guò)程，使得它形成 AI 版的定性分析 SOP，后續(xù)只需對(duì) SOP 包中的 prompt 進(jìn)行微調(diào)即可。
3. 如果不加下劃線那個(gè)要求，它默認(rèn)會(huì)根據(jù)單個(gè)詞語(yǔ)或者詞組的意思進(jìn)行主題分類(lèi)，這與人工分析中讀取上下文的分析習(xí)慣不符，也容易造成錯(cuò)誤。因此，這一部分指令要添加。

*GPT o1 模型根據(jù)評(píng)論所形成的主題　

當(dāng)前一步完成之后，GPT 中就應(yīng)該有了由 20 條評(píng)論形成的粗主題框架。在進(jìn)行下一步操作之前，可以將之前分步式操作形成的 SOP 創(chuàng)建一下。可以要求 GPT: 我剛才給你展示的一個(gè)工作流程。接下來(lái)，我會(huì)再次給你輸入 20 條評(píng)論，你按照上面教你的方法，先對(duì)評(píng)論進(jìn)行 P/N categories 的分類(lèi)，然后在把對(duì)應(yīng) category 下的評(píng)論放置在子評(píng)論的范圍內(nèi)；如果出現(xiàn)新主題，創(chuàng)建新主題并放置評(píng)論。我要求你輸出 P/N category 下創(chuàng)建的主題，然后每條主題下打印出詳細(xì)的評(píng)論內(nèi)容，并且 index 回原輸入的評(píng)論批次，標(biāo)明是評(píng)論中的第幾條。如果你學(xué)會(huì)了，回答 yes.

這么創(chuàng)建 prompt 有兩個(gè)原因：

1. push GPT 形成工作記憶 SOP，之后就可以直接扔給它評(píng)論輸出結(jié)果
2. 要求它打印出詳細(xì)的答案，適合分析完之后直接校驗(yàn)。在定性分析時(shí)，AI 對(duì)于上下文的讀取未必與我們理解的相同，故務(wù)必校驗(yàn)，且 GPT 會(huì)瞎編，要小心。

*教會(huì) GPT 新的工作流程后的產(chǎn)物　

在用這流程的 prompt 進(jìn)行每 20 條多輪迭代之后，窮盡所有評(píng)論，GPT 應(yīng)該會(huì)給你一組所有評(píng)論歸納出來(lái)，由 P/N category 分類(lèi)后的主題。這時(shí)候，需要將主題 copy 進(jìn)一個(gè) word 文檔中再進(jìn)行微調(diào)，因?yàn)橛械臅r(shí)候 GPT 給你的主題可能沒(méi)有按照業(yè)務(wù)想要的邏輯進(jìn)行拆分，那樣其實(shí)在針對(duì)性上會(huì)出現(xiàn)問(wèn)題。這個(gè)時(shí)候，就需要與業(yè)務(wù)或者領(lǐng)導(dǎo)進(jìn)行溝通，共同協(xié)助進(jìn)行主題拆分。在本次調(diào)研中，拆分后的主題如下：

正面評(píng)價(jià)主題

1. 渲染質(zhì)量與速度： 提供高質(zhì)量渲染效果，速度快，滿足高效設(shè)計(jì)需求。
2. 用戶友好性與易用性： 界面直觀、操作簡(jiǎn)單，適合新手和專業(yè)用戶，學(xué)習(xí)成本低。
3. 素材與模型庫(kù)：提供豐富的 3D 模型和素材庫(kù)，支持定制與更新，節(jié)省設(shè)計(jì)時(shí)間。
4. 工具功能豐富：提供多樣化設(shè)計(jì)工具，支持復(fù)雜建模和自定義設(shè)計(jì)需求。
5. 模板豐富：提供多種設(shè)計(jì)模板，簡(jiǎn)化創(chuàng)意設(shè)計(jì)流程，助力高效設(shè)計(jì)。
6. 設(shè)計(jì)與創(chuàng)意支持：支持創(chuàng)新設(shè)計(jì)，提供可視化和優(yōu)化設(shè)計(jì)呈現(xiàn)效果的功能。
7. 價(jià)格與價(jià)值：提供高性價(jià)比的功能與訂閱選項(xiàng)，滿足個(gè)人與小型企業(yè)需求。
8. 客戶支持與服務(wù)：良好的客戶服務(wù)與支持

負(fù)面評(píng)價(jià)主題

1. 價(jià)格與訂閱策略問(wèn)題：價(jià)格較高，訂閱續(xù)費(fèi)機(jī)制不透明，部分功能需額外收費(fèi)。
2. 素材與模型庫(kù)問(wèn)題：模型和素材不足，缺乏更新，導(dǎo)入導(dǎo)出兼容性差。
3. 界面復(fù)雜：用戶界面設(shè)計(jì)不合理，操作不直觀，難以快速上手。
4. 功能復(fù)雜：功能設(shè)置繁瑣，工具間過(guò)渡不流暢，操作步驟過(guò)多。
5. 渲染速度慢：渲染時(shí)間過(guò)長(zhǎng)，影響設(shè)計(jì)效率，尤其是在高分辨率或復(fù)雜項(xiàng)目中。
6. 渲染效果失真：渲染結(jié)果與預(yù)期不符，出現(xiàn)色差、光影效果不自然等問(wèn)題。
7. 技術(shù)與性能問(wèn)題：軟件運(yùn)行緩慢、卡頓，渲染時(shí)出現(xiàn)延遲或錯(cuò)誤，影響用戶體驗(yàn)。
8. 客戶支持與服務(wù)問(wèn)題：客服響應(yīng)慢，問(wèn)題解決不及時(shí)，缺乏詳細(xì)操作指導(dǎo)和幫助資源。

在 GPT 的原版分析中，P category 下“工具功能豐富”和“模板豐富”原本隸屬于一個(gè)主題下。但是領(lǐng)導(dǎo)根據(jù)對(duì)于業(yè)務(wù)的洞察力，要求筆者分為了兩個(gè)維度。同時(shí)，N category 下的“界面復(fù)雜”和“功能復(fù)雜”原本也是同一個(gè)主題，同樣按照相同的邏輯進(jìn)行了拆分。再進(jìn)行主題微調(diào)并于領(lǐng)導(dǎo)溝通過(guò)之后，就可以開(kāi)始最后一輪的定性分析，評(píng)論 solidate 了。

三、最后一輪定性分析

這一部分的起手勢(shì)，是先將模型調(diào)成 4o，然后將方才調(diào)整過(guò)的主題輸入 GPT: 這是一組主題框架，你先記住，我稍后輸入指令。當(dāng) 4o 回答記住之后，將模型調(diào)整為 o1，輸入指令：我接下來(lái)會(huì)給你 20 條評(píng)論，你根據(jù)整句上下文，將相應(yīng)評(píng)論放置在對(duì)應(yīng)主題下。打印出每個(gè)主題下的詳細(xì)評(píng)論內(nèi)容，以及每個(gè)主題的頻數(shù)，以及 P/N category 的總頻數(shù)。將詳細(xì)內(nèi)容打印給我，我需要校對(duì)。然后輸入標(biāo)好號(hào)的評(píng)論，GPT 輸出結(jié)果將如下：

每 20 條評(píng)論校對(duì)完畢之后，建議創(chuàng)建一個(gè) word 文檔保存輸出結(jié)果，因?yàn)?GPT 能力有限，當(dāng)上下文過(guò)多，特別是在 300 多條評(píng)論的情況下，其上下文索引會(huì)出錯(cuò)。因此，分階段保存，是預(yù)防這個(gè)風(fēng)險(xiǎn)的方法。后續(xù)如果需要統(tǒng)計(jì)頻數(shù)和百分比，手動(dòng)計(jì)算即可。

當(dāng)評(píng)論在新的主題下分類(lèi)完畢之后，操作者應(yīng)該就有了一個(gè)統(tǒng)計(jì)性文件：定性主題以及每個(gè)主題下的所有評(píng)論，以及相應(yīng)的頻數(shù)。這個(gè)時(shí)候稍作整理，創(chuàng)建一個(gè) excel 表格，可以將相關(guān)內(nèi)容全部整理在上面。

四、精選評(píng)論

當(dāng)每個(gè)主題下的評(píng)論全部整理完畢時(shí)，這個(gè)時(shí)候可以要求 GPT 進(jìn)行評(píng)論的精選。對(duì)于頻數(shù)多的主題，可以精選 10 條; 頻數(shù)少的，可以精選五條或者更少。為了達(dá)到此步驟的目的，需要先切換模型為 4o，輸入 prompt: 我接下來(lái)要給你輸入一組評(píng)論，你先記住，我稍后會(huì)告訴你怎么操作。

然后，將模型切換為 o1，輸入：從剛才的評(píng)論中精選出信息量最大的 10 條（信息量大的定義為評(píng)論者不但說(shuō)出了渲染好，還說(shuō)出了原因），每條索引到原評(píng)論的序號(hào)，然后打印出評(píng)論內(nèi)容，選取原因和中文翻譯。這樣的 prompt 輸出的內(nèi)容便于人工校準(zhǔn)，如果不滿意，還可以另?yè)Q。如果某個(gè)主題下評(píng)論內(nèi)容過(guò)多（大于 150 條）GPT 算力不夠的話，可以分批次處理精選，再優(yōu)中選優(yōu)，最后達(dá)到目標(biāo)。GPT 的輸出效果如下：

當(dāng)所有主題的評(píng)論都跑完畢的時(shí)候，就可以輸出整體文件內(nèi)容啦！

五、定性分析中寫(xiě) GPT prompt 的技巧

1. 避免一次性輸入過(guò)多內(nèi)容，分批次處理校準(zhǔn)
2. prompt 的內(nèi)容精確，標(biāo)準(zhǔn)化，比如規(guī)定處理要素和輸出內(nèi)容等（避免只處理詞組，輸出完整內(nèi)容）
3. prompt 忌一次性輸入太多要求，可以分步式要求 GPT 處理，確認(rèn)其學(xué)會(huì)后，打包為 SOP 為下面分析做準(zhǔn)備。
4. 重要分析步驟記得備份，當(dāng) GPT 涉及的上下文過(guò)多時(shí)，其可能會(huì)混淆。

以上

歡迎關(guān)注作者微信公眾號(hào)：「群核科技用戶體驗(yàn)設(shè)計(jì)」