開口說話、裝上“眼睛”，多模態ChatGPT來了。

周一，OpenAI在官網宣布，將在未來兩周內面向Plus和企業用戶推出ChatGPT的語音和圖像功能，上述功能允許用戶進行語音對話或向ChatGPT展示圖片。

(資料圖)

語音功能方面，ChatGPT可以用語音來回答問題和命令，與蘋果的Siri等C端個人助理形成直接競爭。此外，ChatGPT將有五種不同的語音供用戶選擇，同時支持語音音頻生成文本、將播客語音翻譯成其他語言等功能。

圖像功能方面，用戶提交圖片并詢問相關問題，ChatGPT可以根據圖片回答或給出建議。據悉，語音功能將在iOS和Android平臺推出，圖像功能將登陸所有平臺。

開口說話、5種不同語音

OpenAI升級了用戶與ChatGPT的交互方式，用戶不僅可以通過在文本框中輸入句子，還可以通過大聲說話來提示聊天機器人。

這一功能并不陌生，類似于與谷歌助手交談，只是OpenAI希望，由于底層技術的改進，答案會更好。目前，大多數虛擬助手都在依靠大模型進行重建，OpenAI 只是走在了前面。

OpenAI 于今年 5 月發布了 ChatGPT 應用程序，并已經提供了語音轉文本功能。增加語音回復功能可以讓用戶感覺在進行更人性化的對話。該公司希望這項新功能能鼓勵用戶隨時隨地使用其移動應用，并與谷歌的 Assistant、蘋果的 Siri或 亞馬遜的 Alexa 等個人助理產品形成直接的競爭。

OpenAI正在推出一種新的文本轉語音模型，并稱它可以“通過文本和幾秒鐘的語音樣本生成類似人類的音頻”，用戶可以從五個選項中選擇 ChatGPT 的聲音，但 OpenAI 似乎認為該模型的潛力遠不止于此。例如，OpenAI 正在與 Spotify 合作，將播客翻譯成其他語言，同時保持播客的聲音。合成語音有很多有趣的用途，OpenAI 可能會成為這一行業的重要組成部分。

裝上“眼睛”、看懂圖片

該公司還表示，付費用戶和企業用戶將可以使用圖片功能，圖片搜索有點像谷歌 Lens，只需拍下感興趣的照片，ChatGPT 就會找出問題所在，并做出相應的回應。

例如，用戶可以上傳一張粉色太陽鏡的圖片，并要求聊天機器人推薦與之搭配的服裝，或者提交一張數學問題的圖片，并請求幫助解決。

分析指出，自從 2022 年初推出 ChatGPT 以來，OpenAI 一直在努力為其機器人增加更多功能和能力，同時避免造成新的問題出現。通過這次更新，該公司試圖在這條界線上尋找平衡點，通過有意識地限制其新模型能做什么來實現這一目標。

但是這種方法并不是長久之計，隨著越來越多的人使用語音控制和圖像搜索，以及 ChatGPT 逐漸成為一個真正的多模態、實用的虛擬助手，要保持安全和合理的邊界會變得越來越困難。

ChatGPT要成為“超級助理”

這次升級無疑令ChatGPT距離“超級助理”更進了一步，同時與下游軟件的競爭也更加激烈。

此前文章指出，OpenAI首席執行官Sam Altman私下告訴開發者，公司希望將ChatGPT打造成“超級智能個人工作助理”，使其可以根據個人及工作需求執行多種任務，如按照用戶的風格起草郵件或文件，提供相關業務的最新信息。

分析指出，微軟和OpenAI均能向需要構建AI能力的 B 端客戶提供技術服務，兩者之間存在著直接的業務沖突；而從長期來看，如果OpenAI加速布局面向個人及企業的軟件，ChatGPT未來很有可能將重塑C端應用生態，或許兩者的“關系破裂”是早晚的事情。

關鍵詞：