作者 |

譯者 | 崔皓

審校 | 重樓

這篇文章介紹了如何將文本語音(TTS Text-to-)技術應用于,從而提高其用戶體驗。本文認為,通過聽到的解釋,用戶可以獲得更沉浸式和有趣的體驗,特別是在學習新的主題或探索不熟悉話題的時候。文章還詳細介紹了如何使用和的文本到語音庫(gTTS)將的輸出轉化為語音并大聲播放。最后,提出了一個完全無文本的工作流程的可能性,即通過語音到文本庫的方式給提出指令。

開篇

如果你點擊進入這篇文章,我相信你已經使用過一段時間了。在過去的幾個月里,我一直專注于如何從中獲得更好的輸出——所謂的提示工程——或者通過構建大型語言模型(LLM)進行自定義應用。然而,最近我一直在思考如何提升的用戶體驗。

雖然提供的網絡交互界面很好用,但經過幾次迭代后,它的表現并不那么優秀了??梢韵胂瘢绻覀兡苓M一步賦予聲音,讓像AI助手一樣大聲回應你,那是怎樣一種體驗。

在這篇文章中,我們將探討如何在輸出的基礎上添加“文本轉語音”(TTS)功能,從而提升的用戶體驗,這樣就能夠讓我們聽見,而不僅僅是閱讀它了。

讓我們給一個聲音,讓你的交互更具吸引力,更易于訪問,更方便!

文本轉語音技術

文本轉語音技術已經成為提升用戶體驗的工具。正如TTS(Text-to-)的字面意思,這項技術可以將任何輸入文本轉化為語音。如今,TTS技術在我們的日常生活中無處不在,其應用范圍橫跨各個領域。

例如,流行的虛擬助手如Siri、或 Home使用TTS來對用戶查詢提供口頭回應。這些設備將基于文本的信息轉化為合成語音,使用戶可以通過語音命令與它們交互并接收聽覺反饋。

流行的GPS導航系統如 Maps也是一個例子。TTS技術將書面的街道名稱和方向轉化為口頭提示,而不僅僅依賴視覺指示,使駕駛者在接收指導的同時可以專注于道路安全。

無障礙和TTS

將TTS集成到我們的日常生活中的一個顯著優點是它們對無障礙的積極影響。

文本到語音技術為視力障礙者打開了一扇新世界的大門。通過提供書面內容的聽覺輸出,TTS系統使視力障礙者能夠獨立獲取信息。

它使得無物理交互或打字就可以輕松進行對話,這對于運動障礙者來說非常有幫助。此外,TTS在對話自然性方面也表現優秀,對音頻學習者以及閱讀困難者更加友好。

和TTS

給添加一個文本到語音層可以使AI模型更像人類,易于建立更強的連接,使對話內容更有趣和對話過程更加愉快。當學習新的主題或探索不熟悉的話題時,聽到的解釋能夠帶來有趣的沉浸式體驗。這種方式結合文本交互和音頻解釋,打造了一個適應多種學習風格和偏好的全面學習環境。這可以導致增強的知識保留和對討論概念的更深入理解。

例如,當使用學習新語言時,的語音合成能力可以輸出所學語言的準確音頻,從而幫助學習者提高語言技能。這可以提高學習者的語言實踐能力,糾正口音,以及促進整體流利度的發展,提升學習體驗。

架構

在這篇文章中,我們將關注如何將的輸出轉化為語音,并將語音大聲播放。然而,我們也可以讓這個過程形成閉環,也就是用我們的聲音作為輸入給提供提示。

自制圖表。表示 “語音到文本 → API → 文本到語音” 循環

集成 TTS 功能

讓我們開始動手,將 API和一個TTS庫集成到一個筆記本中。

API

下面是用來調用 API的基本代碼結構:

os

. = "/path/to/key"

def (, = "gpt-3.5-"):

"""

This API with a

and the back.

"""

= [{ "role": "user", "": }]

= ..(

=,

=,

=0

.[0].[ ""]

= f """

"""

= f """

You will be with text by .

Can you the of the text in 1500 ?

\"\"\"{}\"\"\"

"""

# A call to

= ()

函數調用 API并給出一個提示。如果提示包含額外的用戶文本,它將用三引號與代碼的其余部分分開。

文本轉語音(gTTS)庫

為了將的輸出大聲播放出來,我們將使用開源的gTTs庫。

gTTS庫是文本到語音API的一個免費的包。它允許你將文本轉化為語音并生成音頻文件。庫的一些關鍵特性和功能包括:

文本到語音轉換:它允許你通過利用的文本到語音API的力量將文本轉化為語音。

語言和口音選擇:你可以為生成的語音指定語言和口音。它支持廣泛的語言和口音,如澳大利亞英語等。

音頻文件生成:該庫生成MP3格式的音頻文件,可以保存并播放。

其他音頻特性:它包括其他可能性,如slow選項可以更慢地閱讀輸出文本,或可以捕獲文本中的任何語言錯誤。

此外,它可以方便地集成到筆記本。

給一個聲音

將TTS層實現到是非常直接的。我們只需要將的響應傳遞給gTTS方法,然后將其保存為.mp3文件。最后,我們可以使用模塊來重復播放響應。

# the for tts

from gtts gTTS

# the to

# play the

= "Can you me the ?"

= ()

# the text and to the .

= gTTS(text=, lang=)

# the in a mp3 file

.save( ".mp3")

..( ".mp3")

通過使用這種實現,任何調用在我們的筆記本中都會如下所示:

自制筆記本示例截圖

總結

通過聽的方式獲取的回應,可以加強用戶的理解力。具有語音能力的將加強各個領域應用的可能性,如教育、無障礙技術、客戶支持和語言學習,增強了用戶體驗。通過使用簡單的API調用、gTTS和庫,人們可以通過大聲播放來自的輸出,從而提升的用戶體驗。正如文章中提到的,通過使用語音到文本庫大聲給提供指令,也可以實現無文本輸入的工作流程。

原文鏈接: