歡迎來(lái)到令人興奮的 AI 應(yīng)用世界！在這門(mén)課程中，你將學(xué)習(xí)到創(chuàng)建一個(gè)能夠與用戶(hù)互動(dòng)、理解自然語(yǔ)言、處理音頻輸入，甚至分析圖像的真正智能應(yīng)用所需的技能和技術(shù)。

AI 工具和技術(shù)

你將獲得使用幾個(gè)知名 AI API 和技術(shù)的實(shí)際經(jīng)驗(yàn)。這些行業(yè)領(lǐng)先的平臺(tái)將作為我們 AI 應(yīng)用的構(gòu)建塊。我們將使用的一些技術(shù)包括：

OpenAI：

我們將深入探索 OpenAI 的 Chat Completion API，這是一個(gè)革命性的工具，允許我們的應(yīng)用與用戶(hù)進(jìn)行自然而動(dòng)態(tài)的對(duì)話。

Deepgram：

我們將利用 Deepgram 的語(yǔ)音識(shí)別 API 來(lái)轉(zhuǎn)錄音頻文件，允許我們無(wú)縫地將音頻分析集成到我們的應(yīng)用中。

Replicate：

我們將了解 Replicate，這是開(kāi)源 AI 中的一場(chǎng)變革。我們將使用它來(lái)利用一個(gè)名為 miniGPT 的圖像分析模型，使我們的應(yīng)用能夠理解圖像內(nèi)容并智能地回答有關(guān)它們的問(wèn)題。

Langchain：

我們將使用這項(xiàng)技術(shù)為我們的應(yīng)用賦予一種獨(dú)特的“記憶”。有了 Langchain，我們的應(yīng)用將能夠記住以前的互動(dòng)，并根據(jù)積累的知識(shí)智能地做出回應(yīng)。

我們將構(gòu)建什么？

現(xiàn)在，我們對(duì)將要學(xué)習(xí)的迷人 AI 技術(shù)感到興奮，讓我們來(lái)看一下我們將要構(gòu)建的內(nèi)容。

這是一個(gè)我們可以用于分析內(nèi)容 – 文本、音頻或圖像的應(yīng)用。

對(duì)于我們的文本分析功能，我們選取一段文本，然后向 AI 提問(wèn)，得到回應(yīng)。

它由幾個(gè)主要元素組成：

一個(gè)文本區(qū)域來(lái)添加我們的文本

一個(gè)輸入框和按鈕來(lái)提交問(wèn)題

一個(gè) div 來(lái)展示 AI 的回應(yīng)。

對(duì)于我們的音頻分析功能，我們將音頻文件轉(zhuǎn)錄為文本。當(dāng)我們有轉(zhuǎn)錄文本時(shí)，我們可以向 AI 提問(wèn)。首先將其轉(zhuǎn)錄為文本，讓我們可以使用相同的 AI 進(jìn)行文本分析 – AI 以文本形式分析音頻。

這個(gè)功能由 Transcriber 組件和一個(gè)與文本分析功能中的聊天窗口類(lèi)似的窗口組成。

我們還將添加功能，以便我們可以向 AI 提出多個(gè)問(wèn)題，以便我們可以繼續(xù)向其詢(xún)問(wèn)有關(guān)音頻文件的問(wèn)題。

最后，我們將構(gòu)建圖像分析功能。對(duì)于這個(gè)功能，我們將添加一個(gè)圖像 URL 到輸入中。然后我們可以向 AI 提問(wèn)有關(guān)圖像的問(wèn)題。

我們將添加功能，以便我們能夠提出多個(gè)問(wèn)題。我們將賦予我們的 AI 記憶，以便它可以記住以前的問(wèn)題和答案，保留整個(gè)對(duì)話的上下文！

課程內(nèi)容大綱：

課程介紹

OpenAI 的聊天 API

分析文本功能

字符串的標(biāo)記化

使用 Deepgram 的語(yǔ)音轉(zhuǎn)文字 API 進(jìn)行音頻轉(zhuǎn)錄

分析音頻功能

LangChain 介紹

分析圖像功能

Langchain 和 Replicate