金選·核心觀點(diǎn)
行業(yè)觀點(diǎn)
2023年3月1日，OpenAI宣布開發(fā)者可通過API將ChatGPT和Wisper模型集成到他們的應(yīng)用程序和產(chǎn)品中。本次ChatGPT API接入的模型名為GPT-3.5-turbo，只需0.2美分/千 Tokens。本文嘗試測(cè)算訓(xùn)練和不同推理場(chǎng)景之下的實(shí)際成本；未來隨著模型壓縮的持續(xù)發(fā)展，推理成本可能進(jìn)一步降低，也有望大幅推動(dòng)生成式模型在各個(gè)場(chǎng)景的大規(guī)模商用。我們的成本估算思路是：計(jì)算AI模型在進(jìn)行訓(xùn)練與推理時(shí)所需的浮點(diǎn)運(yùn)算次數(shù)，與AI算力集群的平均算力 (以每秒浮點(diǎn)運(yùn)算次數(shù)計(jì)) 做比，以此估算AI模型的訓(xùn)練成本與推理成本。
在通用大模型訓(xùn)練方面，經(jīng)測(cè)算，使用云計(jì)算時(shí)ChatGPT的訓(xùn)練成本約為170萬美元，若自建AI算力中心進(jìn)行模型訓(xùn)練，訓(xùn)練成本有望降至約51萬美元；在大模型推理方面，使用云計(jì)算時(shí)的ChatGPT每處理1,000Tokens信息需花費(fèi)約0.177美分，自建AI算力中心有望將成本降至0.053美分。
不同應(yīng)用場(chǎng)景中AI模型面臨的任務(wù)復(fù)雜度有所不同，我們考慮模型緩存命中率、計(jì)算集群閑置率、模型壓縮等因素，綜合估算各典型場(chǎng)景下模型的推理成本：1）搜索引擎場(chǎng)景中，以新版Bing為例，完成一次搜索的成本約為1.73美分；2）辦公軟件融合ChatGPT后可支持文字生成、文字修改等功能，完成一次用戶需求的成本約為1.70美分；3）AI客服作為對(duì)話場(chǎng)景應(yīng)用，有望率先實(shí)現(xiàn)B端落地。經(jīng)測(cè)算，AI客服場(chǎng)景解決一次用戶需求的成本約為0.08美分。
未來隨著模型壓縮技術(shù)的持續(xù)發(fā)展，推理成本可能進(jìn)一步降低，也有望大幅推動(dòng)生成式模型在各個(gè)場(chǎng)景的大規(guī)模商用。
投資邏輯
我們認(rèn)為有海外場(chǎng)景的公司有可能率先與GPT-3.5-turbo進(jìn)行對(duì)接，建議關(guān)注福昕軟件、萬興科技等海外營(yíng)收占比較高的應(yīng)用公司。
風(fēng)險(xiǎn)提示
海外基礎(chǔ)軟硬件使用受限；應(yīng)用落地不及預(yù)期；行業(yè)競(jìng)爭(zhēng)加劇風(fēng)險(xiǎn)。
