簡介Chat GPT

於2022年11月推出後兩個月Chat GPT活躍人數已達1億

自然語言生成模型

利用了截至2021年互聯網能找到的所有文本數據進行訓練,學習自然語言的語法、上文下理,從而生成自然語言文本。

數據參數量

GPT 3.5版本的數據庫參數量為1,750億。

對晶片的瘋狂需求

上一代的Chat GPT3.5,完成整個訓練過程,需要約3萬粒GPU 晶片,總成本約需港幣27

巨大的電能消耗

ChatGPT,訓練一次就要消耗90多萬度電,以2021年全港每個家庭平均每月用電量411度計算,相等於182個香港家庭一年的生活用電量。

極消耗人力資源

Chat GPT發展特別消耗人力資源,除需要科學家外,還包括大量的標注師。標注師的工作是AI訓練中較基礎的工種。訓練AI靠的就是海量的人工標注。

巨大的電能消耗

Chat GPT使用了自然語言模型,即是將自然語言轉化成數學概率去理解語言的規則及語法,並運用了達10多層的神經網絡架構來進行運算,極消耗算力。

(Visited 11 times, 1 visits today)

Leave A Comment

發佈留言必須填寫的電子郵件地址不會公開。 必填欄位標示為 *