全世界都在討論China GPT,其實很多人根本連GPT是什麼都不知道。作為一個有著卡丹基梅隆大學電子計算機博士學位的教育博主,我做了一些功課,給大家普及一下China GPT的技術起源和這款AI聊天機器人背後的核心技術。
首先讓我們以一種易於理解的方式去拆解一下GPT這三個字。GPT的全稱是Generative Pre-Chained Transformer,中文翻譯是生成性預性鏈變換模型。
那我們一個一個字母來看。GPT的第一個字母即至Generative的首字母翻譯過來就是生成性。
所以我們稱China GPT是生成性人工智能,也就是所謂的生成性AI。在此之前的人工智能機器學習呢,在很大程度上都是侷限於觀察分析和分類內容。
一個經典的機器學習的問題呢,就是圖像識別。比如說讓機器去識別一隻貓,那程序呢,它會仔細的去搜索和分析大量的圖像,以尋找與貓相匹配的圖像。
而以GPT為代表的生成性AI是一項技術上的突破。它是可以去生成新內容,而不是僅限於分析現有的數據的一種AI。
比如它可以根據我們的需要去創建一個貓的圖像或者文本的描述。
那生成性AI模型呢,也可以用於去生成程序代碼、詩歌、文章和藝術品等等。
最新發布的Chad GPT呢,是專注於文本內容的生成。那未來應該也會有圖像、藝術等各種形式的生成性AI。
儘管應有領域不同,但是它的技術核心是類似的,也就是生成性的人工智能。
那GPT的第二個字母是P,P是Pretrained手字母,翻譯過來是預訓練。
它表示這個模型已經在某些有限的數據集上進行了訓練。
就像我們在被要求回答某個問題之前,我們會事先去閱讀一些相關的書籍一樣。
Chad GPT之所以能夠聽起來像人一樣來回答我們的問題,就是因為它已經接受過大量數據的訓練。
而這些數據呢是由我們真實的人來編寫的,也就是我們人類發布在互聯網上的2022年以前的互聯網上的內容。
那麼怎麼去進行預訓練呢?它使用的是兩項技術,一個叫監督學習,一個叫通過人類反饋強化學習。
所以在GPT發布之前呢,已經進行了大量的監督學習和通過人類反饋強化學習。
所以我們在使用它的時候,這個模型它能非常準確快速的去生成連貫,而且是引人入勝的,聽起來像人類的一個響應。
這就像是一個飽讀詩書功力深厚的學者,被要求現場寫文章,它能夠一氣呵成去完成一樣。
那GPT的第三個字母呢就是T,T呢是Transformer,如果你直接翻譯過來呢就是轉換器,或者是變形金剛,有一部電影變形金剛就叫Transformer。
但是如果你把這個Transformer翻譯成轉換器或者變形金剛,那就不對。
Transformer它真正的含義呢是一個非常非常底層的人工智能機器學習的一個算法架構,它是一種深度神經網絡。
最初這個架構是在2017年由谷歌的一個人工智能的團隊叫Google Brain,就是谷歌大腦研發發布的。
那這種模型它是使用一種叫自注意力的機制,就是Self Attention Mechanism。
它允許模型在進行預測的時候可以根據語言序列的任何位置,為輸入數據的不同部分賦予不同的權重,並支持處理更大的數據集。
那這三個字母拼在一起呢就是GPT。
GPT模型最初是在2018年由OpenAI作為GPT-1首次推出。
這些模型在2019年的時候繼續發展為GPT-2,2020年的時候發展為GPT-3,
那最近是在2022年,也就是去年,進一步發展為InstructGPT和ChatGPT。
GPT模型進化的另外一個進步還來自於底層硬件計算效率的提高。
這使得GPT-3能夠接受比GPT-2多得多的數據訓練,從而賦予它更多樣化的知識庫和執行更廣泛任務的能力。
那我說了半天你是不是還是一頭汙水呢?
那就對了,其實在認知裡面最可怕的就是不知道我們不知道什麼。
所以知道我們不知道什麼其實本身就已經是一種成長一種進步了,這也是我這個視頻的意義所在。
對於尖端科技我們要心存敬畏,我們也要感恩國內外一代代的科技工作者的辛勤勞動和付出,
讓我們有機會在有生之年來享用這樣一個華時代意義的科技產品。
我是矽谷學霸九令,關注我加入我的學霸粉絲團,我們一起來成就霸氣人生。