阿肥外商碼農阿肥啦！ 目前技術太多都說得太雲裡霧裡，但是截至目前為止針對o1其實OpenAI透露出來的技術細 節都不如過往得多，像之前GPT-4跟GPT-3.5過往還有完整的文件跟引用可以窺探，所以就 不做過份的臆測了。 以目前的一些文件上有提到的可以確定這次o1使用了CoT這絕對是一個Agent沒錯（跟過往 的單一模型不一樣），所以Response Time也會比過往再調用GPT-4o還要久。所謂的CoT本 質上就是一系列分解步驟，讓模型先分解問題再一步一步到最後結果，目前很多研究都發 現針對CoT再進行微調是有用的（ https://arxiv.org/abs/2305.14045 )，所以這種對問 題 拆解迭代算是一種拉高對模型能力上限的方法。 然後目前RL for LLM有很多新的方法，像KTO這類方法將模型去比較兩兩對話的問題轉換 成一個BSO(二元訊號優化）的問題，研究就發現到相比傳統的RLHF甚至DPO，KTO的效果能 起到很好的Regularization（正規化）作用，對比DPO有時候還會過擬和、難以收束優化 不易訓練等問題，KTO可以讓收集數據更簡單（只要收集正負樣本）而且效果也不差。 另外就是GPT-2 guidance 的方法也算是這幾年比較重要的研究，當前包含谷歌 Deepmind 也發現通過不同種類的LLM不論大小其實也都有對主模型起到類蒸餾的效果，結果也是會 比你單做SFT或RLFH還要好，不過如果是同一個模型重複迭代就有很高的機會發生Model C ollapse 的問題，這可以從統計學上做很好的解釋，詳細有興趣的就自己去看Paper。 以當前來說，我不太認為o1對業界有掀起很高的技術壁壘，反而從這次OpenAI一反常態的 保守有可能推測僅是對現有技術的組合拳。這有可能顯示單一LLM模型這樣訓練下逼近上 限的事實（每家模型大廠可能最後表現都不會差異到哪裡去）。 以上 -- ※ 發信站: 批踢踢實業坊(pttweb.org.tw), 來自: 49.216.223.33 (臺灣) ※ 文章網址: https://pttweb.org.tw/Tech_Job/M.1726707601.A.130

推 abc12812 : 你這樣講 感覺AI泡沫就快爆了09/19 09:16

推 ayianayian : AI軟體有了，但是對應的硬體還在孵 09/19 09:25

推 nckuff : 跨某 有沒有外行人也能聽得懂的講法 09/19 10:03

→ nckuff : 所以還是跌代逼近嗎 那思考一說又從何而來09/19 10:04

→ DrizztMon : AI不會泡沫 但不要過度預估LLM上限 09/19 10:11

→ Izangel : 看Claude多久推出競品就知道有沒有壁壘 09/19 10:36

推 jack529 : https://reurl.cc/4dbO0V 09/19 13:10

→ jack529 : 不錯了啦 比起4o 智能上提升不少 09/19 13:11

推 OSDim : 怎麼好像每個版都有一個阿肥==09/19 13:47

推 y800122155 : 說穿了o1就是自己做了prompt engineer 的工作，但這 09/19 14:24

→ y800122155 : 並不代表能推論出各家模型最終能力都差不多吧？只能 09/19 14:24

→ y800122155 : 說prompt engineer 跟一般使用者用起來的效果差異會09/19 14:24

→ y800122155 : 變小吧09/19 14:24

推 yutaka28 : 這樣假如沒甚麼技術壁壘，也只代表普通人技能更....09/19 15:51

推 strlen : 谷歌的壁壘就是自己啊 看那個生圖AI還不敢開放 笑死 09/19 22:49

推 create8 : 幹，感謝分享，雖然我看不懂，但我知道 ai 真的比 09/20 12:09

→ create8 : 我強了….. 09/20 12:09

推 aria0520 : o1根本沒壁壘 deepmind也提了類似概念 09/20 15:53

→ aria0520 : 老實說AI研發能力我還是看好谷歌 09/20 15:54

→ aria0520 : scale on infer不是本質上的prompt engineer 09/20 15:54

→ aria0520 : 在訓練時就內嵌在token間cot了 09/20 15:54

→ aria0520 : 但現在各巨頭都已經在搞這個 openai見不妙先佔高地 09/20 15:55