|
點擊 526回復(fù) 0
原帖
2023-01-20 22:53
DeepMind 發(fā)布全新模型設(shè)計工具 Tracr:從可解釋邏輯反向搭建模型DeepMind 發(fā)布全新模型設(shè)計工具 Tracr:從可解釋邏輯反向搭建模型
「可解釋性」一直是深度學(xué)習(xí)難以繞過的難題,用戶無法理解模型的運行機(jī)制,也就無法放心地把模型應(yīng)用到實際場景中。
最近來自蘇黎世聯(lián)邦理工學(xué)院和 DeepMind 的研究人員提出了一種全新的模型構(gòu)造工具 Tracr,直接由人來根據(jù)「已知的機(jī)制」針對不同任務(wù)編寫代碼,然后由 Tracr 編譯成模型的權(quán)重,讓模型的解釋變得更輕松。
Tracr 的輸入為采用領(lǐng)域特定語言 RASP 編寫的代碼,輸出為標(biāo)準(zhǔn)的、僅包含解碼器的、類似 GPT 的 Transformer 結(jié)構(gòu)的權(quán)重。
在實驗部分,研究人員使用 Tracr 創(chuàng)建了一系列 ground truth Transformers,實現(xiàn)了包括計算 token 頻率、排序和 Dyck-n 括號檢查等程序。 |
粵公網(wǎng)安備 44030402000745號
客服微信