臺(tái)大研究團(tuán)隊(duì)於2019年嵌入式系統(tǒng)領(lǐng)域頂尖國(guó)際會(huì)議榮獲最佳論文獎(jiǎng)

本校資訊工程學(xué)系暨網(wǎng)路多媒體研究所於嵌入式系統(tǒng)領(lǐng)域頂尖國(guó)際會(huì)議榮獲佳績(jī)！

本(108)年於美國(guó)紐約市舉辦之Embedded Systems Week (ESWEEK) 2019年度大會(huì)，本校郭大維教授所領(lǐng)導(dǎo)的產(chǎn)學(xué)研究團(tuán)隊(duì)之研究成果為嵌入式系統(tǒng)頂尖國(guó)際會(huì)議「ACM/IEEE 國(guó)際軟硬體協(xié)同設(shè)計(jì)與系統(tǒng)整合會(huì)議」ACM/IEEE International Conference on Hardware/Software Codesign and System Synthesis (CODES+ISSS)評(píng)審為年度最佳研究論文，並於由大會(huì)主席與最佳論文獎(jiǎng)遴選主席共同頒予最佳論文獎(jiǎng)狀。此為歷年來(lái)第一次由臺(tái)灣研究團(tuán)隊(duì)獲獎(jiǎng)。

本研究成果為臺(tái)大領(lǐng)導(dǎo)之中研院、旺宏電子等產(chǎn)學(xué)團(tuán)隊(duì)所共同研發(fā)的研究成果《Achieving Lossless Accuracy with Lossy Programming for Efficient Neural-Network Training on NVM-Based Systems》，並同時(shí)由大會(huì)通過(guò)並接受於國(guó)際頂尖嵌入式系統(tǒng)學(xué)術(shù)期刊ACM TECS (ACM Transactions on Embedded Computing Systems)?！窤CM/IEEE 國(guó)際軟硬體協(xié)同設(shè)計(jì)與系統(tǒng)整合會(huì)議」是由計(jì)算機(jī)協(xié)會(huì)ACM (Association for Computing Machinery) 以及國(guó)際電機(jī)與電子工程學(xué)會(huì)IEEE (Institute of Electrical and Electronics Engineers) 所共同主辦。此頂尖國(guó)際會(huì)議於1992年首辦，迄今為第28屆；從2005年起，此會(huì)議與其他國(guó)際頂尖會(huì)議ACM EMSOFT (International Conference on Embedded Software) 及CASES (International Conference on Compilers, Architecture, and Synthesis for Embedded Systems) 共同組織聯(lián)辦成為Embedded Systems Week (ESWEEK) ，也已成為嵌入式系統(tǒng)領(lǐng)域的年度盛事，每年會(huì)議期間皆吸引產(chǎn)學(xué)界高度關(guān)注。此次為28年來(lái)首次由臺(tái)灣團(tuán)隊(duì)奪得最佳論文獎(jiǎng)的殊榮，實(shí)屬難能可貴！

此篇由臺(tái)大團(tuán)隊(duì)所發(fā)表的得獎(jiǎng)?wù)撐?，藉由高效率地?xiě)入類(lèi)神經(jīng)網(wǎng)路資料，開(kāi)創(chuàng)了一種在非揮發(fā)性記憶體系統(tǒng)上訓(xùn)練類(lèi)神經(jīng)網(wǎng)路的新穎設(shè)計(jì)，有別於以往類(lèi)神經(jīng)網(wǎng)路設(shè)計(jì)無(wú)法在降低能耗及成本的同時(shí)又兼具精準(zhǔn)度以及執(zhí)行效能兩項(xiàng)優(yōu)點(diǎn)，此論文為第一篇提出能在降低能耗及成本的同時(shí)，又能「達(dá)到超大型類(lèi)神經(jīng)網(wǎng)路架構(gòu)化的精準(zhǔn)度優(yōu)勢(shì)」並「維持良好效能」的前瞻理論實(shí)務(wù)整合技術(shù)。

此研究指出類(lèi)神經(jīng)網(wǎng)路之訓(xùn)練對(duì)於主記憶體容量需求極高，使用現(xiàn)今DRAM所造成的能耗及價(jià)格成本過(guò)高，造成許多嚴(yán)重的不良影響；因此臺(tái)大團(tuán)隊(duì)提出以非揮發(fā)性記憶體，特別是相變化記憶體，藉由其高容量與高速讀取的特性，作為訓(xùn)練類(lèi)神經(jīng)網(wǎng)路的主記憶體。然而，非對(duì)稱(chēng)性寫(xiě)入的問(wèn)題將造成訓(xùn)練類(lèi)神經(jīng)網(wǎng)路之效率低落；為此，臺(tái)大團(tuán)隊(duì)除了利用非揮發(fā)性記憶體降低類(lèi)神經(jīng)網(wǎng)路訓(xùn)練的能耗與成本問(wèn)題之外，更旨在解決訓(xùn)練效率，並在不降低類(lèi)神經(jīng)網(wǎng)路準(zhǔn)確性的前提下，針對(duì)類(lèi)神經(jīng)網(wǎng)路的「資料流」及「資料內(nèi)容」進(jìn)行多項(xiàng)細(xì)微且深刻觀察，提出以損耗性寫(xiě)入指令結(jié)合類(lèi)神經(jīng)網(wǎng)路的近似計(jì)算，包含針對(duì)「中介資料」聰穎且低負(fù)擔(dān)地紀(jì)錄其資料持續(xù)時(shí)間並搭配使用損耗性寫(xiě)入指令，以及針對(duì)「權(quán)重值」與「偏差值」創(chuàng)新地將最高有效位元與最低有效位元分別搭配完整性寫(xiě)入指令與損耗性寫(xiě)入指令，最終再使用「緩衝行進(jìn)式平均損耗技術(shù)」配合類(lèi)神經(jīng)網(wǎng)路之讀取及更新週期，將資料高效寫(xiě)入記憶體內(nèi)且延長(zhǎng)記憶體使用壽命。

臺(tái)大團(tuán)隊(duì)之研究成果能夠在幾乎不改變現(xiàn)有架構(gòu)、技術(shù)的情況下，有效地解決當(dāng)今訓(xùn)練類(lèi)神經(jīng)網(wǎng)路所面臨的困境，此研究成果除了能夠啟發(fā)超大型類(lèi)神經(jīng)網(wǎng)路架構(gòu)之創(chuàng)新研究以外，亦能夠被應(yīng)用於類(lèi)神經(jīng)網(wǎng)路的推理階段。

此次能夠於嵌入式系統(tǒng)領(lǐng)域頂尖國(guó)際會(huì)議獲得最佳論文獎(jiǎng)，為跨校際、跨領(lǐng)域與跨產(chǎn)業(yè)的成功研究典範(fàn)，研究團(tuán)隊(duì)特此感謝臺(tái)大校方、科技部與旺宏電子長(zhǎng)期支持，亦足以證明集合產(chǎn)官學(xué)研之跨界合作更能夠展現(xiàn)驚人研發(fā)能量，不但為臺(tái)灣提升國(guó)際能見(jiàn)度，亦為臺(tái)灣產(chǎn)、學(xué)界提供更強(qiáng)勁研究動(dòng)能與突破進(jìn)展。