在自然語言處理與計算機視覺任務中，AI模型的開發主要分為模型預訓練和模型微調兩個階段。預訓練是指預先訓練的一個模型或者指預先訓練模型的過程，通常需要大量的數據集做訓練。然而在實際情況中，我們很難擁有足夠大的數據量，基本也就幾百或者幾千張，不像ImageNet有120萬張圖片這樣的規模。
擁有的數據集不夠大，而又想使用很好的模型的話，很容易會造成過擬合。因此一般的操作是在一個大型的數據集上訓練一個模型，然后然后使用該模型作為類似任務的初始化或者特征提取器，對訓練參數進行微調，以便在最小的資源下達到最好的模型效果。
當然，實際任務的不同需求，模型的調參優化技巧就顯得極為重要。為此，惠普在智東西公開課開設惠普AI工作站專場，由英偉達特約。現階段推出兩講，特邀兩位Kaggle Grandmaster分別針對NLP和CV兩個領域，以Kaggle競賽項目為案例，為大家直播講解不同任務中的模型調參優化技巧。（偷偷地說一下，根據Kaggle平臺的數據顯示，目前只有198名Kaggle Grandmaster）
BERT模型是Google在2018年提出的一個面向NLP的無監督預訓練模型，在結構上是Transformer的編碼部分，每個block主要由多頭self-Attention、標準化(Norm)、殘差連接、Feed Fordawrd組成。BERT模型無疑是一個里程碑的模型，它證明了一個非常深的模型可以顯著提高NLP任務的準確率，并且這個模型的訓練可以是從無標記數據集中預訓練得到。
同時由于BERT模型是無監督的，因此在實際的預訓練過程中，只需要爬取或者使用開源數據集即可進行預訓練，極大的方便了BERT模型的遷移。而在模型微調階段，則需要針對具體的任務來進行模型微調，以便達到較好的效果。
1月15日晚8點，英偉達特約·惠普AI工作站專場第1講上線，由特邀講師、Kaggle Grandmaster吳遠皓參與。這一講定名為BERT模型調優公開課，主題為《BERT模型的調參優化與Kaggle競賽項目解析》。
Kaggle是一個非常流行的進行數據發掘和預測競賽的在線平臺，平臺上有著種類豐富的項目，同時想要在Kaggle競賽中取得獎金乃至取得好名次的難度也非常高。在本次的專場講解中，Kaggle大神吳遠皓將會以Kaggle競賽中的項目為例，如TensorFlow 2.0 Question Answering、Toxic Comment Classification Challenge等項目，向大家介紹傳統語言模型的局限性，以及目前非常火熱的Transformer模型和BERT模型，同時重點解析BERT模型在實際應用過程中的調參技巧和結構優化方案。
吳遠皓分別于2014年和2017年在北京清華大學取得學士和碩士學位，現在是一名算法工程師，主要關注自然語言處理領域，具有豐富的算法研發和落地經驗。他在2017年底初識Kaggle，已參加超過20場Kaggle競賽，獲得8枚金牌，并于2019年成為Kaggle Competitions Grandmaster，全球最高排名第36位。
專場信息
專場主題
《BERT模型的調參優化與Kaggle競賽項目解析》
專場提綱
1、傳統語言模型的局限性
2、從Transformer到BERT，大規模參數模型的結構解析
3、BERT模型的Pipeline構建及應用
4、在Kaggle競賽項目中的調參技巧與結構優化
特邀講師
吳遠皓，分別于2014年和2017年在北京清華大學取得學士和碩士學位。目前為算法工程師，主要關注自然語言處理領域，具有豐富的算法研發和落地經驗。在2017年底初識Kaggle，已參加超過20場Kaggle競賽，獲得8枚金牌，并于2019年成為Kaggle Competitions Grandmaster，全球最高排名第36位。
直播信息
直播時間：1月15日20:00
直播地點：智東西公開課小程序
專場議程
20:00-20:40：主講環節
20:40-20:45：惠普宣講環節
20:45-21:00：問答環節
入群方式
為了便于大家學習和交流，本次專場講解設有主講群，并將邀請講師入群。加入主講群，除了可以與講師直接請教和交流，還能提前獲得課件，且能結識更多的技術牛人。
歡迎添加小助手小語（ID：hilele20）進行申請，備注“姓名-公司/學校-職位/專業”的朋友將優先審核通過。
