Microsoftの自然言語モデル「DeBERTa」、ベンチマークで人間を上回る記録を達成：SuperGLUEベンチマークランキングで首位に
Microsoftが最近アップデートした自然言語モデル「DeBERTa」が、自然言語理解（NLU）モデルを評価するベンチマーク「SuperGLUE」で、人間を上回る記録を達成した。今後は「Bing」「Microsoft 365」「Dynamics 365」「Azure Cognitive Services」といったMicrosoft製品をサポートする他、DeBERTaのソースコードも公開する。
Microsoftは2021年1月6日（米国時間）、最近アップデートした事前トレーニング済み自然言語モデル「DeBERTa」（Decoding-enhanced BERT with disentangled attention）が、自然言語理解（NLU）モデルを評価する高度なベンチマーク「SuperGLUE」で、人間を上回る記録を達成したと報告した。
NLUはAIの目標として最も古いものの一つであり、SuperGLUEは現在、NLUモデルを評価するための最も先進的なベンチマークだ。SuperGLUEは質問応答や自然言語推論、共参照解決、語義曖昧性解消など、幅広いNLUタスクからなるテストだ。
SuperGLUEのスコアは複数のテストから算出される。例えば上図にある因果推論タスク（COPA）はこのようなテストだ。「子供が病気に免疫ができた」という前提と、「何が原因でこの病気になったのか」という質問が与えられたとき、モデルは2つのもっともらしい候補から答えを選ぶように求められる。
- 候補1 彼は病気への暴露を避けた
- 候補2 彼は病気のためのワクチン接種を受けた
人間にとっては簡単な問題だが、AIモデルにとっては難しい。AIモデルが正解に達するには、前提と選択肢との間の因果関係を理解する必要があるからだ。
DeBERTaの性能はどの程度なのか
Microsoftは15億のパラメーターを持つ48のTransformerレイヤーで構成されたDeBERTaの大規模バージョンをトレーニングすることで、性能を高めた。その結果、単一のDeBERTaモデルがSuperGLUEのマクロ平均スコア（89.9）が初めて人間のパフォーマンス（89.8）を上回った。
アンサンブルDeBERTaモデルがSuperGLUEベンチマークランキングの首位となり、人間のベースラインのスコア（89.8）を上回る90.3を記録した。同モデルは、GLUEベンチマークのマクロ平均スコアのランキングでも、90.8で首位に立っている。
DeBERTaはどのようなモデルなのか
DeBERTaは、自己教師あり学習によって大量の生テキストコーポラで事前トレーニングされたTransformerベースの自然言語モデルだ。
関連記事
2021年の「AI／機械学習」はこうなる！ 5大予測
2020年は、自然言語処理（NLP）のTransformer技術に基づくBERT／GPT-3や、画像生成のディープフェイクが大注目となる一方で、倫理に関する問題がさまざまな方面でくすぶり続けた。2021年の「AI／機械学習」界わいはどう変わっていくのか？ 幾つかの情報源を参考に、5個の予測を行う。
もはやPoCばかりやっている場合ではない――企業が抱くAIへの誤解と課題
Deep Learningがブレークスルーとなった昨今の「第3次AIブーム」。2020年は、企業の「AI」活用において、ブームのままPoC（概念実証）で終わるのか、本番で稼働するシステムやサービスに適用できるのかの分水嶺（れい）となるだろう。その成否を分かつものは何なのだろうか。本特集では、現在の機械学習・Deep Learningにおけるさまざまな課題の中でも技術的なものを中心に整理し、その解決策としてAutoML（機械学習自動化）、MLOps（機械学習基盤）といった技術を解説。加えて、それらを活用している企業の事例を紹介する。初回は、日本ディープラーニング協会の理事に、2020年現在のAI活用における課題について聞いた。
各AI研究分野の立ち位置を示す「AIマップ」（人工知能学会の公開リソース）とは？
人工知能学会が公開している「AIマップβ」を紹介。4枚のAIマップの概要と使い方の例を示す。AIマップは、各AI研究分野の立ち位置を確認したり整理したりするのに役立つだろう。
関連リンク
Copyright © ITmedia, Inc. All Rights Reserved.