複数の機械学習モデルや入力データの組み合わせで構成される機械学習システムについて、これに用いる機械学習モデルと入力データの多様性が、どのように出力の信頼性に影響するかを評価し、適切なシステムの構成案を探索するための理論モデルを構築しました。
自動運転や医療画像診断などに用いられる機械学習システムでは、信頼性や安全性の高い出力が求められます。そのようなシステムの設計の一つに、Nバージョン機械学習システムがあります。このシステムでは、複数の機械学習モデルや入力データを組み合わせることにより、機械学習モデルの推論エラーがシステムの最終出力に直結することを抑止します。しかしながら、これまで、機械学習モデルや入力データの多様性が出力の信頼性と関係していることは経験的に分かっていましたが、それを説明できる理論的なモデルはありませんでした。
本研究では、機械学習モデルの推論エラーに関して、機械学習モデルの多様性と入力データの多様性を指標化し、これに基づいて機械学習システムの出力の信頼性を評価する理論的モデルを構築しました。これにより、一般的に想定される状況においては、機械学習モデルの多様性と入力データの多様性の双方を生かす構成方法が最も安定的に信頼性を向上できることが示されました。
実際のシステム設計においては、複数の推論処理を実行する際の付随作業（オーバーヘッド）やコストも問題になります。今後さらに、Nバージョン機械学習システムの高信頼化を、より低コスト・省電力・小オーバーヘッドで実現する方式について、理論および実装の両面から研究開発を進める予定です。
PDF資料
プレスリリース
研究代表者
筑波大学システム情報系
町田 文雄 准教授
掲載論文
【題名】 Using Diversities to Model the Reliability of Two-version Machine Learning Systems
（多様性を用いた2バージョン機械学習システムの信頼性のモデル化） 【掲載誌】 IEEE Transactions on Emerging Topics in Computing 【DOI】 10.1109/TETC.2023.3322563