Awesome XAI
XAIを扱う資料や関連プロジェクトをまとめたAwesomeリストです。
目次
論文
重要論文
分野とその重要な側面を理解するうえで役立つ、特に優れた論文です。全文を読む価値があります。
- Explanation in Artificial Intelligence: Insights from the Social Sciences - 説明に関する社会科学研究を概説する。主な知見は、(1) 説明は対比的、(2) 選択的、(3) 確率はおそらく重要ではない、(4) 社会的、という4点で、いずれも説明が文脈依存であるという共通テーマに沿う。
- Sanity Checks for Saliency Maps - サリエンスマップを使用するすべての人に重要な読み物。この論文は、サリエンスマップが有用かどうかを確認するための2つの実験を提案している：(1) モデルパラメータのランダム化テストは、訓練済みと未訓練モデルのマップを比較する、(2) データのランダム化テストは、元のデータセットで訓練されたモデルと、ラベルをランダム化したデータセットで訓練されたモデルのマップを比較する。彼らは、「いくつかの広く導入されているサリエンス手法は、モデルが訓練されたデータやモデルパラメータに依存しない」と結論づけている。
サーベイ
- Explainable Deep Learning: A Field Guide for the Uninitiated - 深層学習に焦点を当てたXAIに関する詳細な説明。
評価
- Quantifying Explainability of Saliency Methods in Deep Neural Networks - 生成データセットを使った実験を通じて、異なるヒートマップベースのサリエンス手法がどのように性能を発揮するかを分析した。
XAI手法
- Ada-SISE - 説明のための適応型意味入力サンプリング。
- ALE - 累積局所効果プロット。
- ALIME - 自動エンコーダーに基づく局所解釈手法。
- Anchors - 高精度のモデルに依存しない説明。
- Auditing - ブラックボックスモデルの監視。
- BayLIME - ベイズ的局所解釈可能なモデルに依存しない説明。
- Break Down - 加算属性への分解プロット。
- CAM - クラス活性マッピング。
- CDT - ベイズ決定木アンサンブルの信頼性のある解釈。
- CICE - センター付きICEプロット。
- CMM - 複数モデルのメタ学習者による統合。
- Conj Rules - サンプリングとクエリを用いた訓練済みニューラルネットワークからのルール抽出
- CP - 寄与伝播
- DecText - 訓練されたニューラルネットワークから決定木を抽出
- DeepLIFT - 画像アノテーション用の深層ラベル特定特徴学習
- DTD - Deep Taylor分解
- ExplainD - 加法分類器における証拠の説明
- FIRM - 特徴重要度順位評価
- Fong, et. al. - 意味のある変動モデル
- G-REX - 遺伝アルゴリズムを用いたルール抽出
- Gibbons, et. al. - 決定木を用いたランダムフォレストの説明
- GoldenEye - ランダム化を用いた分類器の探索
- GPD - ガウス過程による決定
- GPDT - 決定木を進化させる遺伝プログラム
- GradCAM - 勾配重み付きクラス活性マッピング
- GradCAM++ - 勾配ベースの視覚説明の一般化
- Hara, et. al. - 木のアンサンブルを解釈する
- ICE - 個別条件期待値プロット
- IG - 統合勾配
- inTrees - inTreesによる木アンサンブルの解釈
- IOFP - 反復正規化特徴投影
- IP - 情報平面可視化
- KL-LIME - Kullback-Leibler投影ベースのLIME
- Krishnan, et. al. - 訓練されたニューラルネットワークから決定木を抽出
- Lei, et. al. - 生成器とエンコーダーを用いたニューラル予測の解釈
- LIME - 局所的に解釈可能なモデル無関係説明
- LOCO - 1変数を除外した方法
- LORE - 局所規則ベースの説明
- Lou, et. al. - ペア相互作用を持つ正確な解釈可能なモデル
- LRP - 層ごとの関連性伝播
- MCR - モデルクラスの依存性
- MES - モデル説明システム
- MFI - 非線形アルゴリズム向け特徴重要度評価
- NID - ニューラル解釈図
- OptiLIME - 最適化されたLIME
- PALM - 分区認識型ローカルモデル
- PDA - 予測差分分析：深層ニューラルネットワークの決定を可視化
- PDP - 部分依存プロット
- POIMs - SVM信号検出器の理解に用いる位置オリゴマー重要度マトリクス
- ProfWeight - 深層ネットワークからシンプルモデルへの情報転送
- Prospector - インタラクティブな部分依存診断
- QII - 定量的入力影響
- REFNE - 学習済みニューラルネットワーク・アンサンブルから記号規則を抽出
- RETAIN - 逆時系列注意モデル
- RISE - 説明用にランダムな入力サンプリング
- RxREN - ニューラルネットワークの逆工学による規則抽出
- SHAP - モデル予測の解釈に向けた統一的なアプローチ
- SIDU - 類似性、差異、および独自性をもつ入力の変動
- Simonynan, et. al - CNNの分類を可視化
- Singh, et. al - プログラムをブラックボックス説明として使う
- STA - シングルツリー近似を用いたモデルの解釈
- Strumbelj, et. al. - ゲーム理論を用いた個別分類の解釈
- SVM+P - サポートベクターマシンからルールを抽出
- TCAV - 概念活性化ベクトルを用いたテスト
- Tolomei, et. al. - 行動可能な特徴調整を用いた木の集合による解釈可能な予測
- Tree Metrics - 木の集合の意味を理解する
- TreeSHAP - 木の集合に共通する特徴属性
- TreeView - 特徴空間の分割
- TREPAN - 訓練されたネットワークの木構造表現を抽出
- TSP - 木空間プロトタイプ
- VBP - 可視化されたバックプロパゲーション
- VEC - 可変効果特性曲線
- VIN - 可変相互作用ネットワーク
- X-TREPAN - ANNSにおける理解可能な決定木の適応抽出
- Xu, et. al. - 見せ、注意、話す注意モデル
解釈可能なモデル
- Decision List - 分岐のない決定木に似たモデル
- Decision Trees - 木は解釈を提供する
- Explainable Boosting Machine - 学習された特徴ベクトルグラフに基づく予測方法
- k-Nearest Neighbors - 典型的な近傍ベース手法
- Linear Regression - 簡単にプロット可能で理解しやすい回帰
- Logistic Regression - 簡単にプロット可能で理解しやすい分類
- Naive Bayes - 条件確率を用いた分類は良好だが、推定は不十分
- RuleFit - 特徴間相互作用を含む決定規則をスパース線形モデルとして扱う
批評
- Attention is not Explanation - 著者は、注意が意味のある説明を提供しないという主張を支持するNLP実験を繰り返し実施し、異なる注意が類似したモデル出力を生成することを示している
- Attention is not —not— Explanation - 上記の論文に対する反論。著者は、複数の説明が有効であり、注意が一つの有効な説明を生成できると主張している。もしもそのような説明が存在しないなら、それは有効な説明ではない。
- Do Not Trust Additive Explanations - 著者は、加算説明（例：LIME、SHAP、Break Down）が特徴間相互作用を考慮していないため、信頼性が低いと主張している
- Please Stop Permuting Features An Explanation and Alternatives - 著者らは、特徴の並べ替えが特に特徴間の強い依存性がある場合に誤解を招く理由を示している。彼らはこれまでに述べられたいくつかの代替手法を提案している。
- Stop Explaining Black Box Machine Learning Models for High States Decisions and Use Interpretable Models Instead - 説明可能・解釈可能な機械学習の課題として、(1) 最適な論理モデル、(2) 最適なスパース・スコアリングシステム、(3) 解釈可能性の定義と分野別手法の開発を挙げる。また、多くの分野で解釈可能なモデルを利用できる可能性を論じる。
- The (Un)reliability of Saliency Methods - 著者らは、入力データに定数シフトを加えることで、重要性評価手法がどのようにアトリビューションを変化させるかを示している。彼らは、アトリビューション手法が入力不変性を満たすべきであると主張しており、アトリビューション手法が入力の変換に対してモデルの感度を正確に反映しているべきであると述べている。
リポジトリ
- EthicalML/xai - XAIに特化したテーブルデータ用のツールキット。多様なデータおよびモデル評価手法を実装している。
- MAIF/shapash - SHAPおよびLIMEに基づくフロントエンドの説明ツール。
- PAIR-code/what-if-tool - Tensorboardまたはノートブック向けのツールで、モデルの性能および公平性を調査できる。
- slundberg/shap - Shapley Additive Explanationsを用いるためのPythonモジュール。
動画
- Debate: Interpretability is necessary for ML - Rich CaruanaとPatrice Simardが支持し、Kilian WeinbergerとYann LeCunが反対する、解釈可能性が機械学習において必要であるかどうかに関する議論。
フォロー
以下の人物・団体の見解が、必ずしも本リストの見解と一致するわけではありません。:wink:
- The Institute for Ethical AI & Machine Learning - イギリスに所在する倫理的AI/ML研究センターで、XAIに関わる研究を頻繁に行っている。
- Tim Miller - XAI分野における最も影響力のある研究者の一人。
- Rich Caruana - Explainable Boosting Machinesの開発者。
ほかにフォローすべき人や団体はありますか？
コントリビューション
Contributions of any kind welcome, just follow the guidelines!