# Fileset

[2021_Aoyagi_表面と真空64_20180785.pdf](https://mdr.nims.go.jp/filesets/b25795eb-387e-4993-8a4a-5483263681c7/download)

## Creator

Satoka AOYAGI, Tomomi AKIYAMA, Natsumi SUZUKI, [Naoya MIYAUCHI](https://orcid.org/0000-0002-7716-3049), [Akiko N. ITAKURA](https://orcid.org/0000-0001-5783-141X)

## Rights

[Creative Commons BY-NC Attribution-NonCommercial 4.0 International](https://creativecommons.org/licenses/by-nc/4.0/)

## Other metadata

[鉄鋼試料中水素拡散評価を目指したマルチモーダルデータ解析](https://mdr.nims.go.jp/datasets/9f6c2e42-5fea-4e0b-9845-473ae21a6cbe)

## Fulltext

鉄鋼試料中水素拡散評価を目指したマルチモーダルデータ解析鉄鋼試料中水素拡散評価を目指したマルチモーダルデータ解析青柳里果 1, *・秋山智美 1・鈴木菜摘 1・宮内直弥 2・板倉明子 21 成蹊大学理工学部　〠 180–8633　東京都武蔵野市吉祥寺北町 3–3–12 物質・材料研究機構・表界面物理計測グループ　〠 305–0047　茨城県つくば市千現 1–2–1（2021 年 5 月 17日受付；2021 年 7 月 2 日掲載決定）Multimodal Data Analysis for Evaluating Hydrogen Diffusion in SteelSatoka AOYAGI1, *, Tomomi AKIYAMA1, Natsumi SUZUKI1, Naoya MIYAUCHI2 and Akiko N. ITAKURA21Faculty of Science and Technology, Seikei University, 3–3–1, Kichijoji-kitamachi, Musashino, Tokyo 180–86332Surface Physics and Characterization Group, National Institute for Materials Science, 1–2–1 Sengen, Tsukuba, Ibaraki 305–0047(Received May 17, 2021；Accepted July 2, 2021)Multimodal data analysis provides useful information that is not generally obtained from one of the analysismethods. In this study, time-course images of hydrogen distribution on a steel sample measured using electronstimulated desorption (ESD), scanning electron microscopy (SEM) images and electron backscatter diffraction (EBSD)images were fused to create a multimodal image data set. The fused multimodal images were analyzed by principalcomponent analysis, least absolute shrinkage and selection operator (LASSO) and autoencoder. Each method is one ofthe most popular methods in each field, multivariate analysis, sparse modeling, and unsupervised learning based onartificial neural networks, respectively. The results of PCA, LASSO and autoencoder were consistent, and each methodprovides different aspects of the sample data information.KEYWORDS : electron stimulated desorption (ESD), image registration, multimodal data, autoencoder1. は　じ　め　に金属材料の活用においては，金属材料内部に侵入した水素が材料の亀裂や破壊を引き起こす水素脆化が問題の一つとしてあげられるが，水素脆化については水素分布測定に課題が多いことからまだ十分な解明が進んでいない。近年，電子遷移誘起脱離法（desorption induced byelectronic transition, DIET）の手法の一つである電子衝撃脱離法（electron stimulated desorption, ESD）を用いて鉄鋼試料の水素分布測定可能なオペランド水素顕微鏡1, 2)が開発された。水素脆性を解明するには，鉄鋼試料中の水素の存在位置を，結晶構造やその方位と関連付けて可視化することが重要である。オペランド水素顕微鏡を用いると，金属試料表面での水素分布が電子顕微鏡画像とのフュージョンが可能な程度の高い分解能3)で得られる。走査型電子顕微鏡（SEM）や後方散乱電子回折（EBSD）からは，結晶構造や結晶方位がわかる。ここでは鉄鋼試料における水素分布と結晶構造の関係を調べるため，これらの複数手法から得られた測定データを融合して，マルチモーダルなデータとして解析することにより単独の測定手法からでは得られない情報取得を試みた研究例を紹介する。マルチモーダルデータの解析手法としては，主成分分析（principal component analysis, PCA）などの多変量解析，スパースモデリングの代表的な手法として注目されている LASSO（least absolute shrinkage andselection operator），人工ニューラルネットワークに基づいた教師なし手法である自己符号化器（autoencoder）を用いた。これらの手法の特徴についても簡単に述べる。2. 実験方法と数値解析方法2. 1 試料調整と測定モデル試料は冷間加工で転位を入れたステンレス* E-mail : aoyagi@st.seikei.ac.jp表面と真空 Vol. 64, No. 10, pp. 472–475, 2021特集「マイクロビームアナリシス技術部会特集号」https://doi.org/10.1380/vss.64.472研究紹介― ( 24 ) ―https://doi.org/10.1380/vss.64.472SUS304 鋼で，厚さ 100 µm の薄板状，測定領域は 330µm×520 µmである3)。鉄鋼試料背面から水素を供給し，試料を介して表面に透過した水素分布を ESD で測定1, 3, 4)した。水素分布の経時変化は，65 時間に渡ってESDで計測し，5 時間ごとの ESD 像 13 枚を得た。同一試料の ESD 測定部を含む箇所をオペランド顕微鏡に組み込まれた SEM（JAMP10，日本電子）で測定した。さらに，オーステナイトに着目し，FCC 構造について，[001]，[101]，[111]の三方位を EBSDで測定し，それぞれを赤，緑，青（RGB）の三原色の像として得た。2. 2 イメージデータフュージョンマルチモーダルデータのイメージフュージョン3)では，Matlab（Mathworks 社）のイメージレジストレーション（imregister）を用いて実施した。ESD で取得した 13 枚の水素分布図は，全時間を合計した図を代表として用いた。ESD 代表図を変化させずに，SEM 像を ESDに合わせて imregister で変換した。ESD 像と SEM 像とのイメージフュージョンは，二つの像を同解像度に変化し，各ピクセルにおける強度差の絶対値の合計で評価した。全く同じ図の場合は，各ピクセルにおける強度差は 0となり，異なるほど大きな値をとる。次に，ESD 図と融合した SEM 像を変化させずに，EBSDの代表図を SEM 像に合わせて imregisterで同様に変換し，他の EBSD 像も合わせて変換した。イメージフュージョンした測定図は，最終的に全て同じ解像度（256×256）とした。2. 3 マルチモーダルデータの数値解析イメージフュージョンした各測定図を 256×256＝65536 行の 1 列行列に変換し，ESDで取得した 5 時間から 65 時間までの 5 時間毎の水素分布図 13 枚に対して，SEM 像 1 枚を足し，65536×14の行列とした。さらに，EBSD 像 3 枚を足して，65536×17の行列データも用意した。測定ごとに得られる数値強度範囲が異なるため，標準化（auto scaling）して，主成分分析した。主成分分析は， Matlab 上で動 作する PLS Toolbox （EigenvectorResearch 社）を用いた。SEM 像と関連する ESD 像を L1正則化に基づいて LASSO で選出した。LASSO は，Python用のライブラリー group LASSO5～7)を用いた。自己符号化器は，Matlabの Neural Network Toolboxを用いて，Kullback-Leibler (KL) divergence および L2 正則化を課した Sparse Autoencoderで実施した。3. 結 果 と 考 察3. 1 主成分分析ESD 像と SEM 像を融合した 14 枚の画像（Fig. 1）について，数値解析した結果を説明する。Fig. 1に示す像から 65536×14 の行列を得て，主成分分析した結果，得られた主成分得点分布図を Fig. 2 に示す。主成分 1（PC1）は，元のデータの約 57％ の情報を集約している。ESD と SEM のフュージョンデータの PC1 の負荷量（loading）は，Table 1に示すように，ESD 像と SEM 像を表す全ての変数に対して正の値を取るため，PC1の得点は，全ての変数（13 の ESD 像と一つの SEM 像）の合計を示すが，SEM 像に対する負荷量は最も小さいため，PC1 への SEM 像の寄与は小さい。この点は，PC1は，ESDデータのみで主成分分析した PC1とほぼ等しいこととも合致する。一方 PC2 得点図は，ESDデータのみの主成分分析結果の PC2 得点図と同様ではあるが，負荷量が 2 番目に高い要素が SEM 像である。Fig. 3に矢印で示すように，PC2 得点分布図の左端に見られる白く明るい円形の分布が SEM 像と関連があることが示されている（Table 2）。SEM 像で白く明るく示されている部分はおもにオーステナイト構造に対応するが，PC2 得点図の左端の円形の明るい分布は，SEM 像には明確には示されていないFig. 1. ESD and SEM images after image data fusion byimage registration (Matlab).Fig. 2. PC score images of the ESD data and those of theimage fusion data of the 13 ESD images and the SEMimage.S. Aoyagi et al.― ( 25 ) ―473分布であり，ESDの初期の時間から見られる明るい円形上の分布に類似している。この円形の分布は，ESD像と SEM 像のフュージョンデータによる主成分分析結果の PC3 得点図では，暗い分布として表され，PC3 負荷量から SEM 像の寄与はないことが示されている。また，ESD 像のみの主成分分析結果では PC3とそれ以降の主成分からは有意義な特徴が引き出されていない。このように，複数の測定データを融合したマルチモーダルデータを解析することにより単独の手法からでは得られない知見が得られることが示された。この分布については，EBSD 像のデータをさらに加えることにより，fcc構造の特定の方位との関連が示唆されている8)。また，同じデータセットに対して，多変量スペクトル分解（multivariate curve resolusion, MCR）も適用して解析したが，主成分分析とほぼ同様の結果が得られた。3. 2 LASSOFig. 4に，SEM 像との関連が LASSOによって示唆された ESDによる水素分布図を示す。ESDによる観察像の 25～40 hrの水素分布図が選ばれているが，これらの図は，ESD 像と SEM 像のフュージョンデータの主成分分析結果の PC2 得点図で示された左端の円形の分布をはっきり示す時間帯でもある。ESD像からもオーステナイト構造に対応した分布が明瞭に見られるのは，観察終期の時間帯であるが，それらよりも中間の時間帯が関連が高い像として選ばれたことは興味深い。3. 3 Autoencoder最後に Autoencoder で，ESD と SEMのフュージョンデータを解析した結果を紹介する。Autoencoderは，主成分分析のように，データセットから特徴を抽出する手法であるが，設定によっては非線形データに対して柔軟な情報抽出が可能であることから，主成分分析からは得られない情報が得られる可能性がある。Fig. 5に，ESDデータのみと ESDと SEMのフュージョンデータについて，抽出する特徴サイズを 5とした場合の Autoencoderによる解析結果を Fig. 5と Table 3に示す。Table 1. PC loadings of PC 1 (57.16％).Loading Time (h)3.02E-01 60_653.01E-01 50_553.00E-01 45_502.99E-01 40_452.98E-01 55_602.97E-01 35_402.96E-01 30_352.84E-01 25_302.81E-01 20_252.62E-01 15_202.38E-01 10_152.15E-01 5_101.79E-01 0_59.89E-02 SEM imageFig. 3. The ring image in PC score, SEM and ESD images.Table 2. PC loadings of PC 2 and PC3.PC 2 (7.62％) PC 3 (6.29％)Loading Time (h) Loading Time (h)5.36E-01 0_5 8.36E-01 SEM image5.33E-01 SEM image 1.16E-01 55_604.05E-01 5_10 8.45E-02 45_502.18E-01 10_15 8.01E-02 60_651.45E-01 15_20 7.12E-02 50_552.18E-02 20_25 5.44E-02 40_45-6.54E-03 25_30 4.39E-02 35_40-6.05E-02 30_35 2.86E-02 30_35-8.21E-02 35_40 -3.48E-03 25_30-1.64E-01 40_45 -4.16E-02 20_25-1.82E-01 45_50 -1.44E-01 15_20-1.98E-01 50_55 -2.46E-01 10_15-2.01E-01 60_65 -2.68E-01 5_10-2.13E-01 55_60 -3.30E-01 0_5Fig. 4. LASSO suggested ESD images related to SEMimage.Vacuum and Surface Science Vol. 64, No. 10 (2021)― ( 26 ) ―474ESDデータのみの場合も，フュージョンデータの場合も主成分分析と同様に，SEM 像で示されたオーステナイト構造を表す特徴と，Fig. 3に示した円形の分布に対応する特徴が抽出されている。ただし，Fig. 5（j）で示される 5 番目の特徴（feature 5）に注目すると，円形の分布のみが明確に強調されている。主成分分析結果では，円形分布以外にも明るい分布が示されていたため，いくつかの特徴が混合した状態で特徴が抽出されていたが，Autoencoderの解析結果では，抽出される特徴がより限定された結果となった。Fig. 5（i）Feature 4 とFig. 5（j）Feature 5に注目すると，Feature 5は，明るい分布が注目する円形の分布であることから，Table 3のエンコーダー重みが正に大きい要素と関連が深く，Feature 4では暗い部分が注目する円形の分布であることから Table 3のエンコーダー重みが負に大きい要素と関連が深い。したがって，Feature 5は，初期の水素分布にのみ関連し，Feature 4は，初期の水素分布および SEM 像と関連することが示された。Feature 4の暗部と Feature 5の明部で示される円形の分布は完全には一致せず，Feature 5は Feature 4で示される円形分布の辺縁部分を示す。この辺縁は水素透過が早い時期から観測されやすい構造であり，円の内部はオーステナイトと関連の高い構造であることが示唆された。これらの数値解析結果は，水素の拡散速度のシミュレーション結果9)とも合わせて評価している。4. ま　　と　　めESD，SEM および EBSD の複数の測定データを融合させたマルチモーダルデータを数値解析することで，水素分布と特定の結晶構造との関係が示唆されるなど，単一の測定手法からでは得られない情報の抽出に成功した。文　　献1) N. Miyauchi, K. Hirata, Y. Murase, H.A. Sakaue, T.Yakabe, T. Gotoh, S. Takagi and A.N. Itakura : Scr.Mater. 144, 69 (2018).2) 宮内直弥, 岩澤智也, 村瀬義治, 髙木祥示, 板倉明子 :表面と真空, 62, 27, (2019).3) T. Akiyama, N. Miyauchi, A.N. Itakura, T. Yamagishiand S. Aoyagi : J. Vac. Sci. Technol., B 38, 034007(2020).4) N. Miyauchi, T. Iwasawa, Y. Murase, T. Yakabe, M.Kitajima, S. Takagi, T. Akiyama, S. Aoyagi and A.N.Itakura : Appl. Surf. Sci. 527, 146710 (2020).5) S. Bakin : “Adaptive regression and model selection indata mining problems”, Theses sis/Library (The Aus-tralian National University, 1999).6) M. Yuan and Y. Lin : J. R. Stat. Soc. B 68, 49 (2006).7) L. Meier, S. van de Geer and P. Bühlmann : J. R. Stat.Soc. B 70, 53 (2008).8) N. Miyauchi, T. Iwasawa, Y. Murase, T. Yakabe, M.Kitajima, S. Takagi, T. Akiyama, S. Aoyagi and A.N.Itakura : Appl. Surf. Sci. 527, 146710 (2020).9) A.N. Itakura, N. Miyauchi, Y. Murase, T. Yakabe, M.Kitajima and S. Aoyagi : Sci. Rep. 11, 8553 (2021).Fig. 5. Autoencoder results of ESD data (1) and those ofESD and SEM fusion data (2).Table 3. Encoder weights of features 4 and 5 of autoencoderresults of ESD and SEM fusion data.Feature 4 Feature 5Weight Time (h) Weight Time (h)0.317943 55_60 0.913257 0_50.269734 60_65 0.820351 5_100.266606 50_55 0.712612 10_150.200716 45_50 0.563166 15_200.058049 40_45 0.361629 20_250.025241 35_40 0.353044 50_55－0.05888 0_5 0.305837 60_65－0.08551 30_35 0.279972 35_40－0.09932 25_30 0.275918 45_50－0.18306 20_25 0.258749 55_60－0.29365 10_15 0.255854 30_35－0.84412 SEM image 0.216895 40_45－1.07063 15_20 0.186195 25_30－4.54849 5_10 －3.76375 SEM imageS. Aoyagi et al.― ( 27 ) ―475http://dx.doi.org/10.1016/j.scriptamat.2017.09.026http://dx.doi.org/10.1016/j.scriptamat.2017.09.026http://dx.doi.org/10.1380/vss.62.27http://dx.doi.org/10.1116/6.0000009http://dx.doi.org/10.1116/6.0000009http://dx.doi.org/10.1016/j.apsusc.2020.146710http://dx.doi.org/10.1111/j.1467-9868.2005.00532.xhttp://dx.doi.org/10.1111/j.1467-9868.2007.00627.xhttp://dx.doi.org/10.1111/j.1467-9868.2007.00627.xhttp://dx.doi.org/10.1016/j.apsusc.2020.146710http://dx.doi.org/10.1038/s41598-021-87727-5