基于深度学习的智能全局灵敏度分析

提出一种将深度学习与灵敏度分析结合的端到端方法, 对深度模型的结构和激活函数进行特殊设计以适应后续灵敏度的计算,深度模型训练的同时对保存的权重信息进行反向传播计算灵敏度.在波士顿房价数据集、航迹融合数据集和G函数上的实验结果表明,所提方法相比于Sobol’法等经典方法在参数分布不均匀时准确性更高, 具备更强的鲁棒性, 相比于使用传统神经网络的方法准确性更高.此外,通过实验验证了基于深度学习模型的样本参数灵敏度可以优化模型的输出结果.

关键词： 卷积神经网络; Inception模块; 灵敏度分析; Sobol’ 方法; 非线性系统分析; 深度学习

Abstract

This paper proposes an end-to-end method that combines deep learning and sensitivity analysis, which can perform gradient back propagation calculation sensitivity on the saved weight information while training the model. The structure and activation function of the depth model are specially designed to adapt to the subsequent sensitivity calculation. The experimental results conducted on a Boston house prices dataset, a track information fusion dataset, and the G function show that the proposed method is more accurate than classical methods such as Sobol’ method when the parameter distribution is uneven, and has a stronger robustness. Compared with the traditional neural network method, the accuracy of the proposed method is higher. The experiment proves that the sample parameter sensitivity obtained by the deep learning model can be used to optimize the model output.

Keywords： convolutional neural network; Inception module; sensitivity analysis; Sobol’ method; nonlinear system analysis; deep learning

PDF (1418KB) 元数据多维度评价相关文章导出 EndNote| Ris| Bibtex 收藏本文

本文引用格式

吴庶宸, 戚宗锋, 李建勋. 基于深度学习的智能全局灵敏度分析[J]. 上海交通大学学报, 2022, 56(7): 840-849 doi:10.16183/j.cnki.jsjtu.2021.191

WU Shuchen, QI Zongfeng, LI Jianxun. Intelligent Global Sensitivity Analysis Based on Deep Learning[J]. Journal of Shanghai Jiaotong University, 2022, 56(7): 840-849 doi:10.16183/j.cnki.jsjtu.2021.191

灵敏度分析根据输入参数对输出影响的大小来评估模型输入参数的重要性.通过研究灵敏度分析结果,研究员可以将重要性较小的输入因素设为定值或者直接去掉, 大幅减少模型和问题的复杂性;研究员还可以通过灵敏度结果,优先利用有限的资源来改进重要性较大的输入因素, 有针对性地提升模型表现,并得到针对模型输出的归因分析结果^[1].

灵敏度分析包括全局灵敏度分析和局部灵敏度分析.其中, 局部灵敏度分析实现简单、计算量少, 但只能反映局部点的单项不确定因素的灵敏度信息, 一般适用于线性模型^{[ 2]}.全局灵敏度分析方法可以反映不确定因素在整个变化空间内对输出的影响, 适用于非线性、非单调的复杂系统^{[ 3- 4]}.

Sobol’ 法是一种基于方差的全局灵敏度计算方法, 其将系统输出方差分解为由各输入变量所决定的方差之和, 从而定量分析输入变量对系统输出的影响^{[ 5]}.文献[ 6]对比分析了Sobol’法和其他全局灵敏度分析法,发现Sobol’法是评价集总式系统单个参数灵敏度和多参数相互作用灵敏度的最有效方法之一.但是, Sobol’全局灵敏度分析法需要另外构建系统模型, 因此灵敏度的计算精度和准确性很大程度上受到系统模型的影响.由于Sobol’法的计算核心是Monte Carlo方法^{[ 6]}, 假设参数在定义域内均匀分布, 这导致Sobol’ 法的局限性很强,定义区间如果受到脏数据或者离散点的影响, 准确率将大大下降, 在实际问题中平均分布的假设很难满足, 计算准确性难以保证, 并且无法处理未知模型^{[ 7- 8]}.文献[ 9]在Sobol’法的基础上提出使用多维Fourier变换来降低计算成本的Fourier幅度灵敏度检验(FAST)法. 文献[ 10]提出了一种结合FAST和随机平衡设计的方法.文献[ 11]对这些方法进行了整合和改进.但是这些方法并没有从根本上解决Sobol’ 法存在的问题,计算量依然很大且有和Sobol’法一样的局限和缺点.文献[ 12- 13]提出基于人工神经网络的灵敏度分析方法,通过把人工神经网络与灵敏度分析结合,计算不同气象条件下蒸发过程的灵敏度.文献[ 14]提出使用神经网络结合数据处理(GMDH)组合方法计算Sobol’灵敏度.使用神经网络在解决复杂非线性系统的模拟问题的同时,计算出系统全局灵敏度的方法在当下得到了比较多的关注, 由于不需Monte Carlo 采样, 这种方法计算效率更高.但是传统神经网络本身存在训练参数太多、无法提取高维深度相关特征和局部特征以及网络层数不宜过深的问题, 而且传统神经网络在建模的时候并没有考虑后续求灵敏度这一步骤,二者存在割裂,导致求得的灵敏度区分度低,该方法实现效果并不理想.

针对上述问题,将深度学习方法引入全局灵敏度的计算中, 利用深度学习方法对交叉特征的提取能力同时提升模型的表现和全局灵敏度分析的准确性,创新性地提出SInception-卷积神经网络(CNN)模型.该模型的创新点包括:① 通过针对灵敏度分析设计的特征打散机制和SInception网络结构增加模型的局部特征组合能力;② 提出串行修正线性单元(CReLU)激活函数增加灵敏度计算结果的稀疏性;③ 在训练深度学习网络时额外引入L1正则化,以增加网络参数的稀疏性^{[ 15]},提升后续灵敏度计算的区分度和准确性.考虑到研究者多希望利用样本灵敏度有计划、有效率地调节模型输出, 所以提出利用训练好的深度学习模型求得每个样本的参数灵敏度,建立系统输出与输入参数的近似函数关系方程以优化系统输出.在Kaggle波士顿房价数据集、工业航迹融合评估数据集和G函数3个公开数据集中进行测试并与Sobol’ 法和传统神经网络法对比, 证明了所提方法的有效性和鲁棒性,得到了准确性指标.

1 Sobol’法

Sobol’法基于Monte Carlo抽样技术和模型分解思想,能够定量计算系统各输入参数的1阶灵敏度和高阶灵敏度以及总灵敏度^{[ 16]}.假设模型可以表示为

(1)Y=f(X)=f(x₁, x₂, …, x _k)

式中:Y为模型输出;X={x₁, x₂, …, x_k}为输入参数;k为模型输入参数个数.Sobol’法将函数f(X)分解为单个参数或几个参数相互结合的子项之和.设各参数的空间域为Ω∈[0, 1], 则有

(2)f(x₁, x₂, …, x_k)=f₀+

\overset{k}{\sum_{i = 1}}

f_i(x_i)+

\sum_{1 \leq i < j \leq k}

f_ij(x_i, x_j)+…+f_{1, 2, …, k}(x₁, x₂, …, x _k)

式中:f_i, f_ij, f_{1, 2,…,k}为分解后的子项函数,如果输入参数独立,且每项按0均值选择、平方可积,那么式中f₀为常量,等于输出的期望值.Sobol证明上式的分解唯一且相互正交,可以通过多重积分求得^{[ 16]}:

(3)f₀=∫f(x) dx

(4)f_i(x_i)=∫f(x)

\prod_{s \neq i}

dx_s-f₀

(5)f_ij(x_i, x_j)=∫f(x)

\prod_{s \neq i, j}

dx_s-f₀-f_i(x_i)-f_j(x_j)

用上述方法可以求出所有项.f(X)的总方差为

(6)D=∫f²(x)dx-

f_{0}^{2}

其子项方差可以通过f(x)的每一子项计算得出:

(7)

D_{i_{1}, i_{2}, \dots, i_{s}}

=∬…∫

f_{i_{1}, i_{2}, \dots, i_{s}}^{2}

(

x_{i_{1}}

x_{i_{2}}

, …,

x_{i_{s}}

x_{i_{1}}

x_{i_{2}}

…d

x_{i_{s}}

式中:1≤i₁<…<i_s≤k,s=1, 2, …k,由于f_i, f_ij, f_{1, 2,…,k} 子项相互正交,对式(2)两边平方,并移项合并可得到下式:

(8)D=

\overset{k}{\sum_{i = 1}}

D_i+

\sum_{i < j}

D_ij+

\sum_{i < j < l}

D_ijl+…+D_{1, 2, …, k}

通过方差比可以求得Sobol’灵敏度为

(9)

S_{i_{1}, i_{2}, \dots, i_{s}}

\frac{D_{i_{1}, i_{2}, \dots, i_{s}}}{D}

当s=i时,计算结果为参数x_i的1阶灵敏度系数,表示x_i对输出的主要影响^{[ 4]}.

在实际工程中,系统模型函数f(X)往往难以获得,Sobol’法利用Monte Carlo法的思想,通过采样并利用估算式求积分.具体估算式如下式所示:

(10)

\hat{D}

\frac{1}{2 (c - 1)} \overset{2 c}{\sum_{M = 1}}

f²(

x_{M}^{1,2}

{\hat{f}}_{0}^{2}

(11)

{\hat{D}}_{i}

\frac{1}{c - 1} \overset{c}{\sum_{M = 1}}

X_{(~ i) M}^{1}

x_{i M}^{1}

)f(

X_{(~ i) M}^{2}

x_{i M}^{1}

{\hat{f}}_{0}^{2}

式中:“^”表示此变量为估计值;c为采样个数;X₍_~i₎_M=[x₁_M x₂_M … x₍_i_-1)_M x₍_i₊₁₎_M …];x_M为第M个采样点;上标1, 2为不同采样组数.

Sobol’法有十分明显的缺点,当模型输入参数个数为k时,每个参数都需要计算2^k个Monte Carlo积分,当模型较大、参数较多时,参数分布不平均导致需要的采样次数较多,Sobol’法的计算量十分庞大.由于Sobol’法求得的值为基于采样的估计值,所以求得的灵敏度精度在很大程度上受到采样精度和样本数量的影响,尤其在模型样本数量较小时, Sobol’法无法取得理想效果^{[ 10]}.

2 基于SInception-CNN的特征提取和全局灵敏度分析

2.1 SInception-CNN模型

SInception-CNN与传统CNN一样包含卷积层、池化层和全连接层3种模块.卷积层通过不同的核函数实现对输入特征的提取;池化层的作用是减少维度,对特征进行压缩并提取主要特征;全连接层进行最终的特征组合.本文提出通过打散特征的方法,将输入特征组合为不同的输入特征矩阵,通过这种方法把结构化的数据转换为“图”,从而为不同特征组合在一起输入同一个卷积核提供了机会.一个样本的处理过程如图1所示.其中:q为一个大小为2×2的卷积核提取局部特征后进行非线性变换的函数.

图1

新窗口打开| 下载原图ZIP| 生成PPT

图1 SInception-CNN 中数据的处理过程

Fig.1 Data processing in SInception-CNN

神经网络(NN)作为全连接层受限于不能独立处理局部特征,CNN的卷积核受限于只能处理输入参数周围空间的局部特征^{[ 17]}.对结构化数据的回归问题和灵敏度分析问题来说,考虑特征间的相互作用十分重要,通过引入这种打散输入样本的方式,引入了特征的多种邻居组合,为后面的CNN卷积核带来多种组合的可能,引入更多特征间的相互作用.

SInception-CNN参考了文献[ 18]的并行卷积核设计,并使用了丰富的卷积核尺寸,考虑了不同数量、不同空间关系的特征相互作用.SInception-CNN的模型结构如图2所示.其中:卷积核1×1、2×2等卷积核后的数字为卷积后的输出维度;CReLU 为本次卷积操作使用的激活函数.

图2

新窗口打开| 下载原图ZIP| 生成PPT

图2 SInception-CNN模型结构

Fig.2 Structure of SInception-CNN model

2.2 CReLU激活函数

目前, 使用最为广泛的ReLU激活函数如图3所示.其中:y为上一层输出;F为激活函数.

图3

新窗口打开| 下载原图ZIP| 生成PPT

图3 ReLU激活函数

Fig.3 ReLU activation function

如果对使用ReLU激活函数的网络进行灵敏度分析,会导致灵敏度结果区分度低,影响准确性.因为ReLU在设计之初的考虑是在引入非线性能力的同时减少计算量、减少梯度消失,并未考虑后续的灵敏度计算.所以,本文参考文献[ 19]设计了一种新的激活函数CReLU,可以自适应杀死小权值的权重,达到特征筛选的目的,从而增加灵敏度计算的区分度.CReLU的激活函数F_CReLU如图4所示.自适应阈值计算公式如下式所示:

(12)U=

\frac{1}{H} \overset{H}{\sum_{a = 1}}

y_a

式中:H为上一层节点数量;U为激活函数的自适应阈值;y_a为上一层第a个神经元的输出.后续实验表明这种激活函数达到了预期效果且没有减少模型的拟合能力.

图4

新窗口打开| 下载原图ZIP| 生成PPT

图4 CReLU激活函数

Fig.4 CReLU activation function

2.3 SInception-CNN模型与全局灵敏度分析的结合

总的来说,全局灵敏度的计算可以分为3类方法:基于回归的方法、基于方差的方法和基于矩独立的方法.Sobol’法是基于方差的方法,而神经网络和 SInception-CNN 是基于回归的方法.基于回归方法的原理是通过建立输入与输出的近似映射,得到输入因子的标准回归系数作为灵敏度指数^{[ 20]}.

SInception-CNN是一种深度学习建模方法, 全局灵敏度分析是一种数据或者模型的分析方法.通过两者的结合, 既使得深度学习方法可以得到其对输入参数的灵敏度信息, 不再是一个完全的“黑盒”, 又把深度学习很强的特征提取能力赋予了全局灵敏度分析.通过引入深度学习, 全局灵敏度分析具有了智能, 不再需要人工对特征进行组合提取, 不再需要对参数的定义域进行人为选定.基于深度学习的全局灵敏度分析是一种智能的端到端的分析方法.

基于深度学习的智能全局灵敏度分析方法先通过数据训练深度学习模型SInception-CNN, 再利用其权重信息的反向传播求模型的全局灵敏度.本方法既可以看作是一种对深度学习模型的分析方法, 又是一种新的分析全局灵敏度的思路.虽然本方法对灵敏度的计算模式类似于局部灵敏度方法中的求导法, 但是得益于卷积和神经网络的参数共享和全连接结构, 本方法所求得的结果为全局灵敏度,即包含了各个特征之间相互作用的计算结果.特征参数在卷积特征图中输入, 经过卷积结构和全连接层, 在输出神经元输出, 这个过程中包含了大量的共用权重计算, 而这些权重值是由所有样本的所有特征参数训练而得出的,因此用本方法求得的灵敏度结果包含了全局信息,更符合全局灵敏度的定义.

3 SInception-CNN网络计算灵敏度

3.1 全连接层神经元灵敏度的计算

全连接层一般置于整个网络的末尾,因此在反向传播算法中先计算全连接层神经元的灵敏度.典型的3层全连接层如图5所示.其中:z_m为输入层z的第m个神经元;h_n为隐含层h的第n个神经元;o_p为输出层o的第p个神经元;b₁、b₂为偏置系数;w₁为z与h之间的连接权重;w₂为h与o的连接权重.

图5

新窗口打开| 下载原图ZIP| 生成PPT

图5 全连接层结构图

Fig.5 Fully connected layer structure

前两层间的前向传播公式如下所示:

(13)h_n=F_CReLU

(\overset{H}{\sum_{i = 1}} w_{1}^{m n} z_{m} + b_{n})

式中: $w_{1}^{m n}$ 为w₁中连接输入层第m个节点和隐含层第n个节点的权重值;b_n为第n个节点的偏置系数.

对如图5所示的全连接层模型,应用BP算法的思想,如果想知道输入层z的每个神经元对输出层o的神经元产生了多少影响,可以用o对z求导得出,类似于局部灵敏度分析中的直接求导法,具体如下式所示:

(14)

\frac{\partial o}{\partial z}

(σ_{2} ☉ \frac{\partial o}{\partial h}) (σ_{1} ☉ \frac{\partial h}{\partial z})

(15)

\frac{\partial o}{\partial h}

=w₁,

\frac{\partial h}{\partial z}

=w₂

式中:σ_L (L=1,2)为第L层的激活函数F_CReLU的导数矩阵,每个神经元输出对输入的导数为1项; 符号☉为矩阵对应项相乘;∂o/∂z为输入层z对输出层o的灵敏度;∂o/∂h为输入层z对隐含层h的灵敏度;∂h/∂z为隐含层h对输入层z的灵敏度.输入层的每个神经元对模型输出E(输出层o的下一层,只有1个输出神经元)的灵敏度计算公式如下式所示:

(16)

\frac{\partial E}{\partial z}

\frac{\partial o}{\partial z}

δ°=(w₁☉σ₁)(w₂☉σ₂)δ°

式中:δ°为输出层o对模型输出E的灵敏度.

3.2 CNN灵敏度的计算

CNN网络包含卷积层和池化层,卷积层和池化层结构,如图6所示,其中:d为通道总数.

图6

新窗口打开| 下载原图ZIP| 生成PPT

图6 卷积层和池化层结构图

Fig.6 Structures of pooling layer and convolutional layer

假设卷积步长为1,核的尺寸为1×3.卷积层中, $x_{d m}^{o u t}$ 为输出通道d的第m个神经元值, $x_{v n}^{i n}$ 为输入通道v的第n个神经元值,b_d为输出通道d的神经元的偏置系数,w_v(n)d(m)为连接输入通道v的第n个神经元与输出通道d的第m个神经元的权重.前向传播公式如下式所示:

(17)

x_{d m}^{o u t}

=F_CReLU(

x_{v n}^{i n}

w_v(n)d(m)+

x_{v (n + 1)}^{i n}

w_v(n+1)d(m)+…+b_d)

第l卷积层的前向传播公式的矩阵形式如下:

(18)x^out=F_CReLU(w_lxⁱⁿ+b_l)

式中:x^out为第l个卷积层的输出结果;xⁱⁿ为第l个卷积层的输入;w_l为相应卷积核参数;b_l为第l个卷积层的偏置系数.

则求得当前卷积层输入神经元对模型输出E的灵敏度的矩阵形式为

(19)

\frac{\partial E}{\partial x^{i n}}

\frac{\partial x^{o u t}}{\partial x^{i n}} δ^{x^{o u t}}

δ^{x^{o u t}}

rot180(w_l)☉σ_l

式中: $δ^{x^{o u t}}$ 为下一层x^out对模型输出E的灵敏度;rot180为将卷积参数矩阵翻转180°;σ_l为第l个卷积层激活函数的导数矩阵.

3.3 池化层灵敏度的计算

池化方法分为均值池化和最大池化.池化的目的是通过减少计算图的大小减少计算参数,并再次提取有价值特征^{[ 21]}.最大池化因为适合分离稀疏特征被更广泛的使用, 并且它可以减少卷积层参数误差造成均值的偏移, 提取出纹理特征^{[ 22]}.最大池化的前向传播是把计算图中的最大的特征变量传递给下一层.反向传播是把梯度直接传给前一层最大特征的位置.所以通过保存的池化层输入中对应尺寸的最大值位置即可建立池化层梯度矩阵.池化层输入Cⁱⁿ对模型输出E的灵敏度如下式所示:

(20)

\frac{\partial E}{\partial C^{i n}}

\frac{\partial C^{o u t}}{\partial C^{i n}} δ^{C^{o u t}}

δ^{C^{o u t}}

☉s(Cⁱⁿ)

式中:C^out为池化层输出; $δ^{C^{o u t}}$ 为池化层输出对模型输出E的灵敏度;s函数根据正向传播的池化逻辑为灵敏度重新分配权重导数.

3.4 标准化对灵敏度的影响

神经网络模型在输入时需要进行标准化处理,设标准化过程为

(21)x^after=

\frac{x^{r o w} - μ (x^{r o w})}{s t d (x^{r o w})}

式中:μ(x^row)为原始输入x^row的平均值;std(x^row)为的原始输入x^row的标准差;x^after为标准化后的模型输入层.则x^row对模型输出E的灵敏度为

(22)

\frac{\partial E}{\partial x^{r o w}}

=std(x^row)

\frac{\partial E}{\partial x^{r o w}}

=std(x^row)

δ^{x^{r o w}}

式中: $δ^{x^{r o w}}$ 为标准化后输入x^row对模型输出的灵敏度.

4 实验结果和分析

在一个工业数据集、一个公开的真实数据集和用G函数生成的仿真数据分别进行了实验, 以验证本方法的有效性. 工业数据集为工业航迹融合结果评估数据集;真实数据集为Kaggle波士顿房价数据集.本文通过真实数据集的对比Sobol’法和神经网络法验证本方法的鲁棒性和有效性, 通过G函数生成数据集量化本方法的准确性和广泛适用性.

4.1 Kaggle波士顿房价数据集进行灵敏度分析

数据集包含37个特征和1个标签,其特征包括房屋的大小、位置、层数等信息,标签是房屋价格,将数据集输入模型.

在对比试验中, NN、CNN和SInception-CNN使用了相同的训练参数数量,模型评价指标体系如表1所示,使用了均方误差(MSE),平均绝对误差(MAE)和平均误差率3个指标.由表1可以看出,SInception-CNN模型在测试集的效果最优.

表1 Kaggle波士顿数据集中的不同模型评价体系

Tab.1 Evaluation index of different models in Kaggle Boston dataset

模型	测试集 MSE	测试集 MAE	测试集平均误差率/%
NN	0.268	2.21	13.50
CNN	0.095	1.62	9.90
SInception-CNN	0.072	1.54	9.41

新窗口打开| 下载CSV

神经网络方法和SInception-CNN方法灵敏度分析结果如图7所示,其中:S为输入特征的灵敏度计算值.由图7可以看出,由于SInception-CNN特殊的激活函数设计,以及加入L1正则化,得到的灵敏度结果更具有稀疏性,筛选掉无效特征.

图7

新窗口打开| 下载原图ZIP| 生成PPT

图7 Kaggle波士顿数据集神经网络法和SInception-CNN的计算结果对比

Fig.7 Comparison of NN method and SInception-CNN method on calculation results in Kaggle Boston dataset

灵敏度计算结果鲁棒性对比如表2所示,其中:括号内的值为当前特征的灵敏度排序,本方法在多维特征数据集中可以取得与神经网络方法相近的结果但更具稀疏性.在数据集中引入一个脏样本,这个人工生成样本的特征3取值为正常值的3倍,改变了特征3的参数区间.

表2 SInception-CNN和Sobol’法鲁棒性对比

Tab.2 Comparison of robustness between SInception-CNN and Sobol’ methods

参数	SInception-CNN		参数	Sobol’法
参数	正常	加入脏样本	参数	正常	加入脏样本
房屋总面积	61.52(1)	64.07(1)	房屋总面积	64.25(1)	93.64(1)
地上居住面积	5.22(2)	5.49(2)	房屋一层面积	10.52(2)	0.13(8)
杂项物品总价值	5.05(3)	4.37(3)	地下室已装修面积	9.51(3)	0.55(5)
地下室已装修面积	4.47(4)	3.96(4)	杂项物品总价值	3.96(4)	1.15(3)
地下室未装修面积	4.36(5)	3.88(5)	车库面积	3.05(5)	0.12(9)

新窗口打开| 下载CSV

与Sobol’法的鲁棒性对比中,在加入脏数据(使参数区间产生变化)后Sobol’ 法的计算结果变动非常大, 除了第1位灵敏度参数,排序都发生了变化, 而SInception-CNN法所受到的影响很小, 排序结果没有发生变化, 这是由于SInception-CNN法通过学习输入与输入参数的非线性关系即模型结构计算灵敏度, 少量样本不会影响基本非线性映射, 所以鲁棒性高.而Sobol’ 法依赖于参数区间提供采样范围, 当脏数据影响采样范围时, 计算结果将产生很大偏差.

4.2 工业航迹信息融合结果评估数据集的灵敏度分析

工业航迹信息融合结果评估数据集包含25个特征和一个标签.这个数据集的内容是对一套中航工业的航迹融合算法的评估数据.Sobol’法、神经网络法和SInception-CNN法求得的灵敏度结果如图8所示.

图8

新窗口打开| 下载原图ZIP| 生成PPT

图8 航迹信息融合数据集的灵敏度结果对比

Fig.8 Comparison of calculation results in track information fusion dataset

由图8可知,Sobol’法在21、22、23这3个特征上获得了较大的灵敏度,这是因为这3个变量的取值范围很大,但分布非常不平衡,90%的样本都在取值范围的右端,这显然对依靠变量取值范围进行采样的Sobol’法造成了很大的影响.但是SInception-CNN方法和NN方法不会产生这种问题,而且 SInception-CNN 方法又在结果的稀疏性上强于NN法.

4.3 G函数的灵敏度分析

针对SInception-CNN法的准确性问题,使用G函数进行测试.G函数被广泛应用于各种数值统计方法(灵敏度分析方法),因为其相当复杂,且参数灵敏度可以计算^{[ 23]}.G函数形式如下所示:

(23)G(X₁, X₂, …, X _N, β ₁, β ₂…β_N)=

\overset{N}{\prod_{J = 1}}

g_J

式中:X_J为模型输入参数;β_J为决定参数灵敏度的调整项;J为输入参数个数,且J=1,2,…,N;N为输入参数总数,则g_J可以表示为

(24)g_J=

\frac{|4 X_{J} - 2| + β_{J}}{1 + β_{J}}

G函数的真实灵敏度在文献[ 23]中求出,计算方法在文献[ 24]中有详细介绍.本实验中使用6个输入参数,a_k={0, 0.5, 3, 6, 9, 99,99},假设所有参数的空间域为[0, 1].

实验使用Sobol’序列生成随机数,并构造关于G函数的数据集.分别使用Sobol’法和 SInception 法计算模型灵敏度,并与真实值对比,求二者的平均误差L_MAE可以表示为

(25)L_MAE=

\frac{1}{10} \overset{10}{\sum_{r = 1}} {(\frac{\overset{N}{\sum_{J = 1}} |{\hat{T}}_{J} - T_{J}|}{N})}_{r}

式中: ${\hat{T}}_{J}$ 为参数灵敏度的真实值;T_J为求得的灵敏度; r为实验次数,10次取平均误差.实验结果如图9所示.

图9

新窗口打开| 下载原图ZIP| 生成PPT

图9 G函数中3种方法准确率对比

Fig.9 Accuracy comparison of three methods in G function

NN法和SInception-CNN法作为基于回归的方法,数据来源于数据集,因此不需要额外采样.由图9可以看出, 针对G函数,当Sobol’法的采样次数小于 3644 时, NN 灵敏度分析方法的精确度大于Sobol’法; 当Sobol’法的采样次数小于 3973 时, SInception-CNN 法的精确度大于Sobol’法.因为深度学习模型是一个黑盒系统,其内部存在一些噪声,所以根据深度学习模型来求灵敏度时计算结果不可避免地包含了一些噪声.基于深度学习的全局灵敏度分析方法在理想生成数据中的准确性低于Sobol’法. SInception-CNN方法更适用于模型未知、参数分布不均匀或者无法进行大量采样的情况.

5 对模型输出的组合提升

输入特征与输出之间的关系以SInception-CNN卷积网络权重的形式保存了下来.因此使用SInception-CNN方法可以求得每个样本的参数灵敏度.针对单个样本的参数灵敏度相当于输入参数对系统输出的近似梯度.使用参数灵敏度可以得到输入与输出间的自适应线性关系方程,继而选择最有效的参数组合来提升输出.

数据集使用的Sklearn波士顿房价数据集,有13个输入变量,1个输出变量.各个参数的实际意义如表3所示.

表3 Sklearn波士顿数据集中参数的实际意义

Tab.3 Actual meaning of features in Sklearn Boston dataset

特征	定义
CRIM	城镇人均犯罪率
ZN	占地2322.576平方米以上住宅用地比例
INDUX	每个城镇工业用地的比例
CHAS	查尔斯河(如果临近河流则为1;否则为0)
NOX	一氧化氮浓度
RM	住宅平均房间数
AGE	1940年建造的房屋比例
DIS	与5个就业中心的距离加权和
RAD	公路通达性
TAX	资产税率
PTRATIO	师生比例
B	黑人比例
LSTAT	低收入人口比例

新窗口打开| 下载CSV

将69号样本输入训练好的SInception-CNN模型,并根据输入对模型进行反向传播求梯度,结果如图10所示.

图10

新窗口打开| 下载原图ZIP| 生成PPT

图10 第69号样本的参数灵敏度

Fig.10 Sensitivity of the 69th sample

经验证,求得结果可以真实反映参数的实际意义.例如,参数1(人均犯罪率),其值越高则房价越低,那么求得的近似梯度为负,其他参数都可合理解释.

以其中第69号样本为例,选取梯度为正的几个参数将其均提高0.1(标准化后),输入SInception-CNN 模型, 输出从20.18提高到20.46,提升了0.28,依据灵敏度对预测差值的计算为0.253,误差为0.14%.利用SInception-CNN 法计算的样本参数灵敏度可以得到最优调整策略,并得到预期变化量.

6 结语

本文结合深度学习和全局灵敏度分析提出了一种智能全局灵敏度分析方法.使用SInception-CNN 以模型权重的形式学习输入与输出间的复杂关系, 通过梯度反向传播计算系统参数灵敏度和全局灵敏度, 在建模的同时完成全局灵敏度的计算.这种新颖的结合既使得深度学习方法可以得到其对输入参数的灵敏度信息, 不再是一个完全的“黑盒”, 又把深度学习很强的特征提取能力赋予了全局灵敏度分析.全局灵敏度分析不再需要人工对特征进行组合提取, 不再需要对参数的定义域进行人为选定, 可以直接根据数据得出结果, 成为了一种端到端的智能方法.

在两个真实世界数据集中,证明了SInception-CNN相比于经典方法Sobol’法有更强的鲁棒性且不依赖已有模型,相比于NN法有更强的准确性和稀疏性.通过对G函数进行灵敏度分析,得到了SInception-CNN在理想生成数据中的准确性指标.此外, 本文还提供了一种根据智能全局灵敏度分析方法优化模型输出的方法.

参考文献

原文顺序

文献年度倒序

文中引用次数倒序

被引期刊影响因子

Why so many published sensitivity analyses are false: A systematic review of sensitivity analysis practices

[J]. Environmental Modelling and Software, 2019, 114: 29-39.

DOI:10.1016/j.envsoft.2019.01.012 URL [本文引用: 1]

Sobol sensitivity analysis: A tool to guide the development and evaluation of systems pharmacology models

[J]. CPT: Pharmacometrics and Systems Pharmacology, 2015, 4(2): 69-79.

DOI:10.1002/psp4.6 URL [本文引用: 1]

[3]

周云峰, 周永潮, 郑春华, 等.

采用Sobol方法的暴雨径流管理模型参数灵敏度分析

[J]. 浙江大学学报(工学版), 2019, 53(2): 347-354.

[本文引用: 1]

Sensitivity analysis of parameters of storm water management model with Sobol method

[J]. Journal of Zhejiang University (Engineering Science), 2019, 53(2): 347-354.

[本文引用: 1]

[4]

王丰华, 王劭菁, 苏磊, 等.

采用Sobol’算法分析变电站接地网关键参数的灵敏度

[J]. 高电压技术, 2017, 43(1): 300-306.

[本文引用: 2]

Sensitivity analysis of substation grounding grid parameters based on Sobol’ method

[J]. High Voltage Engineering, 2017, 43(1): 300-306.

[本文引用: 2]

[5]

何琨, 严正, 徐潇源, 等.

基于Sobol’法的孤岛微电网潮流全局灵敏度分析

[J]. 电力系统自动化, 2018, 42(14): 99-106.

[本文引用: 1]

Sobol’ method based global sensitivity analysis of power flow in islanded microgrid

[J]. Automation of Electric Power Systems, 2018, 42(14): 99-106.

[本文引用: 1]

Comparing sensitivity analysis methods to advance lumped watershed model identification and evaluation

[J]. Hydrology and Earth System Sciences, 2007, 11(2): 793-817.

DOI:10.5194/hess-11-793-2007 URL [本文引用: 2]

A fully multiple-criteria implementation of the Sobol’ method for parameter sensitivity analysis

[J]. Journal of Geophysical Research: Atmospheres, 2012, 117: 1-18.

[本文引用: 1]

Comparison of variance-based and moment-independent global sensitivity analysis approaches by application to the SWAT model

[J]. Environmental Modelling and Software, 2017, 91: 210-222.

DOI:10.1016/j.envsoft.2017.02.001 URL [本文引用: 1]

Nonlinear sensitivity analysis of multiparameter model systems

[J]. Journal of Computational Physics, 1978, 26(1): 1-42.

[本文引用: 1]

Random balance designs for the estimation of first order global sensitivity indices

[J]. Reliability Engineering and System Safety, 2006, 91(6): 717-727.

DOI:10.1016/j.ress.2005.06.003 URL [本文引用: 2]

Bias correction for the estimation of sensitivity indices based on random balance designs

[J]. Reliability Engineering and System Safety, 2012, 107: 205-213.

DOI:10.1016/j.ress.2012.06.010 URL [本文引用: 1]

[12]

NOURANI

, SAYYAH FARD

Sensitivity analysis of the artificial neural network outputs in simulation of the evaporation process at different climatologic regimes

[J]. Advances in Engineering Software, 2012, 47(1): 127-146.

DOI:10.1016/j.advengsoft.2011.12.014 URL [本文引用: 1]

Models for estimating evapotranspiration using artificial neural networks, and their physical interpretation

[J]. Hydrological Processes, 2008, 22(13): 2225-2234.

DOI:10.1002/hyp.6819 URL [本文引用: 1]

Modified GMDH-NN algorithm and its application for global sensitivity analysis

[J]. Journal of Computational Physics, 2017, 348: 534-548.

DOI:10.1016/j.jcp.2017.07.027 URL [本文引用: 1]

L1-regularization path algorithm for generalized linear models

[J]. Journal of the Royal Statistical Society: Series B (Statistical Methodology), 2007, 69(4): 659-677.

DOI:10.1111/j.1467-9868.2007.00607.x URL [本文引用: 1]

Sobol’ sensitivity analysis of a complex environmental model

[J]. Environmental Modelling and Software, 2011, 26(12): 1515-1525.

DOI:10.1016/j.envsoft.2011.08.010 URL [本文引用: 2]

. What do we understand about convolutional networks?[EB/OL].(2018-05-23)[2021-06-11]. https://arxiv.org/abs/1803.08834.

URL [本文引用: 1]

. Network in network[EB/OL]. (2013-12-16) [2021-06-11]. https://arxiv.org/abs/1312.4400.

URL [本文引用: 1]

. Layer normalization[EB/OL] (2016-07-21) [2021-06-13]. https://arxiv.org/abs/1607.06450.

URL [本文引用: 1]

Comparison of sensitivity analysis techniques: A case study with the rice model WARM

[J]. Ecological Modelling, 2010, 221(16): 1897-1906.

DOI:10.1016/j.ecolmodel.2010.04.021 URL [本文引用: 1]

Multiple Instance Learning with Genetic Pooling for medical data analysis

[J]. Pattern Recognition Letters, 2020, 133: 247-255.

DOI:10.1016/j.patrec.2020.02.025 URL [本文引用: 1]

[22]

GRAHAM

. Fractional max-pooling[EB/OL].(2014-12-18) [2021-06-13]. https://arxiv.org/abs/1412.6071.

URL [本文引用: 1]

Calculations of Sobol indices for the Gaussian process metamodel

[J]. Reliability Engineering and System Safety, 2009, 94(3), 742-751.

DOI:10.1016/j.ress.2008.07.008 URL [本文引用: 2]

Sensitivity measures, anova-like techniques and the use of bootstrap

[J]. Journal of Statistical Computation and Simulation, 1997, 58(2): 99-120.

DOI:10.1080/00949659708811825 URL [本文引用: 1]

Why so many published sensitivity analyses are false: A systematic review of sensitivity analysis practices

2019

... 灵敏度分析根据输入参数对输出影响的大小来评估模型输入参数的重要性.通过研究灵敏度分析结果,研究员可以将重要性较小的输入因素设为定值或者直接去掉, 大幅减少模型和问题的复杂性;研究员还可以通过灵敏度结果,优先利用有限的资源来改进重要性较大的输入因素, 有针对性地提升模型表现,并得到针对模型输出的归因分析结果^[1]. ...

Sobol sensitivity analysis: A tool to guide the development and evaluation of systems pharmacology models

2015

... 灵敏度分析包括全局灵敏度分析和局部灵敏度分析.其中, 局部灵敏度分析实现简单、计算量少, 但只能反映局部点的单项不确定因素的灵敏度信息, 一般适用于线性模型^[2].全局灵敏度分析方法可以反映不确定因素在整个变化空间内对输出的影响, 适用于非线性、非单调的复杂系统^[3-4]. ...

采用Sobol方法的暴雨径流管理模型参数灵敏度分析

2019

采用Sobol方法的暴雨径流管理模型参数灵敏度分析

2019

采用Sobol’算法分析变电站接地网关键参数的灵敏度

2017

... 当s=i时,计算结果为参数x_i的1阶灵敏度系数,表示x_i对输出的主要影响^[4]. ...

采用Sobol’算法分析变电站接地网关键参数的灵敏度

2017

... 当s=i时,计算结果为参数x_i的1阶灵敏度系数,表示x_i对输出的主要影响^[4]. ...

基于Sobol’法的孤岛微电网潮流全局灵敏度分析

2018

... Sobol’ 法是一种基于方差的全局灵敏度计算方法, 其将系统输出方差分解为由各输入变量所决定的方差之和, 从而定量分析输入变量对系统输出的影响^[5].文献[6]对比分析了Sobol’法和其他全局灵敏度分析法,发现Sobol’法是评价集总式系统单个参数灵敏度和多参数相互作用灵敏度的最有效方法之一.但是, Sobol’全局灵敏度分析法需要另外构建系统模型, 因此灵敏度的计算精度和准确性很大程度上受到系统模型的影响.由于Sobol’法的计算核心是Monte Carlo方法^[6], 假设参数在定义域内均匀分布, 这导致Sobol’ 法的局限性很强,定义区间如果受到脏数据或者离散点的影响, 准确率将大大下降, 在实际问题中平均分布的假设很难满足, 计算准确性难以保证, 并且无法处理未知模型^[7-8].文献[9]在Sobol’法的基础上提出使用多维Fourier变换来降低计算成本的Fourier幅度灵敏度检验(FAST)法. 文献[10]提出了一种结合FAST和随机平衡设计的方法.文献[11]对这些方法进行了整合和改进.但是这些方法并没有从根本上解决Sobol’ 法存在的问题,计算量依然很大且有和Sobol’法一样的局限和缺点.文献[12-13]提出基于人工神经网络的灵敏度分析方法,通过把人工神经网络与灵敏度分析结合,计算不同气象条件下蒸发过程的灵敏度.文献[14]提出使用神经网络结合数据处理(GMDH)组合方法计算Sobol’灵敏度.使用神经网络在解决复杂非线性系统的模拟问题的同时,计算出系统全局灵敏度的方法在当下得到了比较多的关注, 由于不需Monte Carlo 采样, 这种方法计算效率更高.但是传统神经网络本身存在训练参数太多、无法提取高维深度相关特征和局部特征以及网络层数不宜过深的问题, 而且传统神经网络在建模的时候并没有考虑后续求灵敏度这一步骤,二者存在割裂,导致求得的灵敏度区分度低,该方法实现效果并不理想. ...

基于Sobol’法的孤岛微电网潮流全局灵敏度分析

2018

Comparing sensitivity analysis methods to advance lumped watershed model identification and evaluation

2007

... [6], 假设参数在定义域内均匀分布, 这导致Sobol’ 法的局限性很强,定义区间如果受到脏数据或者离散点的影响, 准确率将大大下降, 在实际问题中平均分布的假设很难满足, 计算准确性难以保证, 并且无法处理未知模型^[7-8].文献[9]在Sobol’法的基础上提出使用多维Fourier变换来降低计算成本的Fourier幅度灵敏度检验(FAST)法. 文献[10]提出了一种结合FAST和随机平衡设计的方法.文献[11]对这些方法进行了整合和改进.但是这些方法并没有从根本上解决Sobol’ 法存在的问题,计算量依然很大且有和Sobol’法一样的局限和缺点.文献[12-13]提出基于人工神经网络的灵敏度分析方法,通过把人工神经网络与灵敏度分析结合,计算不同气象条件下蒸发过程的灵敏度.文献[14]提出使用神经网络结合数据处理(GMDH)组合方法计算Sobol’灵敏度.使用神经网络在解决复杂非线性系统的模拟问题的同时,计算出系统全局灵敏度的方法在当下得到了比较多的关注, 由于不需Monte Carlo 采样, 这种方法计算效率更高.但是传统神经网络本身存在训练参数太多、无法提取高维深度相关特征和局部特征以及网络层数不宜过深的问题, 而且传统神经网络在建模的时候并没有考虑后续求灵敏度这一步骤,二者存在割裂,导致求得的灵敏度区分度低,该方法实现效果并不理想. ...

A fully multiple-criteria implementation of the Sobol’ method for parameter sensitivity analysis

2012

Comparison of variance-based and moment-independent global sensitivity analysis approaches by application to the SWAT model

2017

Nonlinear sensitivity analysis of multiparameter model systems

1978

Random balance designs for the estimation of first order global sensitivity indices

2006

... Sobol’法有十分明显的缺点,当模型输入参数个数为k时,每个参数都需要计算2^k个Monte Carlo积分,当模型较大、参数较多时,参数分布不平均导致需要的采样次数较多,Sobol’法的计算量十分庞大.由于Sobol’法求得的值为基于采样的估计值,所以求得的灵敏度精度在很大程度上受到采样精度和样本数量的影响,尤其在模型样本数量较小时, Sobol’法无法取得理想效果^[10]. ...

Bias correction for the estimation of sensitivity indices based on random balance designs

2012

Sensitivity analysis of the artificial neural network outputs in simulation of the evaporation process at different climatologic regimes

2012

Models for estimating evapotranspiration using artificial neural networks, and their physical interpretation

2008

Modified GMDH-NN algorithm and its application for global sensitivity analysis

2017

L1-regularization path algorithm for generalized linear models

2007

... 针对上述问题,将深度学习方法引入全局灵敏度的计算中, 利用深度学习方法对交叉特征的提取能力同时提升模型的表现和全局灵敏度分析的准确性,创新性地提出SInception-卷积神经网络(CNN)模型.该模型的创新点包括:① 通过针对灵敏度分析设计的特征打散机制和SInception网络结构增加模型的局部特征组合能力;② 提出串行修正线性单元(CReLU)激活函数增加灵敏度计算结果的稀疏性;③ 在训练深度学习网络时额外引入L1正则化,以增加网络参数的稀疏性^[15],提升后续灵敏度计算的区分度和准确性.考虑到研究者多希望利用样本灵敏度有计划、有效率地调节模型输出, 所以提出利用训练好的深度学习模型求得每个样本的参数灵敏度,建立系统输出与输入参数的近似函数关系方程以优化系统输出.在Kaggle波士顿房价数据集、工业航迹融合评估数据集和G函数3个公开数据集中进行测试并与Sobol’ 法和传统神经网络法对比, 证明了所提方法的有效性和鲁棒性,得到了准确性指标. ...

Sobol’ sensitivity analysis of a complex environmental model

2011

... Sobol’法基于Monte Carlo抽样技术和模型分解思想,能够定量计算系统各输入参数的1阶灵敏度和高阶灵敏度以及总灵敏度^[16].假设模型可以表示为 ...

... 式中:f_i, f_ij, f_{1, 2,…,k}为分解后的子项函数,如果输入参数独立,且每项按0均值选择、平方可积,那么式中f₀为常量,等于输出的期望值.Sobol证明上式的分解唯一且相互正交,可以通过多重积分求得^[16]: ...

2018

... 神经网络(NN)作为全连接层受限于不能独立处理局部特征,CNN的卷积核受限于只能处理输入参数周围空间的局部特征^[17].对结构化数据的回归问题和灵敏度分析问题来说,考虑特征间的相互作用十分重要,通过引入这种打散输入样本的方式,引入了特征的多种邻居组合,为后面的CNN卷积核带来多种组合的可能,引入更多特征间的相互作用. ...

2013

... SInception-CNN参考了文献[18]的并行卷积核设计,并使用了丰富的卷积核尺寸,考虑了不同数量、不同空间关系的特征相互作用.SInception-CNN的模型结构如图2所示.其中:卷积核1×1、2×2等卷积核后的数字为卷积后的输出维度;CReLU 为本次卷积操作使用的激活函数. ...

2016

... 如果对使用ReLU激活函数的网络进行灵敏度分析,会导致灵敏度结果区分度低,影响准确性.因为ReLU在设计之初的考虑是在引入非线性能力的同时减少计算量、减少梯度消失,并未考虑后续的灵敏度计算.所以,本文参考文献[19]设计了一种新的激活函数CReLU,可以自适应杀死小权值的权重,达到特征筛选的目的,从而增加灵敏度计算的区分度.CReLU的激活函数F_CReLU如图4所示.自适应阈值计算公式如下式所示: ...

Comparison of sensitivity analysis techniques: A case study with the rice model WARM

2010

... 总的来说,全局灵敏度的计算可以分为3类方法:基于回归的方法、基于方差的方法和基于矩独立的方法.Sobol’法是基于方差的方法,而神经网络和 SInception-CNN 是基于回归的方法.基于回归方法的原理是通过建立输入与输出的近似映射,得到输入因子的标准回归系数作为灵敏度指数^[20]. ...

Multiple Instance Learning with Genetic Pooling for medical data analysis

2020

... 池化方法分为均值池化和最大池化.池化的目的是通过减少计算图的大小减少计算参数,并再次提取有价值特征^[21].最大池化因为适合分离稀疏特征被更广泛的使用, 并且它可以减少卷积层参数误差造成均值的偏移, 提取出纹理特征^[22].最大池化的前向传播是把计算图中的最大的特征变量传递给下一层.反向传播是把梯度直接传给前一层最大特征的位置.所以通过保存的池化层输入中对应尺寸的最大值位置即可建立池化层梯度矩阵.池化层输入Cⁱⁿ对模型输出E的灵敏度如下式所示: ...

2014

Calculations of Sobol indices for the Gaussian process metamodel

2009

... 针对SInception-CNN法的准确性问题,使用G函数进行测试.G函数被广泛应用于各种数值统计方法(灵敏度分析方法),因为其相当复杂,且参数灵敏度可以计算^[23].G函数形式如下所示: ...

... G函数的真实灵敏度在文献[23]中求出,计算方法在文献[24]中有详细介绍.本实验中使用6个输入参数,a_k={0, 0.5, 3, 6, 9, 99,99},假设所有参数的空间域为[0, 1]. ...

Sensitivity measures, anova-like techniques and the use of bootstrap

1997

〈

〉