Search
E-mail
RSS

Online submission Editor-in-chief Peer review Staff Login

Journal of Tropical Oceanography >

2021 , Vol. 40 >Issue 6: 102 - 110

DOI: https://doi.org/10.11978/2020135

Marine Biology

Pattern recognition of Sthenoteuthis oualaniensis based on BPNN about momentum and self-adaption

  • YANG Liuqinqing , 1 ,
  • CHU Moxian 2 ,
  • LIU Bilin , 2, 3, 4, 5, 6 ,
  • KONG Xianghong 2, 3
Expand
  • 1. College of Information, Shanghai Ocean University, Shanghai 201306, China
  • 2. College of marine science, Shanghai Ocean University, Shanghai 201306, China
  • 3. National Distant-water Fisheries Engineering Research Center, Shanghai 201306, China
  • 4. Key Laboratory of Oceanic Fisheries Exploration, Ministry of Agriculture and Rural Affairs, Shanghai 201306, China
  • 5. Scientific Observing and Experimental Station of Oceanic Fishery Resources, Ministry of Agriculture and Rural Affairs, Shanghai 201306, China
  • 6. The Key Laboratory of Sustainable Exploitation of Oceanic Fisheries Resources, Ministry of Education, Shanghai 201306, China
LIU Bilin. email:

Copy editor: LIN Qiang

Received date: 2020-11-17

  Revised date: 2021-02-27

  Online published: 2021-03-04

Supported by

National Key R&D Program of China(2019YFD0901404)

National Nature Science Foundation of China(41876141)

The Program for Professor of Special Appointment (Eastern Scholar) at Shanghai Institutions of Higher Learning under contract(0810000243)

Capacity building project of local universities of Shanghai Municipal Science and Technology Committee(20050501800)

Shanghai Science and technology innovation action plan(19DZ1207502)

Copyright

Copyright reserved © 2021. Office of Acta Agronomica Sinica All articles published represent the opinions of the authors, and do not reflect the official policy of the Chinese Medical Association or the Editorial Board, unless this is clearly specified.
Fold

Abstract

In recent years, computer pattern recognition technology has been used in biometric identification for its accurate and rapid recognition capability. In this paper, pattern recognition of beak and mantle length of Sthenoteuthis oualaniensis in the northwestern Indian Ocean, Middle East Pacific and South China Sea was carried out by using momentum adaptive back propagation (BP) neural networks (BPNN) based on MATLAB software. The results showed that the convergence error of the trained neural network was only 4.416×10-2, and the recognition rate of beak of S. oualaniensis was significantly improved by adding momentum and adaptive learning rate to the BPNN. The correct recognition rates were 100% in the northwestern Indian Ocean, 88.89% in the Middle East Pacific and 94.12% in the South China Sea, with a total success rate of 93.24%, which indicates that the external morphology of beak of S. oualaniensis and mantle length can be used to distinguish different geographical populations. The total recognition rates of other BPNN learning algorithms of gradient descent, single momentum and single adaptive method were 74.32%, 77.03% and 87.84%, respectively. The recognition effect of this study was stable, and the recognition rate of large sample training set was as high as 92.77%, which provides a new method for the identification of cephalopod population.

Key words： back propagation neural network; Sthenoteuthis oualaniensis; beak; population discrimination; pattern recognition

Cite this article

YANG Liuqinqing , CHU Moxian , LIU Bilin , KONG Xianghong . Pattern recognition of Sthenoteuthis oualaniensis based on BPNN about momentum and self-adaption[J]. Journal of Tropical Oceanography, 2021 , 40(6) : 102 -110 . DOI: 10.11978/2020135

21世纪, 计算机科学进入了飞速发展的阶段, 先进的神经网络结构和学习算法大量应用于人工智能领域, 机器视觉中的模式识别作为AI的一个分支, 其理论和技术也随之取得了巨大进步(毛振宇 等, 2019)。近年来, 神经网络在人脸识别(陈艳, 2000)、电信号分类(王莉 等, 2019)、海岛识别(王振华 等, 2020)、植物病害识别(邱靖 等, 2019)等领域得到了广泛应用。
头足类物种的种群遗传分化较小, 因此无法从分子遗传学水平来划分种群(李敏 等, 2019), 而在生物生态学特性(Liu et al, 2013)、形态学特征等方面存在明显区别 (Kubodera et al, 1987)。角质颚是头足类的主要摄食器官(Clarke, 1962), 形态特征稳定(李建华 等, 2018), 常被用于头足类种类鉴定与种群判别(刘必林 等, 2009)。就种群判别而言, 过去的研究主要采用传统的统计学方法对角质颚形态进行判别。郑小东 等(2002)研究了我国华南莆田、南澳、深圳、湛江等4个海域曼氏无针乌贼角质颚形态, 认为头盖长与脊突长的比值可用作区分不同地理种群的依据。许嘉锦(2003)研究发现, 台湾大溪与东港两地边蛸地理种群的角质颚形态分化明显。Liu等(2015)、陈芃等(2015)依据角质额各部长度的差异, 通过逐步判别法划分别对东太平洋茎柔鱼不同地理群体和西北太平洋柔鱼不同产卵群体进行了划分。然而, 这些研究的判别成功率都不高。
为此, 本文分别利用梯度下降法、单一动量法、单一自适应法和动量自适应法训练的多层BP神经网络(back propagation neural networks)对西北印度洋、中东太平洋和南海等3个海区的鸢乌贼(Sthenoteuthis oualaniensis)的角质颚进行识别, 进而区分出鸢乌贼所属海域, 并探讨加入动量和学习率自适应的学习算法的优越性, 以及仅用角质颚进行识别的优缺点, 同时通过设计和训练得到高识别率的西北印度洋、中东太平洋和南海等3个海区的鸢乌贼分类器, 为头足类种群判别提供新方法。

1 材料与方法

1.1 样本采集和数据测量

实验共采集鸢乌贼样本572尾, 其中西北印度洋海区103尾, 中东太平洋216尾, 南海253尾。冷冻的鸳乌贼样本首先在实验室自然解冻, 然后用卷尺测量胴长(mantle length, ML), 精确至1mm, 电子天平测量体质量(body weight, BW), 精确至0.1g。用镊子取出角质颚, 在清水中漂洗后用游标卡尺对上颚和下颚各5个特征进行测量, 精确至精度为0.01mm, 具体包括上头盖长(upper hood length, UHL)、上脊突长(upper crest length, UCL)、 上喙长(upper rostrum length, URL)、上翼长(upper wing length, UWL)、上侧壁长(upper lateral wall length, ULWL)、下头盖长(lower hood length, LHL)、下脊突长(lower crest length, LCL)、下喙长(lower rostrum length, LRL)、下翼长(lower wing length, LWL)、下侧壁长(lower lateral wall length, LLWL)(刘必林 等, 2009)。

1.2 角质颚数据标准化

神经网络(neural network, NN)使用各特征值前, 要对特征值进行标准化。首先, 将3个海区转换成数字1、2、3, 以适合神经网络读取。其次, 由于在大样本训练集中, 神经网络会遗忘最初训练过的样本, 所以将3个海区样本的顺序随机打乱进行训练。最后, 利用公式(1)将不规则数据归一化至[-1,1]之间(周开利 等, 2005)。
${{p}_{i}}\prime =\frac{2({{p}_{i}}-{{p}_{\min }})}{{{p}_{\max }}-{{p}_{\min }}}-1,i=1,2,...,P$
式中pi′表示标准化后的数据, pi表示标准化前的数据, pmin表示该特征中最小的数据, pmax表示该特征中最大的数据, P为样本总数
随后将标准化后的特征值数据集的90%划分为训练集, 剩下的10%作为测试集。

1.3 BP神经网络的结构

BP神经网络是一种有反馈的前向传播的NN, 其层次结构可以分为3大类: 输入层(I)、隐含层(H)和输出层(O)。其中I、O层只能为1层, 而H层可为多层(图1)。设计一个BP神经网络首先要确定的是其网络拓扑结构, 包括H层层数和各层节点数(张德丰, 2018)。
图1 BP神经网络基本结构

Fig. 1 The basic structure of BPNN

一般地, 当各节点均采用Sigmoid型函数时, 一个隐含层足以实现任意判决分类问题(Cybenko, 1989), 且NN的迭代次数(即对权值的回调次数)比起H层的层数对识别正确率的影响更大(叶斌 等, 2004)。本文中输入样本数为489, 根据袁曾任(1999)提出的算法(公式2), 通过设置H层节点数为5~14, 得当H层节点数为9时识别率最高, 且训练速度较快。I层节点数11个, 分别为ML、UHL、UCL、URL、UWL、ULWL、LHL、LCL、LRL、LWL和LLWL; O层节点数3个, 分别代表西北印度洋、中东太平洋和南海。
$J=\sqrt{n+m}+a$
式中J为输出节点数, n为输入神经元数, m为输出神经元数, a为1~10间的常数。
确定网络拓扑结构后, 随机生成各权重和阈值, 再带入样本参数进行前向传播和反馈调整。
1.3.1 根据输入进行前向传播
为了解决网络中线性不可分问题, 选用S型函数Sigmoid作为映射函数为公式(3),$f(x)$取值范围为[0, 1], 其计算公式为
$f(x)=\frac{1}{1+{{e}^{-x}}}$
${{h}_{j}}=f(\sum\limits_{i=1}^{I}{{{\omega }_{ji}}{{x}_{i}}-{{a}_{i}}})$
式中xi(i=1, 2,..., I)为I层中各节点的值; hj(j=1, 2,..., H)为H层中各节点的值; αj为H层第j个节点hj的阈值; ωji为I层第i个节点到H层第j个节点间的权值。
O层中各节点的值为Ok (k=1, 2,..., O), 表示此次通过网络拓扑结构计算预测出的海域, 计算公式为
${{o}_{k}}=f(\sum\limits_{j=1}^{H}{{{v}_{kj}}{{h}_{j}}-{{\theta }_{k}}})$
式中${{\theta }_{k}}$为O层第k个节点${{o}_{k}}$的阈值, ${{v}_{kj}}$为H层第j个节点到O层第k个节点间的权值。
设定神经网络的学习误差ε=0.01, 期望输出为yk (k=1, 2, …, O), 表示各个角质颚形态参数组实际对应的海域, 若$\sum\nolimits_{k=1}^{\text{O}}{\left| {{y}_{k}}-{{O}_{k}} \right|}<\varepsilon $, 则完成神经网络的学习, 否则进行反向传播(图2)。
图2 BPNN完整流程

Fig. 2 The integral process of BPNN

1.3.2 对各层间的权重和各节点的阈值进行调整(反向传播)
基本原理是依据期望值和实际输出值的差值进行调整(图2)。本文中网络的方法为在δ的基础上增加动量项和自适应学习率, 以应对BP神经网络存在的容易陷入局部最优解、学习效率低、收敛速度慢等问题(王莉莉 等, 2018), 具体方法如下。
(1) δ法调节权重
一次调整的大体方向是从后向前的, 依次为H层至O层权值和O层阈值的调整, 以及I层至H层权值和H层阈值的调整。前者的校正误差影响后者的调整(图3)。将权值变更的值与误差的梯度下降成正比, 通过反复的调整减小误差。
图3 H层和O层的阈值

Fig. 3 The threshold value in hidden layer and output layer

① H层至O层权值和O层阈值的调整
O层的校正误差为dk=yk (1- yk)(ok - yk), k=1, 2,…, H。H层至O层权值vkj计算公式为
${{v}_{kj}}(t+1)={{v}_{kj}}(t)+\Delta {{v}_{kj}}$
$\Delta {{v}_{kj}}=\eta {{d}_{k}}{{h}_{j}}$
式中vkj为H层第j个节点到O层第k个节点间的权值, hj为H层第j个节点的值, η为学习系数(0<η<1), t表示时刻, t+1表示下一时刻。输出层阈值θ由以下公式确定:
${{\theta }_{k}}(t+1)={{\theta }_{k}}(t)+\Delta {{\theta }_{k}}$
$\Delta {{\theta }_{k}}=\eta {{d}_{k}}$
式中θ (t+1)表示本次修正后(t+1时刻)输出层阈值, θ (t)表示修正前(t时刻)输出层阈值, $\Delta {{\theta }_{k}}$为输出层的阈值校正量。
② I层至H层权值和H层阈值的调整
H层的校正误差为${{e}_{j}}=\left( \sum\nolimits_{k=1}^{\text{O}}{{{v}_{kj}}{{d}_{k}}} \right){{h}_{j}}(1-{{h}_{j}})$。I层至H层权值${{\omega }_{ji}}$计算公式为
${{\omega }_{ji}}(t+1)={{\omega }_{ji}}(t)+\Delta {{\omega }_{ji}}$
$\Delta {{\omega }_{ji}}=\eta {{e}_{j}}{{x}_{i}}$
式中${{\omega }_{ji}}$为I层第i个节点到H层第j个节点间的权值, xi为I层第i个节点的值, η为学习系数(0<η<1), t+1时刻为本次修正后, t时刻为修正前, 隐含层阈值aj的计算公式为
${{\alpha }_{j}}(t+1)={{\alpha }_{j}}(t)+\Delta {{\alpha }_{j}}$
$\Delta {{\alpha }_{j}}=\eta -{{e}_{j}}$
式中$\Delta {{\alpha }_{j}}$为隐含层的阈值校正量。
重复上述步骤, 直至误差小于设定的精度(关小芳, 2014)或达到最大迭代次数。
(2) 引入动量因子
在权值校正量$\Delta {{v}_{kj}}$和$\Delta {{\omega }_{kj}}$中引入动量因子β (0≤β<1), 从而提升收敛速度, 计算公式为
$\Delta {{v}_{kj}}=\eta [(1-\beta ){{d}_{k}}+\beta {{d}_{k}}]{{h}_{j}}$
$\Delta {{\omega }_{kj}}=\eta [(1-\beta ){{e}_{j}}{{x}_{i}}+{{\beta }_{xi}}]{{x}_{j}}$
式中dk为输出层校正误差; ej为隐藏层矫正误差。同理, 可推出引入动量因子后的H层和O层阈值修正量。若上一次校正后, 输出值和期望值的方差更小, 则$\beta \in (0,1)$, 否则β=0。本文中当输出值更接近期望值时, β=0.9。
(3) 学习率可变(自适应)
学习速率η在Delta中为常数, 这会导致当误差变化幅度小时, 训练次数增加; 而误差变化剧烈时, 因调整步长较大, 跨过较窄的凹陷或突起区域, 使正确率下降, 收敛性差(关小芳, 2014)。因此, 除首次回调采用设定的学习速率, 之后都采取自适应学习速率(公式16)。当校正方向正确时, 校正步伐变大; 当校正方向错误时, 校正步伐减小(张德丰, 2018)。
$\eta (k+1)=\left\{ \begin{matrix} \begin{matrix} \gamma \eta (k),\gamma <1 & E(k+1)>E(k) \\\end{matrix} \\ \begin{matrix} \gamma \eta (k),\gamma >1 & E(k+1)<E(k) \\\end{matrix} \\\end{matrix} \right.$
式中γ为校正步长, 本文中校正方向正确时γ=1.05, 校正方向错误时γ=0.7。
1.3.3 对BP神经网络进行测试
经过以上步骤后, 本研究初步获得BP神经网络鸢乌贼分类器, 接下来对其进行识别效果测试, 并根据结果分析鸢乌贼角质颚的形态学特征。首先将测试样本带入, 观察识别情况; 若识别效果良好, 则用预留下的测试样本对该分类器进一步测试, 观察其对陌生数据的泛化能力, 以防过度学习。

2 结果

2.1 角质颚数据转换

表1显示了样本的ML、UHL和URL等形态参数的长度范围, 标准化后, 各特征值的极大值的绝对值均为1, 特征值为极大值的样本大多分布在南海, 少数分布在西北印度洋; 极小绝对值基本都在10-2以下, 全部分布在西北印度洋(表1)。当一个样本的一个形态参数为该形态参数全部样本中的极值, 该样本的其他形态参数很可能也为极值, 如第42号样本的ML、UHL、ULWL、LLWL、LWL均为极大值, 第464号样本的UHL、URL、LRL均为极小值。
表1 标准化后的极值和所属海域

Tab. 1 The extreme value and its sea area after standardization

形态参数 极大值 极小值
原始极大值 标准化极大绝对值 样本编号 海域 原始极小值 标准化极小绝对值 样本编号 海域
胴长(ML) 525 1 42 3 80 0.011236 144 1
上头盖长(UHL) 39.56 1 42 3 5.44 0.001758 464 1
上脊突长(UCL) 50.77 1 162 1 4.44 0.002806 146 1
上喙长(URL) 12.92 1 30 3 1.77 0.000897 464 1
上侧壁长(ULWL) 45.33 1 42 3 5.68 0.01488 154 1
上翼长(UWL) 12.64 1 186 3 1.67 0.004558 144 1
下头盖长(LHL) 11.63 1 200 3 1.66 0.003009 298 1
下脊突长(LCL) 24.1 1 26 3 2.64 0.002796 184 1
下喙长(LRL) 12.86 1 303 1 1.47 0.00439 464 1
下侧壁长(LLWL) 35.67 1 42 3 4.62 0.00161 23 1
下翼长(LWL) 22.1 1 42 3 2.25 0.012594 327 1

2.2 训练完成后的网络

2.2.1 各层权重和阈值
由图4可知, 迭代次数X=1492时, 均方差Y=0.04416, 即I层到H层各节点的权重的绝对值大小基本都在10-1级以上, 可见鸢乌贼胴长和10个角质颚数据指标对用BP神经网络进行角质颚分类都是非常重要的(图4)。本研究中的BP神经网络鸢乌贼海域分类器有4个关键数据矩阵, 分别是I层和H层间的权重(表2)、H层和O层间的权重(表3)、H层各节点的阈值以及O层各节点的阈值(图3)。I层11个节点分别表示鸢乌贼的胴长和10个角质颚特征值。权重的绝对值越大, 表示前一层节点对后一层节点的影响越大。在I层到H层的99个权重中绝对值大于2的有5个, ML和 ULWL特征参与的分别有2个, UCL特征参与的有1个; 绝对值大于1.5的权重中5个的前驱节点是ULWL, 接下来依次是LHL、ML、UCL和LLWL。因此, ULWL对种族间差异的贡献最大, 其次是ML和LHL。
图4 神经网络训练效果

Fig. 4 Neutral network training effect

表2 I层和H层间的权重

Tab. 2 The weights between input layer and hidden layer

I层 H层
H1 H2 H3 H4 H5 H6 H7 H8 H9
ML 0.51787 1.76012 1.17685 0.96851 -0.62503 -0.39972 -2.30729 -2.41620 -1.21233
UHL 1.02004 -0.11701 0.78299 0.97829 0.58829 1.06385 -1.69839 -0.67041 1.38657
UCL 0.20084 2.43943 -0.47049 -1.96293 -0.06245 -1.57966 -0.29600 0.53659 0.31492
URL -0.04119 0.14562 -0.99725 -1.18086 -1.72815 -0.48685 1.37671 -1.35249 -1.31960
ULWL 1.04319 -1.37696 -2.54213 2.98592 -1.81316 1.65405 -1.53345 -0.57482 0.30500
UWL -0.02106 1.29860 0.10095 -1.31129 -1.31384 0.01470 -0.91160 0.56923 1.04699
LHL -1.62204 0.94419 -1.77699 1.38963 0.65958 -1.69024 0.19457 1.55272 -0.54919
LCL 0.74875 0.65564 0.55693 0.92801 -1.63957 -1.29223 0.28282 -0.22000 1.34480
LRL 0.61926 -0.12646 -1.45393 0.27165 0.40933 -0.14337 0.97641 -1.35238 1.06185
LLWL -1.90206 1.97220 0.89296 0.47994 -1.69910 -1.48343 0.13988 0.69561 -1.31014
LWL 0.60720 -0.28580 -1.70620 1.63012 -1.03251 -0.77968 1.41782 0.98721 -0.59789
表3 H层和O层间的权重

Tab. 3 The weights between hidden layer and output layer

H层 O层
西北印度洋 中东太平洋 南海
H1 0.16992 -0.24264 -0.10120
H2 -0.55120 2.30283 -1.69967
H3 -0.30025 2.32027 -2.03169
H4 1.84776 -1.90292 0.03078
H5 -0.15796 0.22273 -0.12153
H6 1.05078 -1.17558 0.15734
H7 -0.47428 -1.20609 1.73593
H8 -0.28751 -1.01167 1.41477
H9 0.44897 0.21886 0.99420
隐层第4个节点H4到输出层西北印度洋节点的权重为1.84776, 对识别出西北印度洋贡献尤为显著, 中东太平洋鸢乌贼主要靠H2、H3和H4识别出, 权重分别为2.30283、2.32027和-1.90292; H3和H7影响对南海海域的判别, 权重分别为-2.03169和1.73593(表3)。若某一隐层节点i对海域a的识别有大贡献, $\left| {{v}_{ia}}-{{v}_{ib}} \right|$(v为两节点间权重, b代表其他海域)的值相对较大, 如$\left| {{v}_{41}}-{{v}_{42}} \right|\approx 3.75$, 即H层中第4个节点H4到西北印度洋和中东太平洋的权重大小之差为3.75; $\left| {{v}_{32}}-{{v}_{33}} \right|\approx 4.32$, 即H层中第3个节点H3到中东太平洋和南海的权重大小之差为4.32; 但贡献不大的H1节点与O层三节点的权重相互之间差异不大。
9个H层节点和3个O层节点的阈值, 后者分别表示3个海区的判别阈值, 西北印度洋为-0.293, 中东太平洋为-0.362, 南海为1.569(图3)。
2.2.2 网络训练情况
y轴的均方误差为O层实际输出和期望值的方差, BP神经网络随着迭代次数的增加而收敛, 经过1492次迭代后就已收敛至目标误差, 其误差为4.416×10-2 (图4)。

2.3 成型网络的识别效果

2.3.1 对于训练集的识别效果
运用动量自适应BP神经网络对鸢乌贼进行海区识别的总体准确率可达到92.77%, 其中西北印度洋、中东太平洋和南海识别率分别为88.89%、89.95%和96.80%(表4)。中东太平洋和南海鸢乌贼发生相互误判的数据为24组, 占所有误判数据的66.66%。
表4 动量自适应学习方法下训练集识别结果

Tab. 4 The recognition results of the training set with the momentum adaptive learning method

海区 样本总数 识别样本数 识别率
西北印度洋 中东太平洋 南海
西北印度洋 90 80 8 2 88.89%
中东太平洋 189 2 170 17 89.95%
南海 219 0 7 212 96.80%
2.3.2 对于测试集的识别效果
由于对训练集的识别效果良好, 用测试集进一步测试识别效果。对鸢乌贼角质颚测试集进行海区识别的总体准确率可达到93.24%, 其中西北印度洋、中东太平洋和南海识别率分别为100%、88.89%和94.12%。西北印度洋的角质颚识别率最高, 达到零误差, 而且中东太平洋和南海的鸢乌贼不会被误判到西北印度洋海区(表5)。
表5 动量自适应学习方法下测试集识别结果

Tab. 5 The recognition results of the test set with the momentum adaptive learning method

海区 样本总数 识别样本数 识别率
西北印度洋 中东太平洋 南海
西北印度洋 13 13 0 0 100%
中东太平洋 27 0 24 3 88.89%
南海 34 0 2 32 94.12%
2.3.3 其他学习方法的识别效果
若只采用传统的梯度下降法(δ法), 西北印度洋、中东太平洋和南海的识别率分别为46.15%、70.37%和88.24%, 总识别率为74.32%。引入动量因子后, 西北印度洋的识别率上升至53.85%, 中东太平洋的识别率仍为70.37%, 南海的识别率小幅上升至91.12%, 总识别率为77.03%, 比传统方法上升约3%(表6)。
表6 各种BP学习方法的识别效果

Tab. 6 The recognition results with different sorts of BPNN learning methods

学习方法 各海区识别率 总识别率
西北印度洋 中东太平洋 南海
梯度下降法 46.15% 70.37% 88.24% 74.32%
单一动量法 53.85% 70.37% 91.12% 77.03%
单一自适应法 84.62% 81.48% 94.12% 87.84%
动量自适应法 100% 88.89% 94.12% 93.24%
为学习率加入自适应调节后, 西北印度洋、中东太平洋和南海的识别率分别大幅上涨至84.62%、81.48%和94.12%, 该学习方法的总识别率为74.32%, 比传统方法识别率高10%。
2.3.4 仅使用角质颚数据的识别效果
若是不采用胴长数据, 只用10个角质颚参数进行BP神经网络动量自适应法分析识别, 西北太平洋、中东太平洋和南海的识别率分别为84.62%、81.48%和91.18%, 均有7%~15%不同幅度的下降。

3 讨论

3.1 BP神经网络中动量自适应学习方法与传统学习方法δ的比较

传统的BP神经网络学习算法具有容易陷入局部最优解和学习速度慢的缺点, 为证明动量和自适应学习率引入的必要性, 将其识别效果和传统学习方法、单一动量学习方法和单一自适应学习方法(学习率可变)进行对比。
动量法即在权值修正量中引入动量因子, 以减小振荡趋势, 改善其收敛性, 从而提高网络训练速度。自适应法将学习率从传统BPNN中的固定值变为动态值, 从而避免了在平坦区域内学习率太小导致训练次数增加, 和在误差变化剧烈的区域中学习率太大导致忽略极高或极小区域的问题, 这两个问题会延长达到目标方差的时间, 增加迭代次数。用传统学习方法的鸢乌贼分类器对西北印度洋鸢乌贼的识别率低至46.15%, 不及动量自适应方法的50%(表5)。而总体上看, 动量自适应方法的识别率也比传统方法上升19%, 且各个海域的识别率均有上升。其中动量(学习率可变)的引入尤为关键, 单一动量的引入就使总识别率上升10%。因此, 动量和可变学习率的引入对分类器识别率的提升至关重要, 这也验证了传统BP神经网络容易陷入局部最优解的问题。

3.2 模式识别和其他判别方式的比较

传统的分子生物学方法判别头足类的种类实验操作比较复杂, 并且在分类地位比较相近的种类, 尤其种群之间的判别效果不明显。角质颚形态结构稳定, 且数据采集方式便利, 所以, 利用角质颚形态来判别头足类的种类和种群比分子生物学方法便捷许多。有学者利用角质颚形态特征差异划分了西北部印度洋、中西太平洋和热带东太平洋3个海区的鸢乌贼种群, 结果总体交叉验证判别正确率为63.5%(Liu et al, 2018)。然而, 本研究所采用的方法更加准确, 判别准确率提高了近20%。但是, 动量自适应BP神经网络的不足之处在于需要采集大量样本对网络进行训练。而且, 由于构建BP神经网络缺乏统一的标准, 各节点间的权重和各节点的阈值的初始值为随机数, 所以每次训练得到的NN识别率会有3%以内的误差。不过这一缺点可以通过多次训练, 保存识别率最高的网络来弥补。

3.3 胴长对识别结果的影响

由于角质颚能长久储存生物特征, 且已有研究证明角质颚能存储体长信息(Clarke, 1962; 徐杰 等, 2016; 李建华 等, 2018), 故去除胴长参数、仅用角质颚进行判别。然而其识别率比加入胴长数据的总识别率下降近7%, 这可能是因为不同海域的鸢乌贼体型大小差异所致。虽然大多数鸢乌贼角质颚大小与胴长成正相关, 但是仍有少数鸢乌贼胴长较长, 角质颚却较小, 导致误判。

4 结论与展望

本研究首次基于BP神经网络实现鸢乌贼海域分类器, 并加入动量和可变学习率对其进行改进, 同时为头足类种群判别提供新方法。利用前馈反向神经网络结构和动量自适应学习算法, 对标准化后的鸢乌贼角质颚和胴长形态参数进行训练, 经过1492次迭代后就已收敛至目标误差, 其误差为4.416×10-2, 用测试集检测得出的神经网络的总正确率为93.24%。网络对西北印度洋、中东太平洋和南海等3个海区的识别正确率分别为100%、88.89%和94.12%, 高于传统学习方法、单一动量学习方法和单一自适应学习方法。经实验证明, 学习率自适应对判别正确率的影响更大。若去除胴长参数, 总识别率为86.49%。可见, 虽然鸢乌贼角质颚能储存较完整的年龄和胴长信息, 但是有一定局限性。
在实际应用时, 根据4个数据矩阵(表2、表3和图3)可以直接得出西北印度洋、中东太平洋和南海等3个海区鸢乌贼所属海域的分类器, 省去数据采集、存储和训练神经网络所需的时间, 将所要识别的鸢乌贼的相关数据根据训练样本根据训练集各特征值的极值(表1)归一化后, 代入分类器即可, 进行高效率、低设备处理和存储能力要求的识别工作。
此方法目前只支持西北印度洋、中东太平洋和南海等3个海区鸢乌贼之间的识别, 若加入其他海域的鸢乌贼数据, 或用于其他头足类的不同海域间的识别, 结果如何还有待进一步研究。

References

Publishing order | Descend order by publishing year | Descend order by cited within
[1]
陈芃, 方舟, 陈新军, 2015. 基于角质颚外部形态学的柔鱼种群判别[J]. 海洋渔业, 37(1):1-9.

CHEN PENG, FANG ZHOU, CHEN XINJUN, 2015. Population identification of Ommastrephes bartramii based on beak's external morphological characters[J]. Marine Fisheries, 37(1):1-9 (in Chinese with English abstract).

[2]
陈艳, 2020. 基于BP神经网络的人脸识别方法分析[J]. 信息与电脑, 32(23):158-159.

CHEN YAN, 2020. Analysis of face recognition method based on BP neural network[J]. China Computer & Communication, 32(23):158-159 (in Chinese with English abstract).

[3]
关小芳, 2014. 动量自适应学习速率梯度下降法神经网络电力负荷预测[J]. 电气开关, 52(5):49-51.

GUAN XIAOFANG, 2014. BP neural network power load forecasting based on momentum and adaptive learning rate[J]. Electric Switchgear, 52(5):49-51 (in Chinese with English abstract).

[4]
李建华, 陈新军, 陈芃, 等, 2018. 赤道海域茎柔鱼角质颚形态及生长特征分析[J]. 海洋渔业, 40(4):385-393.

LI JIANHUA, CHEN XINJUN, CHEN PENG, et al, 2018. Morphological and growth characteristics of Dosidicus gigas beak in the equatorial waters[J]. Marine Fisheries, 40(4):385-393 (in Chinese with English abstract).

[5]
李敏, 张鹏, 张俊, 等, 2019. 南海鸢乌贼的遗传差异: 种群分化还是种间分化[J]. 中国水产科学, 26(1):133-140.

LI MIN, ZHANG PENG, ZHANG JUN, et al, 2019. Genetic differentiation of the purpleback flying squid, Sthenoteuthis oualaniensis, in the South China Sea: population or species divergence[J]. Journal of Fishery Sciences of China, 26(1):133-140 (in Chinese with English abstract).

[6]
刘必林, 陈新军, 2009. 头足类角质颚的研究进展[J]. 水产学报, 33(1):157-164.

LIU BILIN, CHEN XINJUN, 2009. Review on the research development of beaks in Cephalopoda[J]. Journal of Fisheries of China, 33(1):157-164 (in Chinese with English abstract).

[7]
毛振宇, 李方利, 叶玉明, 等, 2019. 基于BP神经网络算法的电缆局部放电类型模式识别[J]. 机电信息, (27):20-22.

[8]
邱靖, 刘继荣, 曹志勇, 等, 2019. 基于卷积神经网络的水稻病害图像识别研究[J]. 云南农业大学学报(自然科学), 34(5):884-888.

QIU JING, LIU JIRONG, CAO ZHIYONG, et al, 2019. Rice disease image recognition research based on convolutional neural network[J]. Journal of Yunnan Agricultural University (Natural Science), 34(5):884-888 (in Chinese with English abstract).

[9]
王莉, 张紫烨, 郭晓东, 等, 2019. 基于粒子群优化BP神经网络的心电信号分类方法[J]. 自动化与仪表, 34(9):84-87.

WANG LI, ZHANG ZIYE, GUO XIAODONG, et al, 2019. Electrocardiographic signal classification method based on particle swarm optimization BP neural network[J]. Automation & Instrumentation, 34(9):84-87 (in Chinese with English abstract).

[10]
王莉莉, 刘洪波, 陈德运, 等, 2018. 自适应与附加动量BP神经网络的ECT流型辨识[J]. 哈尔滨理工大学学报, 23(1):105-110.

WANG LILI, LIU HONGBO, CHEN DEYUN, et al. 2018. Identification of flow Regimes based on adaptive learning and additional momentum BP neural network for electrical capacitance tomography[J]. Journal of Harbin University of Science and Technology, 23(1):105-110 (in Chinese with English abstract).

[11]
王振华, 曲念毅, 钟元芾, 等, 2020. 一种改进深度卷积神经网络的海岛识别方法[J]. 上海海洋大学学报, 29(3):474-480.

WANG ZHENGHUA, QU NIANYI, ZHONG YUANFU, et al, 2020. A method for identification of island by improving deep convolutional neural network[J]. Journal of Shanghai Ocean University, 29(3):474-480 (in Chinese with English abstract).

[12]
徐杰, 刘尊雷, 李圣法, 等, 2016. 东海剑尖枪乌贼角质颚的外部形态及生长特性[J]. 海洋渔业, 38(3):245-253.

XU JIE, LIU ZUNLEI, LI SHENGFA, et al, 2016. Morphology and growth characteristics of Uroteuthis edulis beak in the East China Sea[J]. Marine Fisheries, 38(3):245-253 (in Chinese with English abstract).

[13]
许嘉锦, 2003. Octopus与Cistpous属章鱼口器地标点之几何形态学研究[D]. 台北, 中国: 国立中山大学海洋生物研究所: 1-72.

HSU C C. 2003. Geomorphometric study of Octopus and Cistopus (Cephalopoda: Octopodidae) based on landmarks of beaks[D]. Taipei, China: Institute of Marine biology, National Sun Yat sen University: 1-72 (in Chinese).

[14]
叶斌, 雷燕, 2004. 关于BP网中隐含层层数及其节点数选取方法浅析[J]. 商丘职业技术学院学报, 3(6):52-53, 60.

YE BIN, LEI YAN, 2004. Analysis of choosing the number of the hiddenlayers and its nodes number in back propagation network[J]. Journal of Shangqiu Vocational and Technical College, 3(6):52-53, 60 (in Chinese with English abstract).

[15]
袁曾任, 1999. 人工神经元网络及其应用[M]. 北京: 清华大学出版社.

[16]
张德丰, 2018. MATLAB R2017a人工智能算法[M]. 北京: 电子工业出版社. ZHANG DEFENG, 2018.

[17]
郑小东, 王如才, 刘维青, 2002. 华南沿海曼氏无针乌贼 Sepiella maindroni表型变异研究[J]. 青岛海洋大学学报, 32(5):713-719.

ZHENG XIAODONG, WANG RUCAI, LIU WEIQING, 2002. Study on the phenotypic variation in the common Chinese cuttlefish Sepiella maindroni in south China coastal waters[J]. Journal of Ocean University of Qingdao, 32(5):713-719 (in Chinese with English abstract).

[18]
周开利, 康耀红, 2005. 神经网络模型及其matlab仿真程序设计[M]. 北京: 清华大学出版社.

[19]
CLARKE M R, 1962. The identification of cephalopod “beaks” and the relationship between beak size and total body weight[J]. Bulletin of the British Museum (Natural History) Zoology, 8:419-480.

[20]
CYBENKO G, 1989. Approximation by superpositions of a sigmoidal function[J]. Mathematics of Control, Signals and Systems, 2(4):303-314.

DOI

[21]
KUBODERA T, FURUHASHI M, 1987. A manual for identification of Myctophid fishes and squids in the stomach contents[R]. Tokyo, Japanese: Japanese Fisheries Agency: 1-65 (in Japanese).

[22]
LIU BILIN, CHEN XINJUN, YI QIAN, 2013. A comparison of fishery biology of jumbo flying squid, Dosidicus gigas outside three Exclusive Economic Zones in the Eastern Pacific Ocean[J]. Chinese Journal of Oceanology and Limnology, 31(3):523-533.

DOI

[23]
LIU BILIN, FANG ZHOU, CHEN XINJUN, et al, 2015. Spatial variations in beak structure to identify potentially geographic populations of Dosidicus gigas in the Eastern Pacific Ocean[J]. Fisheries Research, 164:185-192.

DOI

[24]
LIU BILIN, CHEN XINJUN, WANG XUEHUI, et al, 2018. Geographic, intraspecific and sexual variation in beak morphology of purpleback flying squid (Sthenoteuthis oualaniensis) throughout its distribution range[J]. Marine and Freshwater Research, 70(3):417-425.

DOI

Options
Outlines

/

〈 〉