检查系统、检查方法及检查程序与流程

1.本发明涉及一种检查系统、检查方法及检查程序。


背景技术：

2.传统上，已知一种检查系统，其通过对印刷基板等检查对象物进行摄影，并将其与基准图像进行比较，从而对检查对象物是合格产品还是不合格产品进行检查。
3.在该检查系统中，例如，通过以不将不合格产品作为合格产品的方式，先过度地检测出缺陷候选，并最终由检查员对检测出的缺陷候选的图像进行目视检查，从而实现防止缺陷的漏检。
4.《现有技术文献》
5.《专利文献》
6.专利文献1：日本特开2013-098267号公报
7.专利文献2：日本特开2020-052474号公报


技术实现要素：

8.《本发明要解决的问题》
9.然而，在上述检查系统的情况下，由于在合格产品的范围内的制造偏差等也会被检测为缺陷候选，因此存在要由检查员进行目视检查的缺陷候选的图像较多，检查员的工作负担较高的问题。
10.根据一个方面，本发明的目的在于降低检查员在检查系统中的工作负担。
11.《用于解决问题的手段》
12.根据一个实施方式，提供一种检查系统，包括：图像再现部，以从第一遮盖图像再现遮盖前的第一图像的方式被进行了训练，所述第一遮盖图像通过将拍摄检查对象物而得到的图像之中的、判断为未包含缺陷的第一图像的一部分遮盖而生成；以及判定部，基于通过将第二遮盖图像输入至所述图像再现部而再现的再现图像、以及第二图像，对在所述第二图像中是否包含缺陷进行判定，所述第二遮盖图像通过将拍摄新的检查对象物而得到的所述第二图像的一部分遮盖而生成。
13.《发明的效果》
14.能够降低检查员在检查系统中的工作负担。
附图说明
15.图1是示出训练阶段中的检查系统的系统构成的一个示例的图。
16.图2是示出训练装置的硬件构成的一个示例的图。
17.图3是示出由训练装置的训练用数据集生成部进行的处理的具体示例的图。
18.图4是示出由训练装置的训练部进行的处理的具体示例的第1图。
19.图5是示出检查阶段中的检查系统的系统构成的一个示例的图。
20.图6是示出推断装置的硬件构成的一个示例的图。
21.图7是示出由推断装置的推断部进行的处理的具体示例的第1图。
22.图8是示出检查系统中的训练处理的流程的第1流程图。
23.图9是示出检查系统中的检查处理的流程的第1流程图。
24.图10是示出由训练装置的训练部进行的处理的具体示例的第2图。
25.图11是示出由推断装置的推断部进行的处理的具体示例的第2图。
26.图12是示出检查系统中的训练处理的流程的第2流程图。
27.图13是示出检查系统中的检查处理的流程的第2流程图。
28.符号说明
29.100：检查系统
30.110：aoi装置
31.120：训练装置
32.121：训练用数据集生成部
33.122：训练部
34.310：训练用数据集
35.410：遮盖部
36.420：图像再现部
37.500：检查系统
38.510：推断装置
39.511：推断部
40.512：输出部
41.710：遮盖部
42.720：训练完成图像再现部
43.730：判定部
具体实施方式
44.以下，参照附图对各实施方式具体进行说明。需要说明的是，在本说明书和附图中，有时针对具有实质上相同的功能构成的构成要素，赋予相同的符号以省略重复的说明。
45.[第1实施方式]
[0046]
《训练阶段中的检查系统的系统构成》
[0047]
首先，对根据第1实施方式的检查系统的训练阶段中的系统构成进行说明。图1是示出训练阶段中的检查系统的系统构成的一个示例的图。
[0048]
如图1所示，训练阶段中的检查系统100具有自动光学检查(aoi：automated optical inspection)装置110、以及训练装置120。
[0049]
aoi装置110对印刷基板130进行自动外观检查。aoi装置110通过利用摄像头对印刷基板130进行扫描并对各种检查项目进行检查，从而检查候选缺陷。由aoi装置110检查的检查项目例如包括电路宽度、电路间隔、缺焊盘/无焊盘、电路短路等。
[0050]
包括由aoi装置110检测出的缺陷候选的各区域的图像140被发送到训练装置120，并且被发送到检查线。在检查线上，检查员111等检查员对包含缺陷候选的各区域的图像
140进行目视检查。需要说明的是，假设aoi装置110被设定为以不将不合格产品作为合格产品的方式，过度地检测出包含缺陷候选的各区域的图像。
[0051]
检查员111对在各区域的图像140中是否包含缺陷进行目视检查，并且最终对印刷基板130是合格产品还是不合格产品进行判断。具体来说，在包含缺陷候选的各区域的图像140中均未包含缺陷的情况下，判断为印刷基板130是合格产品。另外，在包含缺陷候选的各区域的图像140中的任意一者中包含缺陷的情况下，判断为印刷基板130是不合格产品。
[0052]
需要说明的是，检查员111将目视检查的结果(对在各区域的图像140中是否包含缺陷进行判断的结果)通知给训练装置120。在图1的示例中，“目视检查结果：ok”表示判断为在包含缺陷候选的区域的图像中未包含缺陷，“目视检查结果：ng”表示判断为在包含缺陷候选的区域的图像中包含缺陷。
[0053]
在训练装置120中安装有训练程序，并且训练装置120通过执行该程序，从而起到训练用数据集生成部121和训练部122的功能。
[0054]
训练用数据集生成部121从由aoi装置110发送的包含缺陷候选的各区域的图像140中提取检查员111的目视检查的结果、以及判断为未包含缺陷的图像。另外，训练用数据集生成部121将提取出的各区域的图像与目视检查结果相关联，并将其作为训练用数据集存储在训练用数据集存储部123中。
[0055]
训练部122将存储在训练用数据集存储部123中的训练用数据集中包含的各区域的图像读出。另外，训练部122通过将各区域的图像的一部分遮盖而生成遮盖图像，并且以从生成的遮盖图像再现遮盖前的图像的方式对模型进行训练处理。
[0056]
需要说明的是，对于由训练部122对其进行训练处理的模型，例如使用对图像的留出空白区域进行补全的模型等。在该模型中，在输入一部分的区域被留出空白的图像的情况下，基于被留出空白的区域的周边区域对被留出空白的区域进行补全，以再现被留出空白前的原始图像。以下，将该模型称为“图像再现部”。
[0057]
《训练装置的硬件构成》
[0058]
接着，对训练装置120的硬件构成进行说明。图2是示出训练装置的硬件构成的一个示例的图。如图2所示，训练装置120具有处理器201、存储器202、辅助存储装置203、i/f(interface：接口)装置204、通信装置205、以及驱动器装置206。需要说明的是，训练装置120的各硬件经由总线207相互连接。
[0059]
处理器201具有cpu(central processing unit：中央处理单元)、gpu(graphics processing unit：图形处理单元)等各种运算设备。处理器201将各种程序(例如训练程序等)读出至存储器202并对其进行执行。
[0060]
存储器202具有rom(read only memory：只读存储器)、ram(random access memory：随机存取存储器)等主存储设备。处理器201和存储器202构成所谓的计算机，并且处理器201通过对读出至存储器202的各种程序进行执行，使得计算机实现例如上述的各功能(训练用数据集生成部121、训练部122)。
[0061]
辅助存储装置203对各种程序、或在处理器201执行各种程序时所使用的各种数据进行存储。例如，训练用数据集存储部123在辅助存储装置203中实现。
[0062]
i/f装置204是连接作为外部装置的一个示例的操作装置210和显示装置211与训练装置120的连接设备。i/f装置204经由操作装置210接受针对训练装置120的操作(例如，
输入检查员111的目视检查的结果的操作、或训练装置120的管理者(未图示)输入训练处理的指示的操作等)。另外，i/f装置204输出训练装置120的训练处理的结果等，并经由显示装置211将其显示给训练装置120的管理者。
[0063]
通信装置205是用于与另一装置(本实施方式中的aoi装置110)进行通信的通信设备。
[0064]
驱动器装置206是用于设置记录介质212的设备。此处所称的记录介质212包括诸如cd-rom、软盘、磁光盘等以光学、电学或磁性的方式对信息进行记录的介质。另外，记录介质212可以包括诸如rom、快闪存储器等以电学的方式对信息进行记录的半导体存储器等。
[0065]
需要说明的是，安装在辅助存储装置203中的各种程序例如通过将分发的记录介质212设置在驱动器装置206中并通过驱动器装置206读出在该记录介质212中记录的各种程序来安装。或者，安装在辅助存储装置203中的各种程序可以通过经由通信装置205从网络进行下载来安装。
[0066]
《训练装置的各部分的细节》
[0067]
接着，对训练装置120的各部分(在此为训练用数据集生成部121和训练部122)的细节进行说明。
[0068]
(1)由训练用数据集生成部进行的处理的具体示例
[0069]
图3是示出由训练装置的训练用数据集生成部进行的处理的具体示例的图。如图3所示，如果从aoi装置110发送例如包含缺陷候选的各区域的图像301～306，则在训练用数据集生成部121中提取“目视检查结果：ok”的图像。
[0070]
图3的示例示出了各区域的图像301～306之中的图像301、302、304、305是“目视检查结果：ng”的图像。因此，在训练用数据集生成部121中，提取各区域的图像303、306(“目视检查结果：ok”的图像)，以生成训练用数据集310。
[0071]
如图3所示，训练用数据集310具有“id”、“图像”、“目视检查结果”作为信息项。
[0072]
在“id”中存储有对各区域的图像进行标识的标识符。在“图像”中存储有各区域的图像。在“目视检查结果”中存储有各区域的图像的目视检查的结果。需要说明的是，由于在训练用数据集310中仅存储有“目视检查结果：ok”的图像，因此在“目视检查结果”中仅存储有“ok”。
[0073]
这样一来，训练用数据集生成部121使用
[0074]
·
由aoi装置110检测出的包含候选缺陷的各区域的图像、以及
[0075]
·
由检查员111判断为未包含缺陷的图像(“目视检查结果：ok”的图像)
[0076]
来生成训练用数据集310。
[0077]
(2)由训练部进行的处理的具体示例
[0078]
图4是示出由训练装置的训练部进行的处理的具体示例的第1图。如图4所示，训练部122具有遮盖部410、图像再现部420、以及比较/变更部430。
[0079]
遮盖部410读出在训练用数据集存储部123中存储的训练用数据集310的“图像”中存储的各区域的图像(第一图像的一个示例。例如图像440)。另外，遮盖部410通过将读出的图像440的一部分遮盖，从而生成遮盖图像(第一遮盖图像的一个示例。例如，遮盖图像440_1～440_n)。另外，遮盖部410将生成的遮盖图像440_1～440_n输入到图像再现部420。遮盖部410对读出的图像440进行遮盖时的遮盖位置是随机的，例如遮盖部410在大约9～16个位
置处进行遮盖。
[0080]
图像再现部420基于遮盖图像440_1～440_n再现遮盖前的图像441_1～441_n，并将其输出到比较/变更部430。
[0081]
比较/变更部430将由图像再现部420再现的图像441_1～441_n与由遮盖部410读出的遮盖前的图像440进行比较，并且以使两者一致的方式对图像再现部420的模型参数进行更新。
[0082]
由此，图像再现部420以从由遮盖部410生成的遮盖图像440_1～440_n再现遮盖前的图像440的方式被进行训练处理。这样一来，通过设成使用图像再现部420的构成，从而能够通过训练装置120进行无监督的训练(学习)处理。另外，能够仅使用不包含缺陷的各区域的图像(“目视检查结果：ok”的图像)来进行训练处理。由此，与收集包含各种类型的缺陷的各区域的图像(“目视检查结果：ng”的图像)来进行训练处理的情况相比，能够降低训练成本。
[0083]
需要说明的是，以再现遮盖前的图像的方式被进行训练处理的训练完成图像再现部将在后述的检查阶段中被使用。
[0084]
《检查阶段中的检查系统的系统构成》
[0085]
接着，对根据第1实施方式的检查系统的检查阶段中的系统构成进行说明。图5是示出检查阶段中的检查系统的系统构成的一个示例的图。
[0086]
如图5所示，检查阶段中的检查系统500具有aoi装置110和推断装置510。
[0087]
其中，由于aoi装置110与训练阶段中的检查系统100的aoi装置110相同，因此在此省略其说明。
[0088]
在推断装置510中安装有检查程序，并且通过执行该程序时，使得推断装置510起到推断部511和输出部512的功能。
[0089]
推断部511具有在训练阶段生成的训练完成图像再现部。推断部511通过对作为检查对象物的印刷基板530进行自动外观检查来取得从aoi装置110发送的各区域的图像540。另外，推断部511通过将取得的各区域的图像540的一部分遮盖来生成遮盖图像，然后将遮盖图像输入到训练完成图像再现部。另外，推断部511通过将由训练完成图像再现部再现的图像与遮盖前的图像540进行比较，从而对在各区域的图像540中是否包含缺陷进行判定。此外，推断部511将判定结果通知给输出部512。
[0090]
输出部512将由推断部511通知的判定结果输出到检查线。在检查线上，检查员111对包含缺陷候选的各区域的图像进行目视检查。但是，在检测阶段中，在检测线上，参照由输出部512输出的判断结果，将包含候选缺陷的各区域的图像540之中的、由推断装置510判定为未包含缺陷的图像排除。然后，在检查线上，将包含缺陷候选的各区域的图像540之中的、由推断装置510判定为包含缺陷的图像550分配给目视检查。换言之，在输出部512输出图像550，从而针对判定为包含缺陷的图像550进行目视检查。
[0091]
这样一来，当在aoi装置110中对印刷基板530进行自动外观检查，并且检测出包括缺陷候选的各区域的图像时，在检查线上，将由推断装置510判定为包含缺陷的图像分配给目视检查。由此，通过检查系统500，能够减少分配给目视检查的图像的数量，从而能够降低检查员111的目视检查的工作负担。
[0092]
《推断装置的硬件构成》
[0093]
接着，对推断装置510的硬件构成进行说明。图6是示出推断装置的硬件构成的一个示例的图。需要说明的是，如图6所示，由于推断装置510的硬件构成与训练装置120的硬件构成基本相同，因此在此以与训练装置120的硬件构成之间的不同点为中心进行说明。
[0094]
处理器601将各种程序(例如检查程序等)读出至存储器602上并对其进行执行。处理器601通过对读出至存储器602上的各种程序进行执行，使得由处理器601和存储器602构成的计算机实现例如上述的各功能(推断部511、输出部512)。
[0095]
《推断装置的各部分的细节》
[0096]
接着，对推断装置510的各部分(在此为推断部511)的细节进行说明。图7是示出由推断装置的推断部进行的处理的具体示例的第1图。如图7所示，推断部511具有遮盖部710、训练完成图像再现部720、以及判定部730。
[0097]
遮盖部710取得从aoi装置110发送的包含缺陷候选的各区域的图像(第二图像的一个示例。例如图像741)，并且通过将所取得的图像的一部分遮盖以生成遮盖图像(第二遮盖图像的一个示例。例如遮盖图像741_1～741_n)。另外，遮盖部710将生成的遮盖图像741_1～741_n输入到训练完成图像再现部720。
[0098]
训练完成图像再现部720是通过在训练阶段中对图像再现部420进行训练处理而生成的训练完成模型。训练完成图像再现部720基于遮盖图像741-1～741_n再现遮盖前的图像(第二再现图像的一个示例。例如图像751-1～751_n)。
[0099]
判定部730将由训练完成图像再现部720再现的图像751_1～751_n与由遮盖部710取得的遮盖前的图像741进行比较，以判定是否包含缺陷。
[0100]
具体来说，判定部730首先计算再现的图像751_1与遮盖前的图像741的各像素的像素值的均方误差(mse：mean square error)。接着，判定部730计算再现的图像751_2与遮盖前的图像741的各像素的像素值的均方误差(mse)。以下，同样地，计算再现的图像751_3与遮盖前的图像741的各像素的像素值的均方误差(mse)～再现的图像751_n与遮盖前的图像741的各像素的像素值的均方误差(mse)。
[0101]
接着，判定部730对计算出的各mse是否均为预定的阈值(th)以下进行判定。在判定为计算出的各mse均为预定的阈值以下的情况下，判定为在图像741中未包含缺陷(“判定结果：ok”)。另一方面，在判定为计算出的各mse之中的任意一个mse超过预定的阈值的情况下，判定为在图像741中包含缺陷(“判定结果：ng”)。
[0102]
这样一来，在推断部511中，将再现图像与遮盖前的图像进行比较，以判定是否包含缺陷。由此，例如，与将遮盖前的图像与基准图像进行比较以判定是否包含缺陷的情况相比，能够输出与在合格产品的范围内的制造偏差等相对应的判定结果。
[0103]
换言之，通过检查系统500，能够针对以实现防止缺陷的漏检的方式检测出的包含缺陷候选的各区域的图像，将有可能成为“目视检查结果：ok”的图像(“判定结果：ok”的图像)从目视检查的分配中适当地排除。由此，通过检查系统500，能够减少分配给目视检查的图像的数量，从而能够降低检查员的工作负担。
[0104]
《训练处理的流程》
[0105]
接着，对检查系统100中的训练处理的流程进行说明。图8是示出检查系统中的训练处理的流程的第1流程图。
[0106]
在步骤s801中，训练装置120的训练用数据集生成部121从aoi装置110取得包含缺
陷候选的各区域的图像。
[0107]
在步骤s802中，训练装置120的训练用数据集生成部121从取得的各区域的图像中提取“目视检查结果：ok”的图像，并生成训练用数据集。
[0108]
在步骤s803中，训练装置120的训练部122通过将训练用数据集中包含的各区域的图像的一部分遮盖来生成遮盖图像，并以从生成的遮盖图像再现遮盖前的图像的方式对图像再现部进行训练处理。
[0109]
在步骤s804中，训练装置120的训练部122对是否结束训练处理进行判定。如果在步骤s804中判定为继续训练处理(如果在步骤s804中为“否”)，则处理返回到步骤s801。
[0110]
另一方面，如果在步骤s804中判定为结束训练处理(如果在步骤s804中为“是”)，则处理进行到步骤s805。
[0111]
在步骤s805中，训练装置120的训练部122输出训练完成图像再现部，并结束训练处理。
[0112]
《检查处理的流程》
[0113]
接着，对检查系统500中的检查处理的流程进行说明。图9是示出检查系统中的检查处理的流程的第1流程图。
[0114]
在步骤s901中，推断装置510的推断部511从aoi装置110取得包含缺陷候选的各区域的图像。
[0115]
在步骤s902中，推断装置510的推断部511通过将取得的各区域的图像的一部分遮盖来生成遮盖图像，并通过将生成的遮盖图像输入到训练完成图像再现部来再现遮盖前的图像。
[0116]
在步骤s903中，推断装置510的推断部511通过将再现的图像与遮盖前的图像进行比较，并计算mse，从而判定在遮盖前的图像中是否包含缺陷。
[0117]
具体来说，在推断装置510的推断部511中，例如，将取得的图像分割为在纵向上分割为3份、在横向上分割为3份的共计9份。接着，在推断装置510的推断部511中，对于针对通过将任何一个分割区域遮盖而生成的遮盖图像计算mse的处理，一边依次改变遮盖的分割区域一边将该处理进行9次。然后，在针对任意一个遮盖图像其mse超过阈值的情况下，在推断装置510的推断部511中，判定为在该取得的图像中包含缺陷(“判定结果：ng”)。
[0118]
在步骤s904中，推断装置510的输出部512报告判定结果。由此，将通过进行自动外观检查而由aoi装置110检测出的包含缺陷候选的各区域的图像分类为判定为不包含缺陷的图像(“判定结果：ok”的图像)和判定为包含缺陷的图像(“判定结果：ng”的图像)。因此，能够仅将判定为包含缺陷的图像(“判定结果：ng”的图像)分配给目视检查。
[0119]
在步骤s905中，推断装置510的推断部511判定是否结束检查处理。如果在步骤s905中判定为继续检查处理(如果在步骤s905中为“否”)，则处理返回到步骤s901。
[0120]
另一方面，如果在步骤s905中判定为结束检查处理(如果在步骤s905中为“是”)，则结束检查处理。
[0121]
《总结》
[0122]
从以上说明可以清楚地看出，根据第1实施方式的检查系统进行如下处理。
·
通过将拍摄印刷基板而得到的图像之中的、判断为未包含缺陷的图像的一部分遮盖而生成遮盖图像。另外，以从生成的遮盖图像再现遮盖前的图像的方式对图像再现部进行训练处理。
[0123]
·
通过将拍摄新的印刷基板而得到的图像的一部分遮盖而生成遮盖图像。另外，通过将生成的遮盖图像输入至训练完成图像再现部来再现遮盖前的图像，并且通过将再现的图像与遮盖前的图像进行比较，从而对在遮盖前的图像中是否包含缺陷进行判定。
[0124]
这样一来，通过将再现的图像与遮盖前的图像进行比较来判断是否包含缺陷，从而能够输出与在合格产品的范围内的制造偏差等相对应的判定结果。
[0125]
换言之，根据第1实施方式，能够针对以实现防止缺陷的漏检的方式检测出的包含缺陷候选的各区域的图像，将有可能成为“目视检查结果：ok”的图像(“判定结果：ok”的图像)从目视检查的分配中适当地排除。由此，根据第1实施方式，能够减少分配给目视检查的图像的数量，从而能够降低检查员的工作负担。
[0126]
[第2实施方式]
[0127]
在上述的第1实施方式中，以将通过遮盖各区域的图像的一部分而生成的遮盖图像输入到图像再现部为例进行了说明。相比之下，在第2实施方式中，针对在通过遮盖各区域的图像的一部分而生成的遮盖图像上叠加cad(computer-aided design：计算机辅助设计)数据，然后将其输入到图像再现部的情况进行说明。以下，以与第1实施方式的不同点为中心对第2实施方式进行说明。
[0128]
《由训练部进行的处理的具体示例》
[0129]
首先，对由根据第2实施方式的训练装置120的各部分之中的训练部122进行的处理的具体示例进行说明。图10是示出由训练装置的训练部进行的处理的具体示例的第2图。
[0130]
如图10所示，在第2实施方式中，假设在训练部122进行处理时，在训练用数据集存储部123中存储有训练用数据集1010。
[0131]
除了训练用数据集310的信息项之外，训练用数据集1010还包括“cad数据”作为信息项。在“cad数据”中，存储有与存储在“图像”中的各区域的图像相对应的区域的cad数据。图10的示例示出了存储有与图像1012相对应的区域的cad数据1011的情况。
[0132]
另外，如图10所示，训练部122具有遮盖部410、叠加部1020、图像再现部1030、以及比较/变更部1040。
[0133]
遮盖部410与在图4中说明的遮盖部410相同，在图10的示例中示出了通过读出在训练用数据集1010的“图像”中存储的图像1012并将其一部分遮盖而生成遮盖图像1031的情况。
[0134]
叠加部1020在由遮盖部410生成的遮盖图像之中的被遮盖的区域上叠加cad数据的相对应的区域，以生成叠加图像。在图11的示例中示出了在遮盖图像1141之中的被遮盖的区域上叠加cad数据1011的相对应的区域以生成叠加图像1032的情况。
[0135]
图像再现部1030基于由叠加部1020生成的叠加图像再现遮盖前的图像，并将其输出到比较/变更部1040。在图10的示例中示出了基于由叠加部1020生成的叠加图像1032再现遮盖前的图像1033并将其输出到比较/变更部1040的情况。
[0136]
比较/变更部1040将由图像再现部1030再现的图像1033与由遮盖部410读出的遮盖前的图像1012进行比较，并且以使两者一致的方式对图像再现部1030的模型参数进行更新。
[0137]
由此，图像再现部1030以从由叠加部1020生成的叠加图像1032再现遮盖前的图像1012的方式被进行训练处理。需要说明的是，以再现遮盖前的图像的方式被进行训练处理
的训练完成图像再现部将在后述的检查阶段中被使用。
[0138]
《推断装置的各部分的处理的具体示例》
[0139]
接着，对由推断装置510的推断部511进行的处理的具体示例进行说明。图11是示出由推断装置的推断部进行的处理的具体示例的第2图。如图11所示，推断部511具有遮盖部710、叠加部1110、训练完成图像再现部1120、以及判定部1130。
[0140]
遮盖部710与图7的遮盖部710相同，在图11的示例中示出了通过将从aoi装置110发送的图像1101的一部分遮盖来生成遮盖图像1141的情况。需要说明的是，图像1101是包含电路短路等缺陷的图像。
[0141]
叠加部1110在由遮盖部710生成的遮盖图像之中的被遮盖的区域上叠加cad数据的相对应的区域，以生成叠加图像。在图11的示例中示出了在遮盖图像1141之中的被遮盖的区域上叠加cad数据1102的相对应的区域以生成叠加图像1142的情况。
[0142]
训练完成图像再现部1120是通过在训练阶段对图像再现部1030进行训练处理而生成的训练完成模型。训练完成图像再现部1120基于由叠加部1110通知的叠加图像再现遮盖前的图像。在图11的示例中示出了基于由叠加部1110通知的叠加图像1142再现遮盖前的图像1143的情况。
[0143]
判定部1130将由训练完成图像再现部1120再现的图像1143与由遮盖部710取得的遮盖前的图像1101进行比较，以判定是否包含缺陷。在图11的示例中，示出了作为将由训练完成图像再现部1120再现的图像1143与由遮盖部710取得的遮盖前的图像1101进行比较的结果，mse超过预定的阈值，并且判定为包含缺陷的情况(“判定结果：ng”)。
[0144]
这样一来，在包含电路短路等缺陷的图像1101的情况下，仅通过在上述的第1实施方式中说明的遮盖图像，难以以再现“目视检查结果：ok”的图像的方式进行动作。其原因在于，在电路短路等缺陷的情况下，在遮盖的区域的周边不包含对遮盖的区域进行补全所需的信息。
[0145]
对此，如上所述，通过在被遮盖的区域上叠加cad数据的相对应的区域，从而能够以再现“目视检查结果：ok”的图像的方式进行动作。由此，再现的图像与遮盖前的图像之间的误差变大，从而能够对包含电路短路等缺陷的情况精确地进行判定。
[0146]
《训练处理的流程》
[0147]
接着，对根据第2实施方式的检查系统100中的训练处理的流程进行说明。图12是示出检查系统中的训练处理的流程的第2流程图。与图8所示的第1流程图的不同之处在于步骤s1201～s1203。
[0148]
在步骤s1201中，训练装置120的训练用数据集生成部121取得与在步骤s801中取得的各区域的图像相对应的cad数据。
[0149]
在步骤s1202中，训练装置120的训练用数据集生成部121从取得的各区域的图像中提取“目视检查结果：ok”的图像。另外，训练装置120的训练用数据集生成部121将提取的各区域的图像与相对应的区域的cad数据相关联以生成训练用数据集。
[0150]
在步骤s1203中，训练装置120的训练部122通过将训练用数据集中包含的各区域的图像的一部分遮盖来生成遮盖图像，然后通过叠加cad数据的相对应的区域来生成叠加图像。
[0151]
以下，由于步骤s803～s805已使用图8进行了说明，因此在此省略其说明。
[0152]
《检查处理的流程》
[0153]
接着，对根据第2实施方式的检查系统500中的检查处理的流程进行说明。图13是示出检查系统中的检查处理的流程的第2流程图。与图9所示的第1流程图的不同之处在于步骤s1301～s1302。
[0154]
在步骤s1301中，推断装置510的推断部511取得与在步骤s901中取得的各区域的图像相对应的区域的cad数据。
[0155]
在步骤s1302中，推断装置510的推断部511通过将取得的各区域的图像的一部分遮盖来生成遮盖图像，然后叠加cad数据的相对应的区域以生成叠加图像。
[0156]
以下，由于步骤s902～s905已使用图9进行了说明，因此在此省略其说明。
[0157]
《总结》
[0158]
从以上说明可以清楚地看出，根据第2实施方式的检查系统进行如下处理。
·
通过将拍摄印刷基板而得到的图像之中的、判断为未包含缺陷的图像的一部分遮盖而生成遮盖图像，然后叠加cad数据的相对应的区域以生成叠加图像。另外，以从生成的叠加图像再现遮盖前的图像的方式对图像再现部进行训练处理。
[0159]
·
通过将拍摄新的印刷基板而得到的图像的一部分遮盖而生成遮盖图像，然后叠加cad数据的相对应的区域以生成叠加图像。另外，通过将生成的叠加图像输入至训练完成的图像再现部来再现遮盖前的图像，并且通过将再现的图像与遮盖前的图像进行比较，从而对在遮盖前的图像中是否包含缺陷进行判定。
[0160]
这样一来，通过构成为以从叠加图像再现“目视检查结果：ok”的图像的方式进行训练处理，从而能够对包含电路短路等缺陷的情况精确地进行判定。因此，根据第2实施方式，能够在享受与上述第1实施方式同样的效果的同时避免错误判定。
[0161]
[第3实施方式]
[0162]
在上述第1实施方式中，以在训练阶段中遮盖部410针对一个图像(例如图像440)生成多个遮盖图像(例如遮盖图像440_1～440_n)为例进行了说明。然而，从一个图像生成的遮盖图像的数量不限于多个，例如，可以构成为从一个图像仅生成一个遮盖图像。
[0163]
另外，在上述第1实施方式中，并未提及由训练部122进行的训练处理的具体次数，但是，例如在从一个图像生成一个遮盖图像的情况下，
[0164]
·
准备10000个图像作为训练用数据集310，
[0165]
·
选择其中的20个图像，并针对各个图像，以随机的位置和随机的尺寸针对每个部位进行遮盖，
[0166]
·
使用该20个遮盖图像，将用于更新图像再现部420的模型参数的处理进行500次(＝10000个/20个)，
[0167]
·
以该些处理作为一组，重复大约10000组直到误差收敛。
[0168]
由此，推断部511能够输出精度较高的判定结果。
[0169]
在上述第2实施方式中，以在遮盖图像上叠加cad数据为例进行了说明，但是叠加在遮盖图像上的数据不限于cad数据。例如，在检查阶段，可以构成为在遮盖图像上叠加“目视检查结果：ok”的图像的相对应的区域。
[0170]
另外，在上述第1实施方式和第2实施方式中，对检查对象物为印刷基板的情况进行了说明，但是检查对象物不限于印刷基板。
[0171]
另外，在上述第1实施方式和第2实施方式中，以基于判定结果来确定要分配给目视检查的图像为例进行了说明。然而，判定结果的使用方法不限于此，例如，可以构成为向检查员111显示判定结果，以对目视检查进行辅助。
[0172]
另外，在上述第1实施方式和第2实施方式中，将训练装置120和推断装置510构成为独立的个体，但是也可以将训练装置120和推断装置510构成为一体。
[0173]
需要说明的是，本发明不限于此处所示的构成，例如不限于上述实施方式中举出的构成等与其他要素的组合。关于该些内容，可以在不脱离本发明的宗旨的范围内进行改变，并且可以根据其应用形态适当地确定。