图像内容风控解决方案

背景信息

问题背景

在诸多用户生成内容的场景，例如用户使用图像进行评论、用户发布短视频、用户直播等等，由于用户产生内容的范围不受限，难免出现涉黄、涉暴、涉政等风险极大的内容。此时需要通过人工智能算法，自动判断出用户生产的风险内容，并及时进行拦截。

解决方案

PAI提供给用户图像内容风控领域，端到端的白盒解决方案。首先客户可以利用PAI的标注平台，完成对目标场景中图像的快捷标注。然后基于PAI提供的预训练模型，客户可以针对自己的图像风控场景，在PAI可视化建模平台上进行模型的Fine-tune。从而根据自己业务风控场景，基于resnet50构建图像分类模型，基于yoloV5构建目标检测模型。最后客户可以在PAI上将模型进行在线部署，形成完整的端到端流程，从而识别出生产环境内容中涉黄、涉暴、涉政等风险内容。

方案架构

图像内容风控解决方案的架构图如下所示。

前提条件

• 已开通PAI（Studio、DSW、EAS）后付费，详情请参见 开通。

• 已开通AI工作空间，并开通MaxCompute计算资源和DLC计算资源，详情请参见 AI工作空间。

• 已创建OSS存储空间（Bucket），用于存储标签文件和训练获得的模型文件。关于如何创建存储空间，请参见 创建存储空间。

• 已开通MaxCompute，用于存储训练数据和测试数据。关于如何开通MaxCompute，请参见 快速体验MaxCompute。

• 已创建PAI-EAS专属资源组，本文训练好的模型会部署至该资源组。关于如何创建专属资源组，请参见 创建资源组。

数据准备

基于PAI-iTAG智能数据标注平台，先将原始图片数据存储在OSS中，然后利用PAI数据集管理将原始数据扫描生成索引文件，再利用PAI-iTAG进行数据标注。最终我们得到标注结果数据集，用于后续的模型训练。

如果您的业务场景是将图像整体进行风险类别的分类时，请选择图像分类的内容风控解决方案流程；如果您的业务场景是将图像中的某些高风险的实体进行框选检测时，请选择目标检测的内容风控解决方案流程。

步骤一：登录 OSS控制台

将原始图片存储在OSS中。为了后续将训练集和测试集分别注册PAI数据集及标注，需要将存储在OSS的数据集分成训练集和测试集，从而用于后续的模型构建。

步骤二：利用PAI数据集管理生成manifest索引文件

1. 登录 PAI控制台。

2. 在左侧导航栏中，选择AI资产管理->数据集管理。

3. 点击创建数据集，选择扫描文件夹创建数据集。

4. 将存储在OSS中的原始数据扫描生成manifest索引文件，并注册数据集，用于后续标注。

步骤三：利用PAI-iTAG进行数据标注

1. 登录 PAI控制台。

2. 在左侧导航栏中，选择数据准备 -> 智能标注（iTAG）。

3. 点击创建任务，在输入数据集处选择刚刚注册的数据集，然后选择所需要的标注场景图像分类/目标检测，然后完成标注任务的创建。

4. 在PAI-iTAG控制台中，点击右上角的前往标注页面，在标注页面完成标注任务。

5. 回到PAI-iTAG控制台，针对刚才标注完成的任务，点击获取标注结果，得到标注结果数据集，存储到指定的OSS目录中。

模型构建

利用PAI提供的可视化建模Studio平台，基于预训练模型，基于自己的业务场景，可以选择利用resnet50进行图像分类模型构建，也可以选择利用yoloV5进行目标检测模型构建。（本示例实验构建在上海region）

如果您的业务场景是将图像整体进行风险类别的分类时，请选择图像分类的内容风控解决方案流程；如果您的业务场景是将图像中的某些高风险的实体进行框选检测时，请选择目标检测的内容风控解决方案流程。

图像分类

步骤一：进入PAI-Designer控制台

1. 登录 PAI控制台。

2. 在左侧导航栏中，选择 模型开发和训练 ->可视化建模(Designer)。

步骤二：构建实验

1. 在可视化建模（Studio 2.0）控制台中，选择实验模板，在实验模板列表中找到图像分类，点击并创建实验。

2. 在实验列表中找到刚才创建好的模板实验，并进入实验。

3. 系统根据预置的模板，自动构建实验，如下图所示。运行过程中，可以点击组件右键，查看运行日志。

区域①：选择标注结果数据集的OSS路径。例如选择：oss://pai-online-shanghai.oss-cn-shanghai-internal.aliyuncs.com/ev_demo/图像智能审核检测标注_1626960686929.manifest

区域②：将数据集拆分成图像分类所需要的训练集和测试集。

数据转tfrecord-字段设置：

数据转tfrecord-参数设置：

数据转tfrecord-执行调优：

区域③：对图像分类训练模型的参数进行选择。

模型训练-字段设置：

模型训练-参数设置：

模型训练-执行调优：

区域④：选择模型预测需要的预测集输入。利用 odpscmd工具，将准备好的测试集数据利用 tunnel命令上传到MaxCompute中。

# 建表语句
CREATE TABLE cv_risk_train(url STRING);
# 上传语句
tunnel upload /Users/tongxin/xxx/cv_risk_train.csv cv_risk_train;

预测集数据表例如：pai_online_project.pascal_predict_hz，数据样式如下图所示。

区域⑤：对训练好的图像分类模型进行预测，数据来源选择Table，模型类型选择classifier，图片列名根据表的列名来选择，此处为url。保留列名中也选择url，方便预测结果的展示。

区域⑥：将预测的结果写入数据表中，例如填写test_image_inspection_cls。

目标检测

步骤一：进入PAI-Studio控制台

1. 登录 PAI控制台。

2. 在左侧导航栏中，选择【模型开发和训练】->【可视化建模(Studio 2.0)】。

步骤二：构建实验

1. 在可视化建模（Studio 2.0）控制台中，选择实验模板，在实验模板列表中找到【基于Yolov5模型的目标检测】，点击并创建实验。

2. 在实验列表中找到刚才创建好的模板实验，并进入实验。

3. 系统根据预置的模板，自动构建实验，如下图所示。运行过程中，可以点击组件右键，查看运行日志。

区域①：选择标注结果数据集中训练集的OSS路径。例如选择oss://pai-online-shanghai.oss-cn-shanghai-internal.aliyuncs.com/ev_demo/risk_det_train.manifest

区域②：选择标注结果数据集中评估集的OSS路径。例如选择oss://pai-online-shanghai.oss-cn-shanghai-internal.aliyuncs.com/ev_demo/risk_det_dev.manifest

区域③：选择数据的标签列表文件的OSS路径。例如文件：。例如选择：oss://pai-online-shanghai.oss-cn-shanghai-internal.aliyuncs.com/ev_demo/图像审核-检测标注_class.txt

区域④：对图像检测模型的参数进行选择。

模型训练-字段设置：

模型训练-参数设置：

模型训练-执行调优：

区域⑤：选择模型预测需要的预测集输入。利用 odpscmd工具，将准备好的测试集数据索引利用 tunnel命令上传到MaxCompute中。

# 建表语句
CREATE TABLE cv_risk_train(url STRING);
# 上传语句
tunnel upload /Users/tongxin/xxx/cv_risk_train.csv cv_risk_train;

预测集数据表例如：pai_online_project.pascal_predict_hz，数据样式如下图所示。

区域⑥：对训练好的图像检测模型进行预测，数据来源选择Table，模型类型选择yolo5预测，图片列名根据表的列名来选择，此出为url。保留列名中也选择url，方便预测结果的展示。

区域⑦：将预测的结果写入数据表中，例如填写yolov5_predict。

模型部署调用

利用PAI提供的EAS模型在线服务平台，将训练好的内容风控模型进行在线部署，并在实际的生产环境中进行推理实践。

步骤一：登录PAI-EAS控制台

1. 登录 PAI控制台。

2. 在左侧导航栏中，选择模型部署 -> 模型在线服务（EAS）。

步骤二：模型上传部署

1. 在PAI-EAS控制台中，单击模型上传部署进行新建服务，具体参数配置如下：

2. 点击下一步，配置模型服务占用资源：选择1个实例数、1张卡、1个核，内存选择为16384M。

3. 点击部署，等待一段时间完成模型部署任务的创建。

步骤三：脚本批量调用

1. 在PAI EAS模型在线服务页面，单击已部署服务的服务方式列下的调用信息。

2. 在调用信息对话框的公网地址调用页签，查看公网调用的访问地址和Token。

3. 创建图像分类的Python脚本cv_risk_cls.py。

import requests
import base64
import sys
import json
resp = requests.get('https://tongxin-lly.oss-cn-hangzhou.aliyuncs.com/iTAG/pic_public/1.jpg')
ENCODING = 'utf-8'
datas = json.dumps( {
            "image": base64.b64encode(resp.content).decode(ENCODING),
            })
head = {
   "Authorization": "YjdhYWRhYWZhYzNjZTFlMDZlNjAxxxxxxxxxxxxxxxxxxxx"
}
for x in range(0,1):
    resp = requests.post("http://1664081855183111.cn-shanghai.pai-eas.aliyuncs.com/api/predict/cv_risk_cls001", data=datas, headers=head)
    print(resp.text)
print("test endding")

4. 创建图像检测的Python脚本cv_risk_det.py。

import requests
import base64
import sys
import json
img_file = './xxx.jpg'
ENCODING = 'utf-8'
datas = json.dumps( {
            "image": base64.b64encode(open(img_file, 'rb').read()).decode(ENCODING),
            })
head = {
   "Authorization": "NGVkMTVmZjNlNzA3ZGVlNWIzxxxxxxxxxxxxxx"
}
r = requests.post("http://1664081xxxxxxxxx.cn-shanghai.pai-eas.aliyuncs.com/api/predict/cv_risk_obj001", data=datas, headers=head)
print(r.text)

5. 将图像分类或图像检测脚本上传至您的任意环境，并在脚本上传后的当前目录执行如下调用命令，得到的预测结果如图所示。

$ python3 cv_risk_xxx.py

步骤五：监控服务指标

调用模型服务后，您可以查看模型调用的相关指标水位，包括QPS、RT、CPU、GPU及Memory。

1. 在PAI EAS模型在线服务页面，单击已调用服务服务监控列下的监控图标。

2. 在服务监控页签，即可查看模型调用的指标水位。从服务监控的水位图中可以看到部署的模型的时延在50 ms左右。