Bert模型全称Bidirectional Encoder Representations from Transformers，主要分为两个部分：1训练语言模型（language model）的预训练（pretrain）部分，2训练具体任务(task)的fine-tune部分。Bert在NLP领域横扫了11项任务的最优结果，可以说是现今最近NLP中最重要的突破。

相比之前的Word Embedding模型,Bert 模型具有双向，多层，随机Mask,并且融合了自然语言处理前沿技术transformer 权重处理多种优点，可以说是ELMO、GPT、Word2Vec的集大成者。具体原理上的理解各位可以移步至 张俊林博士解读BERT非常详尽清晰，有助于各位从理论上加深理解Bert的原理。本文主要从Bert实践角度，拎出实用的代码片段，来完成文本情感分类。

首先下载Bert预训练模型：

google公布了一个参数较小的BERT预训练模型， 点击下载。文件里有五个文件，其中bert_model.ckpt开头的文件是负责模型变量载入的，而vocab.txt是训练时中文文本采用的字典，最后bert_config.json是BERT在训练时，可选调整的一些参数。

修改 processor

5. 任何模型的训练、预测都是需要有一个明确的输入，而BERT代码中processor就是负责对模型的输入进行处理。我们以分类任务的为例，介绍如何修改processor来运行自己数据集上的fine-tune。在run_classsifier.py文件中我们可以看到，google对于一些公开数据集已经写了一些processor，如XnliProcessor,MnliProcessor,MrpcProcessor和ColaProcessor。这给我们提供了一个很好的示例，指导我们如何针对自己的数据集来写processor。
6. 对于一个需要执行训练、交叉验证和测试完整过程的模型而言，自定义的processor里需要继承DataProcessor，并重载获取label的get_labels和获取单个输入的get_train_examples,get_dev_examples和get_test_examples函数。其分别会在main函数的FLAGS.do_train、FLAGS.do_eval和FLAGS.do_predict阶段被调用。这三个函数的内容是相差无几的，区别只在于需要指定各自读入文件的地址。
   以get_train_examples为例，函数需要返回一个由InputExample类组成的list。InputExample类是一个很简单的类，只有初始化函数，需要传入的参数中guid是用来区分每个example的，可以按照train-%d’%(i)的方式进行定义。text_a是一串字符串，text_b则是另一串字符串。在进行后续输入处理后(BERT代码中已包含，不需要自己完成) text_a和text_b将组合成[CLS] text_a [SEP] text_b [SEP]的形式传入模型。最后一个参数label也是字符串的形式，label的内容需要保证出现在get_labels函数返回的list里。
   打开run_classifier.py，在XnliProcessor,MnliProcessor,MrpcProcessor和ColaProcessor后，可以添加自定义数据处理任务:
   Class WeiboProcessor(Dataprocessor):

def get_train_examples(self, data_dir):
    file_path = os.path.join(data_dir, 'train.csv')
    with open(file_path, 'r') as f:
        reader = f.readlines()
    examples = []
    for index, line in enumerate(reader):
        guid = 'train-%d'%index
        split_line = line.strip().split(',')
        text_a = tokenization.convert_to_unicode(split_line[1])
        text_b = tokenization.convert_to_unicode(split_line[2])
        label = split_line[0]
        examples.append(InputExample(guid=guid, text_a=text_a, 
                                     text_b=text_b, label=label))
    return examples

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15

同时对应判断label为三分类标签，get_labels函数可以写成如下的形式：

def get_labels(self):
    return ['0','1',‘2’]   
1
2

在对get_dev_examples和get_test_examples函数做类似get_train_examples的操作后，便完成了对processor的修改。其中get_test_examples可以传入一个随意的label数值，因为在模型的预测（prediction）中label将不会参与计算。

修改 processor 字典

修改完成processor后，需要在在原本main函数的processor字典里，加入修改后的processor类，即可在运行参数里指定调用该processor。

 processors = {
      "cola": ColaProcessor,
      "mnli": MnliProcessor,
      "mrpc": MrpcProcessor,
      "xnli": XnliProcessor, 
      "WeiboProc": WeiboProcessor #添加自己的processor
  }
1
2
3
4
5
6
7

运行 fine-tune

之后就可以直接运行run_classsifier.py进行模型的训练。在运行时需要制定一些参数，一个较为完整的运行参数如下所示：

python run_classifier.py \
  --task_name=selfsim \ #自己添加processor在processors字典里的key名
  --do_train=true \
  --do_eval=true \
  --dopredict=true \
  --data_dir=$MY_DATASET \
  --vocab_file=$BERT_BASE_DIR/vocab.txt \
  --bert_config_file=$BERT_BASE_DIR/bert_config.json \
  --init_checkpoint=$BERT_BASE_DIR/bert_model.ckpt \
  --max_seq_length=128 \ #模型参数
  --train_batch_size=32 \
  --learning_rate=5e-5 \
  --num_train_epochs=2.0 \
  --output_dir=/tmp/selfsim_output/ #模型输出路径
1
2
3
4
5
6
7
8
9
10
11
12
13
14

配置的阿里云ESC云服务器，大概跑了几个小时，部分过程图如下：

train 和 dev 验证结果如下：

eval_accuracy = 0.9049439
eval_loss = 0.30998465
global_step = 1605
loss = 0.30991942
1
2
3
4

实现预测的话，在python run_classifier.py \中修改相应参数，设置do_predict=true。

以句子向量的形式使用Bert

如果想要将bert模型的编码和其他模型一起使用，将bert模型作为句子向量使用很有意义。我们可以使用bert-as-service来完成这个目标。

安装完bert-as-service以后，就可以利用bert模型将句子映射到固定长度的向量上。在终端中用一下命令启动服务：

bert-serving-start -model_dir /media/ganjinzero/Code/bert/chinese_L-12_H-768_A-12 -num_worker=4 

1
2

model_dir后面的参数是bert预训练模型所在的文件夹。num_worker的数量应该取决于你的CPU/GPU数量。
这时就可以在Python中调用如下的命令：

from bert_serving.client import BertClient
bc = BertClient()
bc.encode(['一二三四五六七八', '今天您吃了吗？'])

1
2
3
4

由于GPU深度学习整套装备还没有配置，本人采用了阿里云ESC服务器，选用NGC镜像，配置tf1.0-GPU-TP4,安装了jupyter notebook，整体完成的。
如何各位对配置深度学习环境有疑问，可以留下阿里云账号，我把已经建立好的深度学习环境镜像（包含[tf1.0-gpu,anaconda,]）在阿里云站发送给留言的童鞋。
附赠个人的 阿里云优惠券目前我是按量和按周，土豪可以包月包年~~任性。
后面我也会更博，专门拆解下如何快速搭建快速可用的深度学习环境。目前以tf1.0-gpu为主。

感谢本文参考来源:
作者：GjZr
https://blog.csdn.net/weixin_43837634/article/details/88049783
作者：奇点机智
链接：https://www.jianshu.com/p/aa2eff7ec5c1