模型创建索引_Elasticsearch遇上BERT:使用Elasticsearch和BERT构建搜索引擎
作者:Hironsan
编译:ronghuaiyang
导读
强强联合,看看是否能有1+1>2的效果。
在这篇文章中,我们使用一个预先训练好的BERT模型和Elasticsearch来构建一个搜索引擎。Elasticsearch最近发布了带有矢量字段的文本相似性搜索。另一方面,你可以使用BERT将文本转换为固定长度的向量。一旦我们通过BERT将文档转换成向量并存储到Elasticsearch中,我们就可以使用Elasticsearch和BERT搜索类似的文档。
本文使用Elasticsearch和BERT按照以下架构实现了一个搜索引擎。这里,我们使用Docker将整个系统划分为三个部分:application, BERT和Elasticsearch。这样做的目的是为了更容易地扩展每个服务。
我在这篇文章中只展示了重要的部分,整个系统都在docker-compose.yaml中。在以下的GitHub存储库中:https://github.com/Hironsan/bertsearch。
1. 下载预训练BERT模型
首先,下载一个预先训练