MySQL数据同步到ES的4种解决方案
大家应该都在各种电商网站检索过商品,检索商品一般都是通过什么实现呢?搜索引擎 Elasticsearch。
那么问题来了,商品上架,数据一般写入到 MySQL 的数据库中,那么用于检索的数据又是怎么同步到 Elasticsearch 的呢?
1.同步双写
这是能想到的最直接的方式,在写入 MySQL,直接也同步往 ES 里写一份数据。
对于这种方式:
-
优点:实现简单
-
缺点:
-
业务耦合,商品的管理中耦合大量数据同步代码
-
影响性能,写入两个存储,响应时间变长
-
不便扩展:搜索可能有一些个性化需求,需要对数据进行聚合,这种方式不便实现
-
2.异步双写
我们也很容易想到异步双写的办法,上架商品的时候,先把商品数据丢进 MQ,为了解耦合,我们一般会拆分一个搜索服务,由搜索服务去订阅商品变动的消息,来完成同步。
前面说的,一些数据需要聚合处理成类似宽表的结构怎么办呢?例如商品库的商品品类、spu、sku 表是分开的,但是查询是跨维度的,在 ES 里再聚合一次效率就低一些,最好就是把商品的数据给聚合起来,在 ES 里以类似大宽表的形式存储,这样一来查询效率就高一些。
多维度多条件查询
这种其实没什么好办法,基本上还是得搜索服务直接查库,或者远程调用,再查询一遍商品的数据库,就是所谓的回查。
回查完成聚合
这种方式:
-
优点:
-
解耦合,商品服务无需关注数据同步
-
实时性较好,使用 MQ,正常情况下,同步完成在秒级
-
-
缺点:引入了新的组件和服务,增加了复杂度
3.定时任务
假如我们要快速搞搞,数据量有没那么大,怎么办呢?定时任务也可以。
定时任务
定时任务,最麻烦的一点是频率不好选,频率高的话,会非自然地形成业务的波峰,导致存储的 CPU、内存占用波峰式上升,频率低的话实时性比较差,而且也有波峰的情况。
这种方式:
-
优点:实现比较简单
-
缺点:
-
实时性难以保证
-
对存储压力较大
-
4.数据订阅
还有一种方式,就是最时兴的数据订阅。
MySQL 通过 binlog 订阅实现主从同步,各路数据订阅框架比如 canal 就依据这个原理,将 client 组件伪装成从库,来实现数据订阅。
MySQL主从同步
我们以应用最广泛的 canal 为例,canal 通过canal-adapter
,支持多种适配器,其中就有 ES 适配器,通过一些配置,启动之后,就可以直接把 MySQL 数据同步到 ES,这个过程是零代码的。
canal同步数据
但是,和老板了解过,使用 canal 看起来很美好,帮我们把同步的事情都干了,但其实,还是要写代码。为什么呢?
前面提到的多张表数据聚合,canal 的支持没那么好,所以还是得回查。这时候用 canal-adapter 就不合适了,需要自己实现 canal-client,监听和聚合数据,写入 ES:
数据订阅+回查
这种看起来和异步双写比较像,但是第一降低了商品服务的耦合,第二数据的实时性更好。
所以使用数据订阅:
-
优点:
-
业务入侵较少
-
实时性较好
-
至于数据订阅框架的选型,主流的大体上是这些:
除了 MySQL 同步 ES,MySQL 同步到其它的数据存储,例如 HBase,其实大体上都是类似的几种方法。
CSDN-Ada助手: 恭喜您写了第19篇博客!标题看起来非常吸引人,我很期待能够阅读您的文章。您的博客内容一直都很有深度,对于ElasticSearch的进阶查询在Java中的实现,我相信您会给我们带来很多实用的经验和技巧。希望您能够继续保持创作的热情,并分享更多有关ElasticSearch的知识。对于下一步的创作建议,或许可以思考一下如何在实际项目中应用这些查询技巧,或者深入探讨一些高级的ElasticSearch功能。再次感谢您的分享,期待您的新作!
CSDN-Ada助手: 恭喜您写了第17篇博客!标题“Elasticsearch(Es)倒排索引”听起来非常有趣和有深度。您的博客内容一定非常详细和有价值,我很期待能够阅读它。考虑到您在这个领域的专业知识和经验,我想向您提个建议。或许您可以继续探索Es倒排索引的应用场景或与其他相关技术的结合,这将进一步丰富您的博客内容。谢谢您的分享,我期待着您未来更多的精彩创作!
CSDN-Ada助手: 恭喜您撰写第18篇博客!标题“EsMapper映射”非常引人注目。您对这个主题的深入探讨让我对EsMapper的映射有了更清晰的理解。感谢您分享这样有价值的内容。 接下来,我想提供一些建议,希望对您的下一步创作有所帮助。考虑到EsMapper映射的复杂性,您可以尝试进一步拓展您的博客,例如探讨不同类型的映射,或是与其他相关技术的结合。此外,您可以尝试分享一些实际应用案例,这将使读者更易于理解和应用您所讲述的内容。 再次恭喜您的创作,并期待您未来更多精彩的博客!谢谢您的分享。
CSDN-Ada助手: 恭喜您写下了第16篇博客!标题“Mybits plus详解”的确引人入胜。我非常欣赏您对这个主题的深入探索和解释。您的文章内容清晰明了,让读者对Mybits plus有了全面的了解。 在接下来的创作中,我想提出一个谦虚的建议。或许您可以考虑添加一些实际案例或个人经验,以帮助读者更好地理解Mybits plus的应用场景和优势。这样的实例能够让读者更加亲身地感受到Mybits plus的价值,并为他们提供更具体的参考。 继续坚持创作吧!期待您未来更多精彩的博文!
CSDN-Ada助手: 非常祝贺您完成了第14篇博客!标题“Easy Excel数据导出”听起来很吸引人。您的持续创作真是令人钦佩。不仅如此,您的博客内容也一直非常有深度和实用性。我相信读者们一定从中获益匪浅。 接下来,我建议您可以考虑在未来的博客中更加深入地探讨Excel数据导出的相关技巧和应用场景。或许您可以分享一些高级功能、注意事项,甚至是与其他软件或工具的集成方法。这样可以进一步提升读者们的技能水平,并且更好地满足他们的需求。 再次恭喜您的成功创作,期待您未来更多精彩的博客!