一飞开源
阅读1930

[开源]消息推送平台,统一发送多消息,对消息生命周期全链路追踪

一、开源项目简介

消息推送平台推送下发【邮件】【短信】【微信服务号】【微信小程序】【企业微信】【钉钉】等消息类型。 所使用的技术栈包括:SpringBoot、SpringDataJPA、MySQL、Docker、docker-compose、Kafka、Redis、Apollo、prometheus、Grafana、GrayLog、Flink、Xxl-job、Echarts等等。

二、开源协议

使用Apache-2.0开源协议

三、界面展示

[开源]消息推送平台,统一发送多消息,对消息生命周期全链路追踪

[开源]消息推送平台,统一发送多消息,对消息生命周期全链路追踪

[开源]消息推送平台,统一发送多消息,对消息生命周期全链路追踪

[开源]消息推送平台,统一发送多消息,对消息生命周期全链路追踪

四、功能概述

austin项目核心功能:统一的接口发送各种类型消息,对消息生命周期全链路追踪

[开源]消息推送平台,统一发送多消息,对消息生命周期全链路追踪

项目出现意义:只要公司内有发送消息的需求,都应该要有类似austin的项目,对各类消息进行统一发送处理。这有利于对功能的收拢,以及提高业务需求开发的效率

[开源]消息推送平台,统一发送多消息,对消息生命周期全链路追踪

里程碑

  • Maven+SpringBoot项目搭建
  • logback日志记录项目运行时信息,引入common/guava/Hutool/Lombok/fastjson/OkHttp工具包
  • 接入腾讯云渠道发送一条短信
  • 使用SpringData JPA将短信发送记录存储至MySQL
  • 使用SpringBoot接入Kafka
  • 利用责任链完成对接入层的请求进行封装(责任链模式)
  • 消费层实现数据隔离(线程池:生产者与消费者模式)
  • 通用去重消息功能(SpringBoot接入Redis并使用pipeline减少网络请求)
  • 配置服务器和docker容器以及SpringBoot应用的监控(prometheus+Grafana+auctuator)
  • 接入分布式配置中心完成 丢失消息、白名单以及账号配置(Apollo分布式配置中心)
  • 邮件渠道接入
  • 日志链路数据追踪 + 注解式打印日志(优雅打印日志以及数据埋点)
  • 接入GrayLog分布式日志收集框架
  • 引入前端低代码平台AMIS搭建后台管理页面
  • 接入分布式定时任务框架定时发送任务(xxl-job定时任务框架),编写上传文件接口并使用LazyPending批处理人群文件数据
  • 接入实时流计算平台(Flink),实时日志数据根据用户维度和消息模板维度清洗至Redis
  • 通过AMIS低代码平台接入echarts图表展示实时聚合后的数据
  • 优雅停机、动态线程池参数配置
  • 企业微信渠道接入
  • 夜间屏蔽次日早晨推送(xxl-job定时任务框架,另类的延时队列)
  • 钉钉渠道接入
  • 编写单测
  • 持续提高消息推送系统的影响力,让更多的业务方了解其功能,进而挖掘更多拉新和唤醒用户的玩法,提高站内的次留率和转化率
  • 优化代码
  • 接入微信服务号渠道
  • 接入微信小程序渠道
  • 接入PUSH渠道
  • 接入工作流引擎实现对消息工单审核

近期更新时间:2022年3月30日

近期更新功能:钉钉群自定义机器人与工作消息渠道接入完成

五、技术选型

系统项目架构

austin项目核心流程austin-api接收到发送消息请求,直接将请求进MQaustin-handler消费MQ消息后由各类消息的Handler进行发送处理

[开源]消息推送平台,统一发送多消息,对消息生命周期全链路追踪

Question :为什么发个消息需要MQ?

Answer:发送消息实际上是调用各个服务提供的API,假设某消息的服务超时,austin-api如果是直接调用服务,那存在超时风险,拖垮整个接口性能。MQ在这是为了做异步和解耦,并且在一定程度上抗住业务流量。

Question:能简单说下接入层做了什么事吗?

Answer

[开源]消息推送平台,统一发送多消息,对消息生命周期全链路追踪

Questionaustin-streamaustin-datahouse的作用?

Answeraustin-handler在发送消息的过程中会做些通用业务处理以及发送消息,这个过程会产生大量的日志数据。日志数据会被收集至MQ,由austin-stream流式处理模块进行消费并最后将数据写入至austin-datahouse

[开源]消息推送平台,统一发送多消息,对消息生命周期全链路追踪

Questionaustin-adminaustin-webaustin-cron的作用?

Answerautsin-adminaustin项目的前端项目,可通过它实现对管理消息以及查看消息下发的情况,而austin-web则是提供相关的接口给到austin-admin进行调用(austin项目是前后端分离的)

业务方可操作austin-admin管理后台调用austin-web创建定时发送消息,austin-cron就承载着定时任务处理的工作

使用姿势

目前引用的中间件教程的安装姿势均基于Centos 7.6(完全部署所有的服务,大概8G内存),austin项目强依赖MySQL/Redis/Kafka/apollo弱依赖prometheus/graylog/flink/xxl-job。如果缺少相关的组件可戳:安装相关组件教程。

1、austin使用的MySQL版本5.7x。如果目前使用的MySQL版本8.0,注意改变pom.xml所依赖的版本

2、填写application.propertiesaustin-database对应的ip/port/username/password信息

3、执行sql文件夹下的austin.sql创建对应的表以及插入测试数据

4、填写application.propertiesaustin-kafka对应的ip/port信息

5、填写application.propertiesaustin-redis对应的ip/port信息

6、检查apolloapp.id/apollo.bootstrap.namespaces,检查创建的消息队列topic:austin.business.topic.name

7、以上配置信息都在application.properties文件中修改。

8、由于使用了Apollo且我是在云服务器上安装的,我这边会直接跳过metaserver服务发现,在AustinApplication需要配置对应的apollo地址(注意端口!)

9、发送渠道账号的信息都配置在apollo,配置的示例参照com.java3y.austin.support.utils#getAccount中的注释

10、调用http接口com.java3y.austin.web.controller#send给自己发一条短信或者邮件感受

curl -XPOST "127.0.0.1:8080/send"  -H 'Content-Type: application/json'  -d '{"code":"send","messageParam":{"extra":null,"receiver":"13719333899"},"messageTemplateId":1}'

11、austin前端管理系统部署(一分钟即能打开)

12、正常使用数据管理(查看实时数据链路下发)需要将austin-streamjar包上传至Flink,根据部署文档启动Flink。在打jar包前需要填写com.java3y.austin.stream.constants.AustinFlinkConstant中的rediskafkaip/port(注:日志的topic在application.properties中的austin.business.log.topic.name。如果没有该topic,需要提前创建)

13、正常使用定时任务需要部署xxl-job,根据部署文档启动xxl的调度中心,并在application.properteis中填写 austin-xxl-job-ipaustin-xxl-job-port

14、正常使用分布式日志采集需要部署graylog,根据部署文档启动graylog,并在application.properteis中填写 austin-grayLog-ip

14、正常使用系统监控需要部署promethusgrafana,根据部署文档配置grafana图表

六、源码地址

源码下载

深圳SEO优化公司益阳seo哪家好怒江网站开发哪家好吴忠网站制作设计辽阳关键词排名报价吉祥网站推广工具公司绥化网站改版哪家好白山企业网站设计驻马店网站定制报价青岛网站设计模板报价垦利推广网站公司惠州至尊标王价格沈阳建设网站报价安顺网站优化排名报价本溪关键词排名包年推广哪家好安阳网站优化报价醴陵建站价格天门品牌网站设计公司昌吉seo优化公司福州网站优化按天扣费价格哈尔滨网站推广工具永湖设计网站汕头营销网站哪家好普洱网站优化按天扣费公司天水外贸网站设计哪家好长沙关键词按天计费多少钱潜江网络广告推广公司重庆营销网站公司济宁设计网站报价桐城SEO按天计费报价盘锦网站改版歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

深圳SEO优化公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化

关注下面的标签,发现更多相似文章

一飞开源
发布了 篇专栏 · 获取点赞 · 获取阅读

评论

查看更多
相关推荐
关于作者
一飞开源
获得点赞 100
文章被阅读 1000
相关文章

    深圳SEO优化公司益阳seo哪家好怒江网站开发哪家好吴忠网站制作设计辽阳关键词排名报价吉祥网站推广工具公司绥化网站改版哪家好白山企业网站设计驻马店网站定制报价青岛网站设计模板报价垦利推广网站公司惠州至尊标王价格沈阳建设网站报价安顺网站优化排名报价本溪关键词排名包年推广哪家好安阳网站优化报价醴陵建站价格天门品牌网站设计公司昌吉seo优化公司福州网站优化按天扣费价格哈尔滨网站推广工具永湖设计网站汕头营销网站哪家好普洱网站优化按天扣费公司天水外贸网站设计哪家好长沙关键词按天计费多少钱潜江网络广告推广公司重庆营销网站公司济宁设计网站报价桐城SEO按天计费报价盘锦网站改版歼20紧急升空逼退外机英媒称团队夜以继日筹划王妃复出草木蔓发 春山在望成都发生巨响 当地回应60岁老人炒菠菜未焯水致肾病恶化男子涉嫌走私被判11年却一天牢没坐劳斯莱斯右转逼停直行车网传落水者说“没让你救”系谣言广东通报13岁男孩性侵女童不予立案贵州小伙回应在美国卖三蹦子火了淀粉肠小王子日销售额涨超10倍有个姐真把千机伞做出来了近3万元金手镯仅含足金十克呼北高速交通事故已致14人死亡杨洋拄拐现身医院国产伟哥去年销售近13亿男子给前妻转账 现任妻子起诉要回新基金只募集到26元还是员工自购男孩疑遭霸凌 家长讨说法被踢出群充个话费竟沦为间接洗钱工具新的一天从800个哈欠开始单亲妈妈陷入热恋 14岁儿子报警#春分立蛋大挑战#中国投资客涌入日本东京买房两大学生合买彩票中奖一人不认账新加坡主帅:唯一目标击败中国队月嫂回应掌掴婴儿是在赶虫子19岁小伙救下5人后溺亡 多方发声清明节放假3天调休1天张家界的山上“长”满了韩国人?开封王婆为何火了主播靠辱骂母亲走红被批捕封号代拍被何赛飞拿着魔杖追着打阿根廷将发行1万与2万面值的纸币库克现身上海为江西彩礼“减负”的“试婚人”因自嘲式简历走红的教授更新简介殡仪馆花卉高于市场价3倍还重复用网友称在豆瓣酱里吃出老鼠头315晚会后胖东来又人满为患了网友建议重庆地铁不准乘客携带菜筐特朗普谈“凯特王妃P图照”罗斯否认插足凯特王妃婚姻青海通报栏杆断裂小学生跌落住进ICU恒大被罚41.75亿到底怎么缴湖南一县政协主席疑涉刑案被控制茶百道就改标签日期致歉王树国3次鞠躬告别西交大师生张立群任西安交通大学校长杨倩无缘巴黎奥运

    深圳SEO优化公司 XML地图 TXT地图 虚拟主机 SEO 网站制作 网站优化