查看: 109|回复: 0

基于关系型数据库和ES搜索引擎实现多源百亿级数据的数据分析方案

[复制链接]

9

主题

9

帖子

101

积分

注册会员

Rank: 2

积分
101
发表于 2019-8-27 11:33:57 | 显示全部楼层 |阅读模式

背景:

随着公司各项业务的快速发展与扩张,服务器和各种应用系统随之而增加,同时对应用系统、服务器的稳定性,可持续性提出了更高的要求,公司希望搭建一套综合的分析与监控系统,为各个部分提供决策支持。

需要解决的问题:

(1)数据孤岛问题,数据分散在不同的业务系统当中;

(2)服务器日志信息如何有效搜集与存储;

(3)业务部门分析需求不固定,经常有新的需求提出,如何满足各部门的需求;

(4)基于上面的问题如何快速搭建多源的可视化分析系统;

技术选型与整体架构设计:

(方案一:业务数据ETL,基于数仓架构模式)

(方案二:采用数据直接模式)

(1)日志采集主要通过logstash来采集,然后存储到搜索引擎中;

(2)业务系统数据可以采用两种方案架构第一种是建设数仓,将不同数据汇集到数仓中;第二种:采用直连的方式直接对接大数据分析平台;

(3)大数据可视化分析采用NBI大数据可视化分析平台,可以实现多源数据分析,能很好的支持Elasticsearch,关系型数据库,大数据存储平台的数据接入;通过拖拽式和高度灵活的布局模式,可以快速构建各类可视化分析报告应用;通过权限控制,设置编辑与访问权限,保障企业数据资产的安全有效利用;

(4)最终通过NBI大数据可视化分析平台构建各类数据分析应用,输出给对应部门人员使用。

注意事项:

(1)Elasticsearch需要安装一个sql插件elasticsearch-sql,根据es对应版本下载插件,便于做交互式分析;

(2)NBI大数据平台中,目前对Elasticsearch支持的建模方式为SQL建模

操作步骤:

(1)在NBI大数据平台中,通过数据管理模块,添加Elasticsearch数据源;

(2)测试连接,检验是否能正常连接到Elasticsearch

(3)连接成功,通过SQL建立工作表模型

(4)构建数据报告:

(5)设置访问权限:

以上案例通过NBI大数据可视化工具(nbi.easydatavis.com:8033)完成


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

 
 
在线客服①
在线客服②
大数据行业交流
大数据行业交流
大数据求职招聘
大数据求职招聘
服务电话:
15010106923
微信联系:
hb-0310
服务邮箱:
ab12-120@163.com
官方微信扫一扫
大数据中国微信

QQ   
冀ICP备15018178号-3

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2019-9-17 18:40 , Processed in 0.084878 second(s), 24 queries .

快速回复 返回顶部 返回列表