查看: 106|回复: 0

基于分布式关系型数据库,实现轻松应对百亿级数据分析场景解决方案

[复制链接]

9

主题

9

帖子

101

积分

注册会员

Rank: 2

积分
101
发表于 2019-8-19 16:07:47 | 显示全部楼层 |阅读模式
MyCat是什么?
从定义和分类来看,它是一个开源的分布式数据库系统,是一个实现了MySQL协议的服务器,前端用户可以把它看作是一个数据库代理,用MySQL客户端工具和命令行访问,而其后端可以用MySQL原生协议与多个MySQL服务器通信,也可以用JDBC协议与大多数主流数据库服务器通信,其核心功能是分表分库读写分离,即将一个大表水平分割为N个小表,存储在后端MySQL服务器里或者其他数据库里。也可以指定多个写库多个读库。
MyCat发展到目前的版本,已经不是一个单纯的MySQL代理了,它的后端可以支持MySQL、SQL Server、Oracle、DB2、PostgreSQL等主流数据库,也支持MongoDB这种新型NoSQL方式的存储,未来还会支持更多类型的存储。而在最终用户看来,无论是那种存储方式,在MyCat里,都是一个传统的数据库表,支持标准的SQL语句进行数据的操作,这样一来,对前端业务系统来说,可以大幅降低开发难度,提升开发速度。
MyCat可以干什么?
单纯的读写分离,此时配置最为简单,支持读写分离,主从切换
分表分库,对于超过 1000 万的表进行分片,最大支持 1000 亿的单表分片
多租户应用,每个应用一个库,但应用程序只连接 Mycat,从而不改造程序本身,实现多租户化
报表系统,借助于 Mycat 的分表能力,处理大规模报表的统计
替代 Hbase,分析大数据
作为海量数据实时查询的一种简单有效方案,比如 100 亿条频繁查询的记录需要在 3 秒内查询出来结果
MyCat分布式架构设计:

技术架构

技术架构

整体思路:
(1)利用mycat的分库分表规则,将百亿级数据横向分摊到不同的节点上;
(2)每个节点上实现一主多备,实现数据备份与读写分离;
(3)所有的写操作首先会在mycat中根据规则计算,路由到指定的节点上写操作;
(4)聚合查询mycat会分摊到各个节点上去计算之后,再基于节点的结果进行汇总处理;
(5)利用NBI大数据可视化分析工具与Mycat无缝连接;
(6)通过NBI大数据可视化分析工具提供的拖拽式分析,可以快速完成各类分析报告和百亿级数据,秒级响应的用户体验。


回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

 
 
在线客服①
在线客服②
大数据行业交流
大数据行业交流
大数据求职招聘
大数据求职招聘
服务电话:
15010106923
微信联系:
hb-0310
服务邮箱:
ab12-120@163.com
官方微信扫一扫
大数据中国微信

QQ   
冀ICP备15018178号-3

版权所有: Discuz! © 2001-2013 大数据.

GMT+8, 2019-9-17 18:15 , Processed in 0.075091 second(s), 27 queries .

快速回复 返回顶部 返回列表