数据处理
中秋赏月的高级姿势——高性能计算
又到中秋月圆时。“但愿人长久,千里共婵娟”、“举头望明月,低头思故乡”、“白兔捣药秋复春,嫦娥孤栖与谁邻”……古往今来,神秘遥远的月亮不仅寄托着人们的情感,也引发了好奇和遐想。对于很多的天文爱好者来说,一年 ...
阅读全文
海量数据时代，为什么大容量硬盘倍受青睐？
随着IOT的普及以及5G、AI、大数据等新技术和应用的发展，连接到互联网的设备数量和云服务范围正在高速增加。伴随而来的是通过互联网产生的数据量呈现指数级增长。因此对于企业和个人来讲，海量数据存储需求成为核心 ...
阅读全文
Hadoop现在怎么样了？
之前我们提到大数据的时候就会提到Hadoop，Hadoop是大数据的基础框架，是大数据技术的代表。提到HDFS、MapReduce、Yarn，提到HBase、Hive、TEZ等Hadoop生态圈中的一个又一个开源组件。但是最近好像有点不一样了。Had ...
阅读全文
大数据体系，一般分为哪几大层次？
大数据之数据采集大数据体系一般分为：数据采集、数据计算、数据服务、以及数据应用 几大层次。在数据采集层，主要分为 日志采集 和 数据源数据同步。日志采集根据产品的类型 又有可以分为：- 浏览器页面 的日志采集 ...
阅读全文
Redis概念以及底层数据结构
Redis 简介REmote DIctionary Server(Redis) 是一个由SalvatoreSanfilippo写的key-value存储系统。Redis是一个开源的使用ANSI C语言编写、遵守BSD协议、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库， ...
阅读全文
2019，Java码农还有必要转型大数据开发吗？
没有什么是亘古不变的，就像手机软件的不断更新迭代一样，陈旧的事物终将会被取代。相比于十年前程序员“高需求、高薪资、高难度”的三高状态，到如今，也开始逐渐被打破。虽然在科技时代，码农几乎永远不会失业，但 ...
阅读全文
大数据是未来金融专业人士必备的技能吗?
对于那些希望在金融领域工作的人来说，大数据是一项必不可少的技能吗?是的，这绝对非常重要,这是人们需要知道的事情。一名税务会计师在一个网络小组的讨论中指出，大数据正以惊人的方式改变金融领域。行业媒体FM Mag ...
阅读全文
浅谈分布式消息技术 Kafka
Kafka的基本介绍Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志，消息服务等等，Linked ...
阅读全文
Hadoop工具如何形成SAP Hana的大数据平台
自2008年以来，SAP Hana一直是领先的数据库管理系统之一。它比许多其他数据库管理解决方案能够更有效地处理数据，主要是因为它可以使用一些最先进的hadoop工具。没有Hadoop，大多数SAP Hana数据库将是相对无用的。访 ...
阅读全文
数据可视化专家的七个秘密
数据可视化的道路上充满了不可见的陷阱和迷宫，最近ClearStory Data的两位数据可视化开发人员分享了他们总结出来的数据可视化开发的7个不宣之秘，普通开发者了解这些方法能提升视野，少走弯路。数据可视化， 特别是 ...
阅读全文
加速大数据处理 BoCloud博云与TalkingData联合发布DataCruiser
5月19日，BoCloud博云与TalkingData在北京联合发布DataCruiser高弹性大数据云平台，通过BoCloud云架构与 TalkingData大数据分析平台的有机融合，提供完整的应用容器和大数据计算相关的组件仓库和便捷的操作模式，使 ...
阅读全文
大数据最核心的价值是什么？
有这样一段话：社交网络，让我们越来越多地从数据中观察到人类社会的复杂行为模式。社交网络，为大数据提供了信息汇集、分析的第一手资料。从庞杂的数据背后挖掘、分析用户的行为习惯和喜好，找出更符合用户“口味” ...
阅读全文
分布式系统的事务处理
当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题：1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。 ...
/1 
