大数据技术
大数据已经成为京东参与竞争的利器
过去几年，京东高速发展，用户数超过了1亿，日PV量达到两亿，SKU（保存库存控制的最小可用单位）接近千万，自建了遍布全国的物流体系，向用户提供了各种各样的特色配送服务。在快速发展的过程中，大数据已经成为京东 ...
分类: 大数据技术
阅读全文
一张图测试你的Hadoop能力-Hadoop能力测试图谱
1.引言看到一张图，关于Hadoop技术框架的图，基本上涉及到Hadoop当前应用的主要领域，感觉可以作为测试Hadoop开发人员当前能力和水平的比较好的一个工具，特此分享给大家。如果你能够明白说出每一个技术框架的功能、 ...
分类: 大数据技术
阅读全文
跨机房的hadoop集群
这是来自于阿里技术嘉年华的一个分享，因为在百度也考虑过类似的事情，所以听得比较有感悟，这里把相关内容整理一下。 首先尊重版权，还是把原链接和作者贴上： http://adc.alibabatech.org/carnival/history/ ...
分类: 大数据技术
阅读全文
从开源告诉你身边的IT故事
最近我们Team利用Dream分布式计算平台，做了这样一件事情，将Github的大量数据通过爬虫抓取下来，通过分析后，我们抽取最近一年中部分的开发者和项目信息，得到了如下有趣的信息，故分享之，数据原汁原味，无人工干 ...
分类: 大数据技术
阅读全文
戴尔流动数据架构 感受大数据流动之魅
业务的发展日新月异，用户所需管理的数据容量、速率和价值也在持续加速地提升。真正不变的唯有“变化”，不过这一点也使得IT人员有一种永无休止的不确定 感。然而，缺乏动态性的传统存储往往太过死板、极难管理，且 ...
分类: 大数据技术
阅读全文
东风日产：搭建大数据营销高速公路
长期以来，营销战场上充斥着激烈的广告战、价格战，以及渠道的重复建设。在互联网时代，面对高度分散的传播渠道和顾客群，这一切都走入了死胡同。 东风日产利用大数据搭建了一个精细化营销的高速公路，2012年为企 ...
分类: 大数据技术
阅读全文
Hadoop数据分析处理技术解析
数据的分析是大数据处理的核心。传统数据分析主要是针对结构化数据，其大致过程为：首先利用数据库存储结构化数据，在此基础上构建数据仓库，根据需要再构建相应立方体并进行联机分析处理。这一过程在处理相对较少的 ...
分类: 大数据技术
阅读全文
HBase的目录结构
第一部分文件是被Hlog处理的write-ahead日志文件，这些日志文件被保存在HBase根目录下的.logs文件夹。.logs目录下面为每一 个HRegionServer单独创建一个文件夹，每一个文件夹下有几个HLog文件（因为log rotation)。 ...
分类: 数据库
阅读全文
Hortonworks推新版HDP 提升Hadoop性能
作为以Apache Hadoop YARN架构为基础的新一代方案，HDP 2.0(HDP,Hortonworks Data Platform，Hortonworks数据平台)的出现让Hadoop从单一用途的Web规模批量数据处理平台进化为一套多用型操作系统。如今，它能 够处理 ...
分类: 大数据技术
阅读全文
数据挖掘十大经典算法
不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1.C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心 ...
分类: 数据挖掘
阅读全文
游弋云计算大数据时代 企业用户急需一站式服务
云计算的出现不仅是一场技术的变革，更是一场商业模式的变革。云计算的价值不断在落地应用中崭露头角，而大数据的潜能也正在被逐渐的激发。2013年将有80%以上的企业采用云计算的方式构建信息系统，作为中国云计算重 ...
分类: 大数据技术
阅读全文
以“上大学分析”为例体验什么是数据挖掘
谈到BI，就会谈到数据挖掘(Data mining)。数据挖掘是指用某些方法和工具，对数据进行分析，发现隐藏规律并利的一种方法。下面我们将通过具体的例子来学习什么是数据挖掘。 案例“上大学分析”-体验什么是数据挖掘某 ...
分类: 数据挖掘
阅读全文
公有云厂商“不能说的四个秘密”
尽管我们一直在快速向公有云进，但是很多服务提供商幕后的故事却让人依旧不安。大多数利用了公有云的公司对于“那扇紧闭的门”背后的一些实践都浑然不知，甚至于他们会渴望这种无知。或者说好一点：有些事情公有云厂 ...
分类: 云技术
阅读全文
投资者的香饽饽-更环保的云
随着公有和私有云服务、社交媒体、跨设备数据同步及在线存储等服务的爆炸式增长，基于云的服务正在以指数级数扩张。各公司和服务提供商正大力投资高性能、高效率的数据中心，以满足不断增长的需求，力图保持市场领先 ...
/1 
