大数据技术
Hadoop配置和启动Hadoop方法详解
本节和大家学习一下如何进行Hadoop配置与启动Hadoop方面的知识，相信通过本节的介绍大家对Hadoop配置和启动Hadoop方法有一定的认识，希望本节的介绍对你的学习有所帮助。 Hadoop配置与启动Hadoop Hadoop三种模式： S ...
分类: 大数据技术
阅读全文
三台主机建立Hadoop小集群
部署环境： OS：Redhat 5.5 Enterprise JDK：jdk1.6.0_32 Hadoop：Hadoop-0.20.2 VMWare：7.0 节点安排及网络拓扑： 节点类型节点IP节点hostname master节点 192.168.40.5master slave节点 192.168.40.5master(此 ...
分类: 大数据技术
阅读全文
单机如何配置hadoop？
首先，参考了很多篇的技术博客。向那些前辈表示感谢！我的系统是CentOS5.6。所用hadoop的版本是hadoop-1.0.4.tar.gz。 JDK的版本是jdk-6u24-linux-i586.bin 准备好上述软件和文件之后。接下来需要做的就是先后安装文 ...
分类: 大数据技术
阅读全文
Hadoop NameNode单点问题解决方案之一 AvatarNode
我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入 ...
分类: 大数据技术
阅读全文
hadoop配置文件详解、安装及相关操作
一、Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.62.在conf/core-site.xml文件中增加如下内容： !-- fs.default.name -这是一个描述集群中NameNode结点的URI(包括协 ...
分类: 大数据技术
阅读全文
Hadoop数据集群安装配置
1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop ...
分类: 数据存储
阅读全文
分布式系统的事务处理
当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题：1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。 ...
分类: 数据处理
阅读全文
Hadoop分布式文件系统使用指南
Hadoop分布式文件系统使用指南目的概述先决条件Web接口Shell命令DFSAdmin命令Secondary NameNodeRebalancer机架感知（Rack awareness）安全模式fsck升级和回滚文件权限和安全性可扩展性相关文档目的本文档的目标是为 ...
分类: 数据存储
阅读全文
如何利用数据挖掘让RTB广告效果倍增？
2013年中国RTB广告市场规模接近10亿，较2012年增长200%以上。市场规模的快速增长，得益于互联网广告技术的发展和RTB广告模式的 先进性。随着更多优质媒体资源和广告客户的加入，无疑今年的RTB广告市场仍将保持高速增 ...
分类: 数据挖掘
阅读全文
Facebook的数据挖掘：从谈情说爱开始
不论“大数据”概念是不是个陷阱，我们的时代，互联网巨头坐拥海量信息是无人可以否认的事实，社区产品和社交产品赖以生存的基础就是从用户那儿来的数据。他们都是怎样八仙过海、各显神通让你感受到大数据的？比如， ...
分类: 数据挖掘
阅读全文
一个创业团队如何用产品挖掘奢侈品用户数据的
文|肖宇（Mfashion创始人） 其实在时尚领域，对于互联网以及数据是比较陌生的。尤其在奢侈品领域，这个极度崇尚“手工制作”的极富有光环的领域，和互联网或者信息技术看起来更是相隔甚远。我拜访过很多大牌专卖店 ...
分类: 数据挖掘
阅读全文
公有云马力全开 黄金时代是否到来？
私有云对于很多希望实现云服务的价值，但又并没有真正进入到公有云的企业而言是一种正确的解决方案。然而近年来，公有云已经逐渐成熟，成为一种更好且更具价值的架构选择，而且有趋势显示现在企业的部署模型正在转向 ...
分类: 云技术
阅读全文
创新仍是主题 VMware中国研发中心新帅到任
全球虚拟化和云基础架构领导厂商VMware公司今日宣布任命任道远为VMware中国研发中心总经理。在此之前，任道远担任VMware上海研发中心总经理。在接受新任命之后，他将接替之前任VMware 全球副总裁、CPD及全球研发兼中 ...
分类: 云技术
阅读全文
云计算如何让安全问题变集中
在笔者前文《云计算让安全问题变得集中可控，关系到国家竞争力》中，阿里巴巴集团首席技术官王坚博士与我们分享了“云计算更安全“，”云计算可帮助提高国家信息安全等级保护“等观点，接下来我们持续深入探讨云计算 ...
分类: 云技术
阅读全文
Facebook宣布提高其全球数据中心的效率及可靠性
DCIM作为可持续发展的一项重要措施一直为人乐道。CA近日宣布Facebook将利用CA数据中心基础架构管理解决方案(CA DCIM)整合数百万个来自其全球数据中心实物及IT资源中与能源相关的数据点，以提高电能效率。 Fac ...
/1 
