大数据技术
Hadoop集群系列3:VSFTP安装配置
1、VSFTP简介VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速 ...
分类: 大数据技术
阅读全文
Hadoop集群系列2:机器信息分布表
1、分布式环境搭建采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实 ...
分类: 大数据技术
阅读全文
Hadoop集群系列1:CentOS安装配置
1、准备安装1.1 系统简介CentOS 是什么？CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每 ...
分类: 大数据技术
阅读全文
Hadoop配置和启动Hadoop方法详解
本节和大家学习一下如何进行Hadoop配置与启动Hadoop方面的知识，相信通过本节的介绍大家对Hadoop配置和启动Hadoop方法有一定的认识，希望本节的介绍对你的学习有所帮助。 Hadoop配置与启动Hadoop Hadoop三种模式： S ...
分类: 大数据技术
阅读全文
Hadoop配置和启动Hadoop方法详解
本节和大家学习一下如何进行Hadoop配置与启动Hadoop方面的知识，相信通过本节的介绍大家对Hadoop配置和启动Hadoop方法有一定的认识，希望本节的介绍对你的学习有所帮助。 Hadoop配置与启动Hadoop Hadoop三种模式： S ...
分类: 大数据技术
阅读全文
三台主机建立Hadoop小集群
部署环境： OS：Redhat 5.5 Enterprise JDK：jdk1.6.0_32 Hadoop：Hadoop-0.20.2 VMWare：7.0 节点安排及网络拓扑： 节点类型节点IP节点hostname master节点 192.168.40.5master slave节点 192.168.40.5master(此 ...
分类: 大数据技术
阅读全文
单机如何配置hadoop？
首先，参考了很多篇的技术博客。向那些前辈表示感谢！我的系统是CentOS5.6。所用hadoop的版本是hadoop-1.0.4.tar.gz。 JDK的版本是jdk-6u24-linux-i586.bin 准备好上述软件和文件之后。接下来需要做的就是先后安装文 ...
分类: 大数据技术
阅读全文
Hadoop NameNode单点问题解决方案之一 AvatarNode
我们遇到的情况 Hadoop NameNode存在单点问题。这个问题会影响分布式平台24*7运行。先说说我们的情况吧。 我们的团队负责管理一个1200节点的集群(总大小12PB)，目前是运行版本为Hadoop 0.20，transaction logs写入 ...
分类: 大数据技术
阅读全文
hadoop配置文件详解、安装及相关操作
一、Hadoop伪分布配置 1. 在conf/hadoop-env.sh文件中增加：export JAVA_HOME=/home/Java/jdk1.62.在conf/core-site.xml文件中增加如下内容： !-- fs.default.name -这是一个描述集群中NameNode结点的URI(包括协 ...
分类: 大数据技术
阅读全文
Hadoop数据集群安装配置
1、集群部署介绍1.1 Hadoop简介 Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop ...
分类: 数据存储
阅读全文
分布式系统的事务处理
当我们在生产线上用一台服务器来提供数据服务的时候，我会遇到如下的两个问题：1）一台服务器的性能不足以提供足够的能力服务于所有的网络请求。2）我们总是害怕我们的这台服务器停机，造成服务不可用或是数据丢失。 ...
分类: 数据处理
阅读全文
Hadoop分布式文件系统使用指南
Hadoop分布式文件系统使用指南目的概述先决条件Web接口Shell命令DFSAdmin命令Secondary NameNodeRebalancer机架感知（Rack awareness）安全模式fsck升级和回滚文件权限和安全性可扩展性相关文档目的本文档的目标是为 ...
分类: 数据存储
阅读全文
如何利用数据挖掘让RTB广告效果倍增？
2013年中国RTB广告市场规模接近10亿，较2012年增长200%以上。市场规模的快速增长，得益于互联网广告技术的发展和RTB广告模式的 先进性。随着更多优质媒体资源和广告客户的加入，无疑今年的RTB广告市场仍将保持高速增 ...
分类: 数据挖掘
阅读全文
Facebook的数据挖掘：从谈情说爱开始
不论“大数据”概念是不是个陷阱，我们的时代，互联网巨头坐拥海量信息是无人可以否认的事实，社区产品和社交产品赖以生存的基础就是从用户那儿来的数据。他们都是怎样八仙过海、各显神通让你感受到大数据的？比如， ...
分类: 数据挖掘
阅读全文
一个创业团队如何用产品挖掘奢侈品用户数据的
文|肖宇（Mfashion创始人） 其实在时尚领域，对于互联网以及数据是比较陌生的。尤其在奢侈品领域，这个极度崇尚“手工制作”的极富有光环的领域，和互联网或者信息技术看起来更是相隔甚远。我拜访过很多大牌专卖店 ...
/1 
