大数据技术
Hadoop 2.0集群配置详细教程
1. hadoop common：为其他项目提供基础设施2. HDFS 分布式的文件系 统3. MapReduce ： A software framework for distributed processing of large data sets on compute clusters 。一个 简化分布式编程的框架。4. ...
分类: 大数据技术
阅读全文
Hadoop集群配置中如何写入和读取数据？
本节和大家继续学习一下有关Hadoop集群性能优化中机架感知配置方面的内容，主要包括写入数据和读出数据两大部分，希望通过本节的介绍大家对Hadoop集群中机架感知配置有一定的认识。 Hadoop集群功能测试 以下是分别就 ...
分类: 大数据技术
阅读全文
HPCC 和 Hadoop 的详细区别比较
硬件环境 通常使用基于Intel或AMD CPU的刀片服务器来构建集群系统，为了降低成本可以使用已经停止销售的过时硬件。节点有本地内存和硬盘，通过高速交换机相连（通常为千兆交换机），如果 集群节点很多，也可以使用分 ...
分类: 大数据技术
阅读全文
Cascading:创建复杂和容错数据处理工作流
架构 Cascading 是一个架构在Hadoop上的API，用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用，而不用考虑背后的 MapReduce。Cascading目前依赖于Hadoop提供存储和执行架 ...
分类: 大数据技术
阅读全文
深入理解Hadoop集群和网络
本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我 ...
分类: 大数据技术
阅读全文
Hadoop集群系列9:HDFS初探之旅
1、HDFS简介HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的 ...
分类: 大数据技术
阅读全文
Hadoop集群系列8：Eclipse开发环境设置
1、Hadoop开发环境简介1.1 Hadoop集群简介Java版本：jdk-6u31-linux-i586.binLinux系统：CentOS6.0Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介Java版本：jdk-6u31-windows-i586.exeWin系统：Windows 7 旗舰 ...
分类: 大数据技术
阅读全文
Hadoop集群系列7：WordCount运行详解
1、MapReduce理论简介1.1 MapReduce编程模型MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说， ...
分类: 大数据技术
阅读全文
Hadoop集群6：JDK和SSH无密码配置
1、Linux配置java环境变量 1.1 原文出处 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录，执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议，连继敲回车，当询问是否同意的时候，输 ...
分类: 大数据技术
阅读全文
Hadoop集群系列5:Hadoop安装配置
1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop ...
分类: 大数据技术
阅读全文
Hadoop集群系列4:SecureCRT使用
1、SecureCRT简介SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进 ...
分类: 大数据技术
阅读全文
Hadoop集群系列3:VSFTP安装配置
1、VSFTP简介VSFTP是一个基于GPL发布的类Unix系统上使用的FTP服务器软件，它的全称是Very Secure FTP 从此名称可以看出来，编制者的初衷是代码的安全。安全性是编写VSFTP的初衷，除了这与生俱来的安全特性以外，高速 ...
分类: 大数据技术
阅读全文
Hadoop集群系列2:机器信息分布表
1、分布式环境搭建采用4台安装Linux环境的机器来构建一个小规模的分布式集群。图1 集群的架构其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实 ...
分类: 大数据技术
阅读全文
Hadoop集群系列1:CentOS安装配置
1、准备安装1.1 系统简介CentOS 是什么？CentOS是一个基于Red Hat 企业级 Linux 提供的可自由使用的源代码企业级的 Linux 发行版本。每个版本的 CentOS 都会获得七年的支持（通过安全更新方式）。新版本的 CentOS 每 ...
分类: 大数据技术
阅读全文
Hadoop配置和启动Hadoop方法详解
本节和大家学习一下如何进行Hadoop配置与启动Hadoop方面的知识，相信通过本节的介绍大家对Hadoop配置和启动Hadoop方法有一定的认识，希望本节的介绍对你的学习有所帮助。 Hadoop配置与启动Hadoop Hadoop三种模式： S ...
/1 
