大数据技术
广播电台大数据存储：压倒一切的是可靠
尽管与电视台动辄几十G的高清节目制作的数据存储需求相比，广播电台所需的数据存储量要小很多。但是不断开辟的全新电台频道，不断延长的播出时长，特别是观众对立体声广播音质的高要求，这都令广播电台对大容量硬盘 ...
分类: 数据存储
阅读全文
大数据最核心的价值是什么？
有这样一段话：社交网络，让我们越来越多地从数据中观察到人类社会的复杂行为模式。社交网络，为大数据提供了信息汇集、分析的第一手资料。从庞杂的数据背后挖掘、分析用户的行为习惯和喜好，找出更符合用户“口味” ...
分类: 数据处理
阅读全文
如何管理Java线程池及搭建分布式Hadoop调度框架
平时的开发中线程是个少不了的东西，比如tomcat里的servlet就是线程，没有线程我们如何提供多用户访问呢？不过很多刚开始接触线程的开发工程师却在这个上面吃了不少苦头。怎么做一套简便的线程开发模式框架让大家从 ...
分类: 大数据技术
阅读全文
大数据究竟是什么？一篇文章让你认识并读懂大数据
在写这篇文章之前，我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻，如果你问他大数据和你有什么关系？估计很少能说出一二三来。究其原因，一是因为大家对新技术有着相同的原始渴求， ...
分类: 大数据技术
阅读全文
Hadoop 2.0集群配置详细教程
1. hadoop common：为其他项目提供基础设施2. HDFS 分布式的文件系 统3. MapReduce ： A software framework for distributed processing of large data sets on compute clusters 。一个 简化分布式编程的框架。4. ...
分类: 大数据技术
阅读全文
Hadoop集群配置中如何写入和读取数据？
本节和大家继续学习一下有关Hadoop集群性能优化中机架感知配置方面的内容，主要包括写入数据和读出数据两大部分，希望通过本节的介绍大家对Hadoop集群中机架感知配置有一定的认识。 Hadoop集群功能测试 以下是分别就 ...
分类: 大数据技术
阅读全文
HPCC 和 Hadoop 的详细区别比较
硬件环境 通常使用基于Intel或AMD CPU的刀片服务器来构建集群系统，为了降低成本可以使用已经停止销售的过时硬件。节点有本地内存和硬盘，通过高速交换机相连（通常为千兆交换机），如果 集群节点很多，也可以使用分 ...
分类: 大数据技术
阅读全文
Cascading:创建复杂和容错数据处理工作流
架构 Cascading 是一个架构在Hadoop上的API，用来创建复杂和容错数据处理工作流。它抽象了集群拓扑结构和配置来快速开发复杂分布式的应用，而不用考虑背后的 MapReduce。Cascading目前依赖于Hadoop提供存储和执行架 ...
分类: 大数据技术
阅读全文
深入理解Hadoop集群和网络
本文侧重于Hadoop集群的体系结构和方法，以及它与网络和服务器基础设施这件的关系。文章的素材主要来自于研究工作以及同现实生活中运行Hadoop集群客户的讨论。如果你也在你的数据中心运行产品级的Hadoop集群，那么我 ...
分类: 大数据技术
阅读全文
Hadoop集群系列9:HDFS初探之旅
1、HDFS简介HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础，是基于流数据模式访问和处理超大文件的需求而开发的，可以运行于廉价的商用服务器上。它所具有的 ...
分类: 大数据技术
阅读全文
Hadoop集群系列8：Eclipse开发环境设置
1、Hadoop开发环境简介1.1 Hadoop集群简介Java版本：jdk-6u31-linux-i586.binLinux系统：CentOS6.0Hadoop版本：hadoop-1.0.0.tar.gz1.2 Windows开发简介Java版本：jdk-6u31-windows-i586.exeWin系统：Windows 7 旗舰 ...
分类: 大数据技术
阅读全文
Hadoop集群系列7：WordCount运行详解
1、MapReduce理论简介1.1 MapReduce编程模型MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说， ...
分类: 大数据技术
阅读全文
Hadoop集群6：JDK和SSH无密码配置
1、Linux配置java环境变量 1.1 原文出处 1.2 解压安装jdk 在shell终端下进入jdk-6u14-linux-i586.bin文件所在目录，执行命令 ./jdk-6u14-linux-i586.bin 这时会出现一段协议，连继敲回车，当询问是否同意的时候，输 ...
分类: 大数据技术
阅读全文
Hadoop集群系列5:Hadoop安装配置
1、集群部署介绍1.1 Hadoop简介Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop ...
分类: 大数据技术
阅读全文
Hadoop集群系列4:SecureCRT使用
1、SecureCRT简介SecureCRT是一款支持SSH（SSH1和SSH2）的终端仿真程序，同时支持Telnet和rlogin协议。SecureCRT是一款用于连接运行包括Windows、UNIX和VMS的远程系统的理想工具。通过使用内含的VCP命令行程序可以进 ...
/1 
