大数据技术
别老扯什么Hadoop了，你的数据根本不够大
“你有多少大数据和Hadoop的经验？”他们问我。我一直在用Hadoop，但很少处理几TB以上的任务。我基本上只是一个大数据新手——知道概念，写过代码，但是没有大规模经验。接下来他们会问：“你能用Hadoop做简单的grou ...
分类: 大数据技术
阅读全文
可视化大数据，好比双目失明的中校能够闻香识佳人
大数据还是大忽悠？作为科技领域最时髦的词汇之一，大数据带来的机遇究竟有没有被过分炒作？在2013年夏季达沃斯论坛上，这个议题以一场辩论会的形式展开。最终反方的观点胜出：作为热概念，“大数据”正在影响着传统 ...
分类: 大数据技术
阅读全文
伦敦神经科学新算法能帮你识别和过滤微博垃圾信息
当你看到的时候，你知道微博里充斥着垃圾信息——但是如果你看不到那些垃圾，是不是很爽呢？不幸的是，分析信息内容的电子邮件过滤软件对微博没有用。因为就那么140个字的一段内容，即使是合法的，读起来也像是尼日 ...
分类: 大数据技术
阅读全文
量化，教你真正读懂数据
在大数据大行其道的年代，几乎所有人淹没在数据的海洋里。马丁•克鲁贝克（Martin Klubeck）对数据追逐和草率跟风提出了忠告和建议，认为数据不过是冰山一角，对于IT企业来说，真正需要的，其实是“shine a lig ...
分类: 大数据技术
阅读全文
如何向小白介绍机器学习和数据挖掘
买芒果嘴馋的你想吃芒果了，于是你走到水果摊，挑了几个让老板过过秤，然后你再根据芒果的斤两付钱走人。显然，买芒果你当然是挑着最甜、最熟的来买（因为你是根据重量而不是质量来掏钱的）。怎么个挑法才靠谱呢？对 ...
分类: 数据挖掘
阅读全文
数据库测试不可或缺，你知道吗？
对数据库测试的根本误解有许多关于测试驱动开发（Test-Driven Development，缩写为TDD）的书籍。那些书通常关注的是将测试应用于工作单元（units of work）。对于工作单元的理解有许多种不同的方式，通常它表示一个 ...
分类: 数据库
阅读全文
大数据革命，金融摇钱树
摇钱树 互联网金融的出现及发展被业界称作是一次金融革命，甚至是一场“互联网金融革命”。昨天，在珠江金融论坛第10次题为互联网金融发展论坛上，有专家一语中的：“互联网金融核心是由互联网思维改造整个金融。” ...
分类: 数据挖掘
阅读全文
时间序列数据处理的角逐：MongoDB vs. Cassandra
MongoDB与Cassandra是两个最具人气的NoSQL数据库，MongoDB更是NoSQL领域当之无愧的人气王，而Cassandra则常年 霸占着列存储领域的首席，相比之下备受关注的HBase却因众多原因一直屈居次席。近日MyDrive Soulutions运 ...
分类: 数据库
阅读全文
你不了解的世界，Google大数据技术架构探秘
Google是大数据时代的奠基者，其大数据技术架构一直是互联网公司争相学习和 研究的重点，也是行业大数据技术架构的标杆和示范。1、谷歌的数据中心谷歌已经建立了世界上最快、最强大、最高质量的数据中心，它的8个主 ...
分类: 大数据技术
阅读全文
如何挑选合适的大数据或Hadoop平台?
今年，大数据在很多公司都成为相关话题。虽然没有一个标准的定义来解释何为 “大数据”，但在处理大数据上，Hadoop已经成为事实上的标准。IBM、Oracle、SAP、甚至Microsoft等几乎所有的大型软件提供商都采用了Hadoop ...
分类: 大数据技术
阅读全文
大数据与拓扑学共通的一些分析算法
如我在前一个帖子中提到的，我打算写一系列关于学习大型数据集方法的帖子,包括传统的高维数据和应用在这个领域的拓扑学。有经验的人（假设这个博客中的大多数读者）认为抽象几何对象这个概念应该看起来十分简单，但 ...
分类: 大数据技术
阅读全文
数据挖掘助力互联网金融风险控制
互联网金融发展的关键是风险控制，“风险控制”已然成为诸多互联网金融企业能否长大的魔咒，这个不争的事实像一座大山摆在众多互联网金融大佬与创业 者的面前。为什么阿里金融能够将它的网络小贷不良率控制在不到1% ...
分类: 数据挖掘
阅读全文
电商数据分析基础方法：分拆，跟着用户走
在理解了要选择怎样的指标来衡量各项业务之后，我们可以对业务有一个客观和全面的把握，可是数字本身无法告诉我们发生了什么事情，怎样可以改进。为了得到更深入的信息，我们需要用到很多的分析工具，这里我们只介绍 ...
分类: 大数据技术
阅读全文
数据驱动型社会，数字面包屑的预测能力
我们每天留下的数字痕迹所揭示的事情远比我们所知的要多。这会成为一个隐私噩梦——亦或成就一个健康、繁荣的世界。————亚历克斯·桑迪·彭特兰19世纪中叶，由工业革命所带动的城市的迅猛发展引发了亟待解决的社 ...
分类: 数据挖掘
阅读全文
数据可视化：用Excel做方块式变化比较图
一位网友询问如何制作下图中的方块图。例图来自华尔街日报网站，图表用正方形的大小（面积）来反映数值的大小。类似的还有用两个内切的圆形来做比较的。我认为这种图表形式只是样式求新，但并不便于比较，没有普通的 ...
/1 
