基于Storm构建分布式实时处理应用初探

最近利用闲暇时间,又重新研读了一下Storm。认真对比了一下Hadoop,前者更擅长的是,实时流式数据处理,后者更擅长的是基于H ......

2017-11-05 浏览量(1455)

Hadoop集群搭建(二) HDFS

HDFS只是Hadoop最基本的一个服务,很多其他服务,都是基于HDFS展开的。所以部署一个HDFS集群,是很核心的一个动作,也是大数 ......

2017-10-18 浏览量(1462)

Hadoop集群搭建(一) Zookeeper

作为Hadoop初学者,自然要从安装入手。而hadoop的优势就是分布式,所以,也一定要安装分布式的系统。...

2017-10-17 浏览量(1454)

Hadoop入门扫盲:hadoop发行版介绍与选择

一、hadoop发行版介绍 目前Hadoop发行版非常多,有Intel发行版,华为发行版、Cloudera发行版(CDH)、Hortonworks版本等, ......

2017-08-02 浏览量(1454)

同程旅游 Hadoop 安全实践

0x01 背景 当前大一点的公司都采用了共享Hadoop集群的模式。 共享Hadoop是指:数据存储方面,公有/私有的文件目录混合存 ......

2017-01-17 浏览量(1447)

Hadoop集群datanode磁盘不均衡的解决方案

一、引言: Hadoop的HDFS集群非常容易出现机器与机器之间磁盘利用率不平衡的情况,比如集群中添加新的数据节点,节点与节 ......

2016-09-20 浏览量(0)

Hadoop MapReduce如何进行WordCount自主编译运行

上次我们已经搭建了Hadoop的伪分布式环境,并且运行了一下Hadoop自带的例子–WordCount程序,展现良好。但是大多数时候还是得 ......

2016-09-20 浏览量(1464)

用Python端对端数据分析识别机器人“僵尸粉

导读:不仅微博,在twitter中也存在大批的“僵尸粉”。Twitter中的“僵尸粉”不仅能够在无人干预下撰写和和发布推文的程序,并且 ......

2016-08-22 浏览量(1454)

使用Eclipse编译运行MapReduce程序 Hadoop2.6.0_Ubuntu/CentOS

本教程介绍的是如何在 Ubuntu/CentOS 中使用 Eclipse 来开发 MapReduce 程序,在 Hadoop 2.6.0 下验证通过。虽然我们可以使 ......

2016-08-20 浏览量(1461)

使用命令行编译打包运行自己的MapReduce程序 Hadoop2.6.0

网上的 MapReduce WordCount 教程对于如何编译 WordCount.java 几乎是一笔带过… 而有写到的,大多又是 0.20 等旧版本版本的 ......

2016-08-20 浏览量(1455)

你一定要了解的大数据与小趋势

本文根据TalkingData副总裁高铎先生在“世界O2O博览会暨IN+2016创新大会”上的演讲整理而成。...

2016-08-14 浏览量(0)

助你保护大数据应用安全的步骤和工具

大数据应用的安全性方面往往被忽视或者被视为次要的需求。但是,数据的安全性在数据处理过程有着十分巨大的影响。本文将介绍 ......

2016-08-07 浏览量(1453)

天天在做大数据,你的时间都花在哪了?

前言 我每天都在思考,思考很重要,是一个消化和不断深入的过程。 正如下面的一句话: 我们从出生开始如果没思考 ......

2016-06-06 浏览量(1446)

Java程序员使用的20几个大数据工具

最近我问了很多Java开发人员关于最近12个月内他们使用的是什么大数据工具。...

2016-01-31 浏览量(0)

掰一掰GitHub上优秀的大数据项目

VMware CEO Pat Gelsinger曾说:   数据科学是未来,大数据分析则是打开未来之门的钥匙 企业正在迅速用新技术 ......

2016-01-28 浏览量(0)

大数据时代留给数据分析师的羁绊

大数据搭着信息时代的快车来到了我们的面前,数据的价值逐渐为人们所重视,同时也让数据分析师的身价倍增。而随着大数据分析 ......

2016-01-26 浏览量(1461)