![Hadoop大数据平台集群部署与开发](https://wfqqreader-1252317822.image.myqcloud.com/cover/373/34983373/b_34983373.jpg)
上QQ阅读APP看书,第一时间看更新
项目1 搭建Hadoop开发环境
项目引入
我叫Snkey,是一名大数据分析师,在一家电商公司工作,每天和大量的数据打交道;我的同事Windy负责公司项目的系统运维,监管公司各种网络问题;而Suzan则是一名资深的Java开发工程师。我们分管不同的部门,但是因为一个项目我们彼此有了交集。
一次会议上,大Boss 提出公司要成立一个专门处理大数据的团队。
Boss:现在大数据越来越流行了,可谓遍地开花,随着公司业务的蒸蒸日上,公司的后台数据日益增长,在大数据时代,数据就是黄金,我们也不能落伍,我们是否考虑把大数据技术引入进来。
我:目前积累的数据已经很庞大了,随着时间的推移,数据量只会越来越庞大,传统的数据架构和计算框架在处理一些复杂的业务上已经捉襟见肘,要想挖掘出大量数据中的有用价值,必须运用大数据技术,例如Hadoop、MapReduce、Hive等。
Boss对这个想法大加赞赏,当场就拍板由我们三个人成立一个大数据团队。
知识图谱
项目1的知识图谱如图1-1所示。
![](https://epubservercos.yuewen.com/958D89/18668565601482706/epubprivate/OEBPS/Images/figure-0011-0001.jpg?sign=1739286561-XFOKaBSkwd1F1cI0lPrpdtdcEvtZFnl3-0-e3c97bb8706438d94210b5a4cdf12576)
图1-1 项目1知识图谱