过去

大数据发展的历史，，，可以分成四段

1960-1980:信息化刚刚开始

数据管理系统主要由工业公司开发
，，
，包括网状数据模型(IDS)、
、层次数据模型(IMS)和关系型模型(Oracle)。。。数据量相对较小，，，增长速度没有超过摩尔定律，
，一个数据库可以处理所有需求。。
。

1980-2000:数据增长开始超过硬件性能

越来越多的公司开始重视商业智能，
，需要进行跨业务的分析;数据增量远大于硬件性能的增长速度，，传统的扩展性方式无法处理大量数据，
，引发了数据仓库的需求。。

2000-2010:大数据的兴起

谷歌的”三驾马车”:谷歌文件系统(GFS)、、、、MapReduceq和BigTable，
，这三篇论文分别于2003年、、、、2004年和2007年发表，，，奠定了大数据时代的基础。。Hadoop成为了这个时期最重要的技术之一;互联网企业对于大数据计算的需求迅速增长，，，传统企业则面临着高成本和数据量较小的挑战。
。。。工程师们开发了Zookeeper、、、、Pig
、、Hive、、Avro、、、、Spark等工具提高生产力和降低成本

2010-2022:大数据进一步发展

越来越多的非IT企业开始应用大数据;在技术上，，，
，出现了流式引擎(如Storm)和高速查询引擎(如Presto)，，，，流处理和批处理框架(如beam，，，
，fink等)以满足对高效实时查询的需求
。。。

从历史发展来看，，
，大数据工程师这个岗位是随着信息化发展而诞生的，，
，
，大数据的技术也朝着高效低成本、、、高可靠性的方向发展。。

现在

目前，，
，
，越来越多公司希望能从数据中获取信息。。

从工作内容上看，，
，大数据工程师的主要工作可以分成两类:

一类是负责开发大数据平台和大数据处理工具的数据系统开发;

一类是负责搭建数据仓库、、数据报表
、、、数据治理的数据内容研发(数据仓库工程师)

第一类需要更熟悉大数据底层技术只及Java/Python/Scala等语言，
，第二类则需要熟练数据仓库维度建模理论、、大数据技术框架
、
、SQL和业务知识。。在企业中第二类工作的需求量通常较第一大类。。。

从工作内容上看，，，大数据工程师(尤其是第二类)是技术+业务均能接触的岗位，，，在技术上能积攒大数据技术经验，，，在业务上能通过业务的数据需求了解业务策略和业务动向。。。。

在工作中能同时熟悉业务和技术，
，，用数据驱动业务，
，，
，创造业务价值
，，，，这样岗位的不可替代性很高~

从收入现状上看，，，，大数据工程师的收入还是不错的:

下面是我从boss直聘上找到的数据仓库
、、、、数据开发及其他研发岗位(如Java工程师、、、全栈工程师、、、、前端工程师、、、、测试工程师)的收入对比
。。。

可以看出数据仓库、、
、数据开发岗位的年薪为125389元，，，，126492元;

高于Java工程师(117320元)
、、全栈工程师(122766元)、
、前端开发工程师(102658元)、
、测试工程师(93909元)的年薪;同时数据仓库岗位年薪是这6个研发类岗位中最高的。。。。

可以看出大数据工程师算是有“钱”途的岗位了

从入行门槛的角度看，，
，
，大数据工程师需要学习常见的大数据技术栈、、精通SQL及维度建模(数据仓库)或Java(数据系统开发)，，，还需要熟悉业务，
，，，相较于其他研发岗位技能点是更多的，，
，，有一定的护城河
。。。

值得注意的是
，，，目前只有大公司才有更多的数据量，
，
，，意味着有更成熟的技术、、、、更大的平台
，，，，能给出更高的薪资。。

未来

随着人工智能和大模型如火如荼的发展，，大数据工程师的未来前景是乐观的。
。

大模型是指具有庞大参数数量和复杂结构的机器学习模型，
，，，它的训练通常需要几百万到数十亿的数据，，，它被广泛应用在了自然语言处;大模型已经颠覆了传统的搜索引擎，，成为了各大公司追逐的风口技术。。

而大数据能够用于大模型的训练、、
、评估验证模型效果、、、、优化改进模型的准确性和稳定性。。。
。