大数据到底是做什么的，有哪些应用？

大数据的核心作用是数据价值。简单来说，大数据让数据产生各种“价值”。这个数据价值的过程才是大数据应该做的主要事情。

大数据的具体应用有哪些？目前大数据的应用体现在很多领域，比如决策分析、推荐系统(电商平台)、自动驾驶、语音识别、计算机视觉等等。随着大数据的不断发展，大数据的应用将会普及到越来越多的领域。

根据应用对象，大数据的应用对象可以简单分为为人类提供辅助服务和为智能体提供决策服务。比如目前常见的大数据场景数据分析，场景数据分析的结果多是针对人类的，这种分析的结果可以进一步辅助人类做出各种决策。

未来大数据的应用会服务于更多的人工智能产品(agents)，现在人工智能的研究也开始基于大数据，很多产品已经开始使用。

从就业的角度来说，由于大数据的产业链可以容纳各种人才，大数据领域在未来会是一个比较大的就业渠道，学习大数据是一个不错的选择。

大数据是我的主要研究方向之一。目前我也是大数据方向的研究生。我会陆续在头条写一些关于大数据的文章。有兴趣的朋友可以关注我的头条号，相信一定会有所收获。

如果你对大数据有什么疑问，也可以咨询我。

谢谢你

大学选择什么专业对大数据研究生最有利？信息与计算科学怎么样？

首先介绍一下我的背景，本科数学，应用数学。我的第一个硕士学位是应用数学(数据挖掘和机器学习)。

对于BigData方向，根据我的经验，以下课程对以后的深造很有帮助:

线性代数、微积分、概率论、数理统计、计算机编程语言(R、Python)、数据库编程。

以上七门课程是学习大数据的重要基础课。其他课程需要基于具体的研究方向，比如信息系统管理、人工智能、机器学习、算法理论等等。

最后，建议学科可以通过edX、Coursera等MOOC平台开始接触大数据方向课程，直接学习最新的理论和应用。

大数据的主要内容有哪些，可以从事哪些岗位？

我记得我大学毕业后的第一份工作。我们公司的业务是做BI产品的研发。什么时候互联网没有今天这么火，没有大数据和移动互联网的概念？记得有一次和同事去华师大后门买书。同事买了一个javascript，我买了一个ajax。当时我们产品的客户端是用Delphi开发的。其实买书是为了补充一点新知识，工作中基本用不到。在公司的第三年，公司将切换到web的BI显示界面。我帮公司用svg做了两个显示器组件，心里还是美滋滋的。

随着时间的推移和电子商务的发展，大数据和云计算似乎成了每个互联网公司宣传的标准语句。如果不谈这些概念，就显得人缺乏一些约束。记得10年的一次公司培训，有同事问云计算是不是你创造的，就因为我姓云。听到这个问题，我笑哭了。

大数据这个概念喊了这么多年，很多人还不知道大数据指的是什么。为了回答这个问题，我还去搜索了大数据的概念。说实话，即使是从事互联网这么多年的人，也不理解百科的解释。

“大数据(bigdata)，IT行业术语，指的是在一定时间内，常规软件工具无法捕捉、管理和处理的数据集合。它是一种海量、高增长、多元化的信息资产，需要新的处理模式来拥有更强的决策力、洞察力和发现力以及流程优化能力。”

什么是大数据？

都说大数说的直白点就是利用一套技术手段把数据变成信息和知识的过程。数据对我们没有价值。为了被人类理解，我们必须将数据处理成信息或知识。比如公司一天的考勤数据是没有意义的，但是通过对一月份的考勤数据的分析对比，我们发现员工张三总是迟到。那么张三总是迟到的信息对公司的管理是有帮助的。领导要知道张三家有没有关系。还是张三最近的其他情况？

大数据的“大”是什么？所谓“大”，就是数据量大。数据库时代数据以GB为单位，互联网时代以TB为单位，数据量增加了一个数量级。另一层意思是指数据形式的多样性。在传统的BI应用中，数据大多存储在关系数据库中，但在互联网时代，数据的形式变得多样化，如文本、视频和数据库。理解了大数据的概念，我们来看看大数据包含了什么。

大数据的内涵

从技术角度来说，大数据包括两个分支:数据分析和数据挖掘。数据分析是对历史数据的分析，为管理层提供辅助决策信息。数据挖掘是一个研究趋势和未来的问题，主要用于预测。从业务的时效性要求来说，可以分为实时在线分析系统和离线分析系统。比如一个网站的用户实时分布就是一个实时分析应用；2019年全国各省GDP排名分析是一款离线分析应用。

从大数据项目的流程来看，大数据包括:数据采集、数据收集、数据转换与存储、数据建模与分析、上层应用展示等等。大数据的难点在于海量数据的分析，而海量数据的分析又涉及到海量数据存储和分析架构。

根据hadoop的技术体系，flume用于收集和转换存储在各种服务器中的日志和数据，并存储在hdfs文件系统或hive或hbase等数据仓库中，然后使用Hadoop架构的规范编写mapreduce作业，再将分析结果展示给用户。当然，数据分析有各种算法。

与大数据相关的工作

以下是与大数据相关的核心职位:

业务专家或顾问:为大数据提供研发方向和确定研究课题，为技术人员提供业务支持。

数据分析师:从事数据收集、整理和分析，并根据数据做出评估和预测的专业人员。

数据挖掘工程师:从海量数据中发现规则，需要良好的算法和数学基础。

可视化工程师:为显示分析结果提供美观易懂的界面。

维护工程师:负责服务器环境的配置、搭建和运维。

每个公司用的大数据技术线不一样，岗位也会有差距。有兴趣的朋友可以自己了解一下现有的几个大数据解决方案。

随着5G网络的建设，接入网络的物联网设备会越来越多，互联网积累的数据会呈级数增长。未来几年，大数据行业仍然是朝阳产业，需要越来越多的大数据人才。希望本文对愿意投身大数据行业的朋友有所启发和帮助，也希望大家对大数据的概念有更清晰的认识。谢谢你

Java大数据应该学些什么？

这是一个很好的问题，也是很多初学者关心的问题。作为一个IT从业者，我来回答一下。

首先，所谓的Java大数据，通常是指使用Java语言完成大数据领域的一些开发任务。整体学习内容涉及三大块，一是Java语言基础，二是大数据平台基础，三是场景开发基础。总的来说，Java大数据的学习内容比较多，也比较难。

java语言基础部分的学习内容比较清晰，学习过程也会比较顺利，因为Java语言本身的技术体系已经比较成熟。对于初学者，建议围绕JavaWeb开发制定学习计划，这样也会增强就业竞争力。JavaWeb开发不仅涉及后端开发知识，还涉及前端开发知识。整体的知识量还是比较大的，学习过程中需要完成大量的实验。

大数据平台可以围绕Hadoop进行开发。因为目前的Hadoop生态系统比较健全，这部分的学习内容比较多，需要初学者有一个系统的学习过程。刚开始学Hadoop，完全可以自学。目前Hadoop案例越来越丰富，学习Hadoop也会有更好的学习体验。因为Hadoop对实验场景有一定的要求，搭建实验环境是学习Hadoop的重要基础。

学习Java大数据一定离不开具体的场景。这里的场景不仅仅指硬件场景(数据中心)，还需要行业场景的支撑。所以学习Java大数据通常会选择一个行业作为切入点，比如金融行业、医疗行业、教育行业等等。在学习场景开发知识的过程中，不建议初学者完全采用自学的方式，可以考虑在实习岗位完成现阶段的学习任务。

本人从事互联网行业多年，目前在读计算机专业研究生。我的主要研究方向是大数据和人工智能。我会陆续写一些互联网技术方面的文章，有兴趣的朋友可以关注我。我相信我一定会有所收获。

如果你有关于互联网，大数据，人工智能，或者考研的问题，可以在评论区留言或者私信我！

数据可视化现在非常流行。应该学哪个专业？

我建议学习数据科学和大数据技术！

数据科学和大数据技术

2019年3月21日，教育部公布了《2017年普通高等学校本科专业备案审批结果》。共有862所高校新增2311个专业。其中，最热的专业是“数据科学与大数据技术”，共有248所高校，占比超过1/3。

转到历史上，“数据科学与大数据技术”专业第一次与我们见面是在2016年初。当时教育部公布的《2015年普通高等学校本科专业备案审批结果》中，有3所高校获批，分别是北京大学、对外经济贸易大学和中南大学。去年，在教育部公布的《2016年普通高等学校本科专业备案审批结果》中，有32所高校获批增设“数据科学与大数据技术”专业。

不难发现，近三年来，“数据科学与大数据技术”高校数量猛增近10倍，高校数量累计达到284所。所以很多高校都青睐它。「数据科学与大数据技术」专业是什么？

以对外经济贸易大学的“数据科学与大数据技术”专业为例。本专业是培养以计算机科学和统计分析为基础，具有经济、金融、物流、商业、贸易、管理等相关学科领域知识，能够推动和引领未来全球“互联网+”、云计算、大数据技术在各领域的深入应用，具有较强的实践创新能力、跨文化交流能力和跨学科研究能力的高素质复合型人才。

核心课程包括微观经济学、计量经济学、国际金融、搜索引擎、自然语言处理、数据可视化、机器学习、模式识别和大数据技术平台。

显然，“数据科学与大数据技术”专业是培养“人工智能、大数据、云计算”等最热门行业急需的人才。根据全球顶级管理咨询公司麦肯锡的分析报告，到2018年，大数据或数据工作者的岗位需求将激增，其中大数据科学家的缺口将在14万到19万之间，懂得如何用大数据进行决策的分析师和管理者的岗位缺口将达到150万！

从就业市场的反馈来看也是如此。据BOSS直聘《2017春季互联网人才趋势报告》显示，与大数据、人工智能相关的工作岗位已经渗透到整个行业，人才供给严重不足。其中差距比较大的是搜索算法，供给只能达到需求的44%，还有56%的差距。推荐算法的差距比例为50%，算法研究者的差距比例为43.9%，图像算法的差距比例为43%，深度学习的差距排名第十，为33.8%。

与此同时，人工智能已经上升为国家战略。2017年7月，国务院发布《新一代人工智能发展规划》，明确提出中国新一代人工智能“三步走”发展战略。2020年，人工智能产业成为新的重要经济增长点，人工智能技术应用成为改善民生新途径；2025年，人工智能将成为中国产业升级和经济转型的主要驱动力；2030年，人工智能理论、技术和应用达到世界领先水平，成为世界主要人工智能创新中心。

不仅就业前景好，员工工资也很不错。以hadoop开发工程师为例，Hadoop入门月薪已达8K以上，工作一年月薪可达1.2W以上，有2-3年工作经验的Hadoop人才年薪可达30-50万。一般需要大数据处理的公司基本都是大公司。

听到这里，我想同学们对“数据科学与大数据技术”这个专业已经有所了解了。是不是有点蠢蠢欲动了？但笔者建议，该专业需要“数学、统计学、计算机科学”等大量知识，数学成绩不好的同学，如果在高中，不建议选择。当然，根据学科的相关性，根据计算机、数学甚至自动化、机械的相关专业来选择，然后再去读人工智能方向的研究生，也是一个不错的选择。

个人观点仅供参考！

数据科学和大数据技术怎么样？

今天我们将讨论数据科学和大数据技术。

2016年，北京大学、对外经济贸易大学、中南大学三所高校首批获批开设该专业。2017年有32所大学开设该专业，2018年和19年，开设学校数量呈指数级增长。当然，开办的学校水平参差不齐。最后我来分析一下哪些学校更值得关注。

简单来说，本专业以大数据为核心研究对象，以数学、统计学和计算机相关知识为支撑，发现、收集、处理、计算、分析和应用大数据。这个专业可以说是不折不扣的交叉学科。当然，落脚点一定是利用大数据技术解决具体的行业应用问题。

他是一个新工科专业，可以说是这个专业行业的发展，国家战略，顺应了时代的发展需要。所以，从很多角度来说，我们都需要大量的人才库。而且通过使用大数据，我们可以识别和分析那些即使有经验也未必能理解的商业机会和未来发展，所以这方面的知识非常重要。但也要明白，成立时间不长，各个大学也在摸索中进步，会有不断的调整和突破。当然，培养方向会结合自身特点，但其必备的专业知识结构仍然来自于数学、统计学和计算机相关内容。

主要课程:(以对外经济贸易大学为例)

数学:数学分析一、数学分析二、高等代数、离散数学。

统计学:概率论与数理统计，多元统计分析，随机过程。

计算机:数据结构、计算机组成原理、数据库系统原理、C++编程、Java编程、Python与大数据分析、科学计算与Matlab应用、R语言等。

大数据分析:数据科学导论、机器学习与数据挖掘、信息检索与数据处理、自然语言处理、智能计算、推荐系统原理、大数据分析技术基础、数据可视化、大数据存储与管理、大数据分析实践等课程。

也许你看到过这样一段文字描述大数据，数据量巨大，单个计算机无法处理。简单地告诉你数据的存储单位，

数据存储单元:

b，KB，MB，GB，TB，PB，EB，.....

1024B=1KB

1024KB=1MB

1024MB=1GB

1024GB=1TB

1024TB=1PB

比如你发一条十几个字的消息，它的大小可能是几十个b。

比如电子表，大小是kb。比如这个是60.5kb，当然几百kb也正常。

一个kb相当于1024个英文字母，一个汉字占两个英文字母的空，那么1kb大约是512个汉字，1Mb=1024次kb相当于52万个汉字。比如《人民文学》出版的《西游记》是86万字，那么保存为文字的形式是1mb以上。

然后下一个1024MB=1GB。

1024GB=1TB

它将仅用于1tB的大容量存储。比如现在很多大存储的硬盘都会采用TB的形式。

2015年，淘宝统计每天可以产生7tb左右的数据。

1024TB=1PB

这个PB有多大？比如大家在百度上搜东西，百度一天可能要处理1.5pb的信息，所以这个量是巨大的。可以说现在每分钟都在产生数据。我发视频你发文字，存储、处理、应用压力很大，一台电脑做不到。

大数据的本质是什么？

1、整样而不是抽样。

你听说过抽样调查吗？我们以前很少听说流行调查。在过去，因为成本和各种条件和技术，不可能捕获所有的信息。

现在是全样本，不是抽样。通过发达的数据统计分析技术，对我们想要的所有信息进行统计分析，提高数据的正确性。我们有多少空个房间？以前是不可能的。

2.效率远高于准确性。

很多服务系统都是二级决策，这个决策系统一定要快。比如我在百度上搜，北京大学怎么样？我可能会找到上千个答案，但我得自己判断哪个是最有效的信息，但他的效率很高。只要点击搜索，答案就出来了。

3.相关性而非因果性

在超市里，啤酒卖得好的时候，婴儿纸尿裤卖得好，婴儿纸尿裤卖得不好的时候，啤酒就不好了。这其中的因果关系是什么？可能超市不会分析。他会更多的分析相关性，分析相关项，到时候记得补就行了。

大数据行业的不同领域

数据采集-数据管理-数据应用，

数据采集是最基础的，大数据支撑系统。我们首先要有数据，然后分析数据。

我们得到它后应该做什么？比如我们收集了很多今天的天气信息，我们要做的就是预测明天，下周，甚至更长的时间，然后看看它会对农作物种植，航空空系统等等产生什么影响。

我们应该在获取信息后对其进行管理，因为有图片、文字、视频、音频和位置信息。这么大的信息量，单台电脑是完成不了的。这里涉及到大数据的核心概念分布式存储，网络中的所有存储设备都要同时移动化和集群化。一个大数据服务中心每天的耗电量惊人，计算这些数据需要成千上万台设备。

其实很多学校都成立了云计算的实验室，其实和大数据高度相关。云计算最热门的领域是语音识别，比如萧艾同学，可以识别判断你的意思，播放音乐，搜索等等。

但是你有没有发现，如果不联网的话，语音准确率并不是特别高。如果连上互联网，准确率会大大提高。别人不直接在你手机或者音响里算。他把你说的话远程传输到云端和其他服务器。他通过多个服务器进行集成，然后做出相应的响应。当然，需要的数据量非常大。之前微软研究院发表报告说语音识别的错误率是5%，人与人之间的对话识别率也就这样，会被遗漏。所以很多用户和公司并不自己架设机房，而是直接购买百度云和阿里云的服务。这就是云计算和大数据的结合。

大数据的云在哪里？

数据中心建在温度低，自然灾害少，电力供应充足的地方。在计算大数据的过程中，消耗了大量的电力，超过50%的电力用于冷却机器，降低温度低的地方的功耗。

第二，不能有自然灾害，泥石流，地震，海啸。一旦他们出现，辛辛苦苦得来的数据就毁于一旦。第三，电量要足够丰富，即使你操作到一半就断电了。国内最著名的是贵州大数据中心。

这个应用，其实利用大数据做营销的行业是很早的。可以说，电商行业和大数据的应用，让电商可以根据消费者的购买习惯提前生产物料。后来发现大数据还可以预测流行趋势、消费趋势等。提前；

再加上你看了我的视频之后，系统会记住你需要什么样的内容，给你推荐一些相关的视频，也许你以后会看到其他老师的一些相关内容。

比如大数据应用到市政交通中，可以有效解决堵车问题，知道哪里会发生堵车和交通事故，提前给可能走这条路的车主发送信息，提前避开堵车。

举个例子，在医疗行业，你去医院做化验，做医学影像，存储药品的医学信息。所有这些信息在医院里都被数字化了，可以进行分析。而且借助大数据平台，可以收集不同的病例和治疗方案，然后可以建立更有针对性的疾病数据库。可以说，人类的医疗水平在大数据的推动下爆发了。

金融，高频交易，操盘手，买卖各种股票。

现在用电脑进行处理，每秒钟都有成千上万只股票在变化。无论多少人打理几百条信息，只有机器才能得到。观察波动规律，会发现机会稍纵即逝，只有电脑才能及时操作，只有大数据才能捕捉到这个商机。

无人驾驶，基于海量数据，实时分析高校，甚至0。几秒钟的决策时间，他会在汽车周围安装很多传感器。传感器的目的是收集大数据。没有这些数据的支撑，自动驾驶无从谈起。

真心可以说，从政府到医疗行业到生活的一切都离不开大数据的支撑，那么你有需求和未来吗？我想答案是肯定的。

就业问题:

可以说毕业生可以在互联网公司、金融机构、科研院所、高校以及各行业从事大数据分析、挖掘、加工、服务、应用和研究工作。

工作职位:

大数据架构师(偏技术，熟悉底层架构、开发平台、数据建模、核心框架开发，编程代码是基础，但不仅如此，对计算机、数学尤其是数据的知识要求很高。

大数据算法工程师(技术，算法开发，算法原型，验证，还要带团队，最终不是一个人能完成的。

大数据运维工程师:运维要求较低，以保证我们建立的数据平台能够高效运行，监控问题和故障排除，只是多了解一些数据的基础知识，没有要求的那么深入。门开得更低。

数据分析师/挖掘师(偏业务，需要调研需求，我想应用领域挖掘的对象和分析数据的目标，包括与相应的客户沟通，需要很强的沟通能力和协调能力。

不同的性格做不同的工作，偏技术意味着接触的技巧多，接触的人少，偏业务意味着接触的人多。

大数据科学家，高学历，硕士以上，或者，多年工作经验，知名学术会议有重要成果。中国的人工智能领域其实发展很快，但是人才储备很少，缺口很大，但是我们需要更多的硕士、博士等高学历人才。

这个领域1.2线城市三年以上待遇，肯定是一万以上。五年内将达到2万到4万之间。能力会越来越高，顶级水平会更高。

一般来说:

可以说在应用领域，就业非常广泛，薪资待遇也不错。

但是频繁接触电脑，工作辛苦，加班常态化，入门容易，掌握难。而且说实话，这个领域在国内聚集了一批非常聪明的学生，学数学、通信工程、计算机的人都可以来竞争。

另外，如果不学本专业，可以在本科学习统计学、计算机科学与技术、数学等专业，然后研究生可以选择大数据方向的研究。

学校推荐的，

北京大学，对外经济贸易大学，中南大学第一批就不用说了，就不错。

然后你发现这个学校的计算机和统计学都很好，这个学校的大数据也不算太差。

还需要注意的是，很多高校是按大类招生的，比如北京邮电大学、贵州大学就是按计算机类招生的。这个专业离不开计算机，计算机好的学校大数据也不会差。所以可以参考计算机专业排名来选择院校。

还有哪些值得我们关注的，比如浙江财经大学、重庆理工大学、昆明理工大学、长春理工大学、广西科技大学等。

最后一个提醒:

学习的学生要对计算机领域感兴趣，对数学感兴趣，英语水平好，对数字敏感。身体健康，加班，太冷静，沉下心来学习很多新知识，不断学习，不然30-40就落伍了。男生感兴趣的是比价，女生是否合适要看你自己的能力。更重要的是要有上进心，积极主动。

大二专业:智能科学与技术，数据科学与大数据，物联网，哪个好？

这是一个很好的问题，也是目前很多计算机相关的学生面临的问题之一。作为计算机专业教育工作者，我来回答一下。

首先，从目前的大技术发展趋势和行业发展趋势来看，人工智能、大数据、物联网都有非常广阔的发展前景。在工业互联网的推动下，随着很多企业实现了业务云化，大数据、人工智能、物联网等相关技术将逐渐开始在工业领域应用，这个过程也将释放大量的人才需求。

数据科学和大数据是目前最热门的方向之一，但由于大数据还处于应用的初级阶段，行业领域往往更关注以研究生(专硕)为代表的高端R&D人才和高端应用型人才，所以如果想选择数据科学和大数据，应该考虑读研究生。相比数据科学和大数据，智能科学与技术的技术成熟度和行业成熟度更低，更需要考虑继续学习和毕业，以提升就业竞争力。

物联网方向虽然是比较传统的方向之一，但是学科建设比较成熟，加上5G通信的应用，未来在物联网领域的前景非常广阔。但是长期以来，物联网方向的就业表现并不好，很多同学会转向软件开发方向。所以如果选择了物联网方向，也要注重自身开发能力的提升，这显然会扩大就业。

最后，从这三个方向来看，目前可以重点关注数据科学和大数据方向。选择这个方向也可以看作是“进、攻、退”的方案，既可以从事大数据、人工智能等领域的岗位，也可以退一步从事传统的软件开发岗位。

本人从事互联网行业多年，目前在读计算机专业研究生。我的主要研究方向是大数据和人工智能。我会陆续写一些互联网技术方面的文章，有兴趣的朋友可以关注我。我相信我一定会有所收获。

如果你有关于互联网，大数据，人工智能，或者考研的问题，可以在评论区留言或者私信我！