大数据介绍大数据的由来大数据的应用领域大数据方面核心技术有哪些？一、数据采集与预处理Flume NGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban四、... / 2019-10-10 02:00:00 / 查看 447 次

今天教大家如何搭建一套数据分析平台。它可能是最简单的搭建教程，有一点Python基础都能完成。比起动辄研发数月的成熟系统，借助开源工具，整个时间能压缩在一小时内完成。优秀的数据分析平台，首先要满足数据查询、... / 2018-09-18 11:32:08 / 查看 282 次

近几年，大数据、云计算、物联网和人工智能先后走进我们的生活，我个人对这些新兴的前沿产业，也比较感兴趣，尤其是对大数据比较看好，个人认为，最先商业化的一定是数据，所以对数据比较情有独钟，以下是学习大数据... / 2018-09-04 15:45:10 / 查看 236 次

这篇文章探讨的是女性吸引力，但没有通常看到的照片分析之类的东西。相反，我们采用过去的女人图片，分析她在男同胞们头脑里产生的反应。 我们将展示以下显著的现象：公正性警告：我们将把女性作为客观对象来讨论，... / 2018-08-26 00:46:10 / 查看 952 次

Google在2003年到2004年先后发布了被称为大数据三驾马车的三篇重要论文，分别是分布式数据处理MapReduce、分布式数据存储GFS以及列式存储 数据库BigTable。正是谷歌的这三驾马车掀开了大数据时代的序幕，谷歌也毋庸... / 2018-07-17 15:00:26 / 查看 219 次

其实大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内... / 2018-07-12 12:59:38 / 查看 251 次

1、系统建设背景随着经济的发展，城镇建设速度加快，以及互联网的突飞猛进，导致城市中人口密集，流动人口增加，引发了城市建设中的交通、社会治安、重点区域防范、网络犯罪日益突出等城市管理问题，今后现代化城市... / 2019-04-04 03:09:53 / 查看 311 次

数据中台被誉为大数据的下一站，由阿里兴起，核心思想是数据共享，并在 2018 年因为“腾讯数据中台论”再度成为了人们谈论的焦点。如今似乎人人都在提数据中台，但却不是所有人都清楚数据中台到底意味着什么。数据中... / 2019-04-07 01:23:53 / 查看 989 次

一、引言近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益成为各类企业和机构的标配。在这种背景... / 2018-08-26 00:39:51 / 查看 253 次

1、zookeeper一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系... / 2018-08-10 01:26:32 / 查看 288 次