大数据介绍大数据的由来大数据的应用领域大数据方面核心技术有哪些？一、数据采集与预处理Flume NGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban四、... / 2019-10-10 02:00:00 / 查看 447 次

今天教大家如何搭建一套数据分析平台。它可能是最简单的搭建教程，有一点Python基础都能完成。比起动辄研发数月的成熟系统，借助开源工具，整个时间能压缩在一小时内完成。优秀的数据分析平台，首先要满足数据查询、... / 2018-09-18 11:32:08 / 查看 282 次

近几年，大数据、云计算、物联网和人工智能先后走进我们的生活，我个人对这些新兴的前沿产业，也比较感兴趣，尤其是对大数据比较看好，个人认为，最先商业化的一定是数据，所以对数据比较情有独钟，以下是学习大数据... / 2018-09-04 15:45:10 / 查看 236 次

随着AI，大数据这些技术的快速发展，与此有关的知识也普及开来。如何在众多网站中寻找最有价值的信息，如何在最短的时间内获得最新的技术资讯?笔者在这里整理出大数据和人工智能领域最实用，质量最高的10大技术网站... / 2018-08-26 00:46:45 / 查看 325 次

这篇文章探讨的是女性吸引力，但没有通常看到的照片分析之类的东西。相反，我们采用过去的女人图片，分析她在男同胞们头脑里产生的反应。 我们将展示以下显著的现象：公正性警告：我们将把女性作为客观对象来讨论，... / 2018-08-26 00:46:10 / 查看 952 次

Google在2003年到2004年先后发布了被称为大数据三驾马车的三篇重要论文，分别是分布式数据处理MapReduce、分布式数据存储GFS以及列式存储 数据库BigTable。正是谷歌的这三驾马车掀开了大数据时代的序幕，谷歌也毋庸... / 2018-07-17 15:00:26 / 查看 219 次

其实大数据并不是一种概念，而是一种方法论。简单来说，就是通过分析和挖掘全量的非抽样的数据辅助决策。大数据可以实现的应用可以概括为两个方向，一个是精准化定制，第二个是预测。比如像通过搜索引擎搜索同样的内... / 2018-07-12 12:59:38 / 查看 251 次

概述有时我们要对系统做压测，或者数据库压力测试，这时候需要对某些表插入几百万或者上千万数据，下面介绍下怎么利用MySQL循环和存储过程对特定表的创建千万行数据。1、准备测试表CREATE TABLE `username` ( `uid` ... / 2020-03-03 03:57:59 / 查看 938 次

运维自动化来源于工作中的痛点，京东数据库团队面对的是商城成千上万的研发工程师，这种压力推动我们不断变革，然而变革不是一蹴而就，也经历过从手工到脚本化、自动化、平台化、智能化的艰难转变，所以说是需求在驱... / 2018-08-30 07:14:14 / 查看 235 次

当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化。单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的... / 2018-08-15 09:28:26 / 查看 297 次