回合对战数据指标计算，耗时过长，甚至因为单机内存不足无法满足需求，故考虑将原本单节点的单机ClickHouse改为集群 , 采用分布式表来进行相关计算。环境搭建单机方案集群方案 3分片1复方案对比写入速度对比数据量 :... / 2021-02-12 / 查看 1701 次

简介： 介绍如何基于Hologres和MaxCompute产品组合，支撑高并发、快响应的数据服务化场景，替换HBase开发模式，实现数据资产服务化在线化能力。也可在PC端打开 https://developer.aliyun.com/topic/download?id=961 ... / 2020-11-29 / 查看 2313 次

简介： 介绍如何基于Hologres和MaxCompute产品组合，支撑高并发、快响应的数据服务化场景，替换HBase开发模式，实现数据资产服务化在线化能力。也可在PC端打开 https://developer.aliyun.com/topic/download?id=961 ... / 2020-11-29 / 查看 959 次

简介： 本次内容将会介绍使用Flink和Hologres，实现可扩展的、高效的、云原生实时数仓。一、Hologres生态从前面几篇的内容，相信大家已经了解到Hologres是一款兼容PostgreSQL协议的实时交互式分析产品。在生态的兼容... / 2020-11-29 / 查看 3325 次

Flink 和 ClickHouse 分别是实时计算和（近实时）OLAP 领域的翘楚，也是近些年非常火爆的开源框架，很多大厂都在将两者结合使用来构建各种用途的实时平台，效果很好。关于两者的优点就不再赘述，本文来简单介绍笔者... / 2020-11-29 / 查看 2854 次

简介： 近年来，随着数据实时化的诉求加剧，催生了一系列的实时数仓架构，Lambda架构也应运而生，但是随着场景的复杂度和业务多维需求，Lambda架构的痛点也越来越明显。HSAP的理念则是服务分析一体化，在本文中，来... / 2020-11-29 / 查看 2242 次

长文预警！这是一篇数据体系介绍文章，并不涉及开发实践。|0x00 什么是数据数据是一种对客观事物的逻辑归纳，是事实或观察的结果 。随着科学技术的发展，数据的概念内涵越来越广泛包括数值，文本，声音，图像，视频... / 2020-11-23 / 查看 1950 次

数据运营需要学习些什么？第一步，明确数据分析的目的做数据分析要有明确的目的，为什么要做数据分析，做数据想要得到什么。第二步. 收集数据的方法用原始的方法采集现有的数据，通过加工，汇聚成自己需要的数据。第... / 2020-11-10 / 查看 230 次

一个简单易用，高性能，能够应对海量数据的数据处理产品简单易用，灵活配置，无需开发实时流式处理高... / 2020-03-22 / 查看 821 次

平台的每个子系统所包含的功能各不相同，而正是这些功能各不相同的模块组合成了有实际使用价值的大数据分析平台，实现了对各类业务的前瞻性预测及分析，为用户提供了统一的决策分析支持，从而更好地彰显出平台本身的... / 2020-03-03 / 查看 1037 次

【开胃菜】十五年前，刚开始工作，从帝都回老家。某长辈和蔼的问我：“工作了啊，做什么的？”我踌躇半天答曰：“挨踢（IT）。”长辈不假思索的来了一句：“哦，在中关村卖光盘啊！”我......我.....我......（叔叔... / 2020-03-03 / 查看 792 次

大数据介绍大数据的由来大数据的应用领域大数据方面核心技术有哪些？一、数据采集与预处理Flume NGNDCLogstashSqoop流式计算Zookeeper二、数据存储HBasePhoenixYarnMesosRedisAtlasKudu三、数据清洗OozieAzkaban四、... / 2019-10-10 / 查看 1248 次

数据中台被誉为大数据的下一站，由阿里兴起，核心思想是数据共享，并在 2018 年因为“腾讯数据中台论”再度成为了人们谈论的焦点。如今似乎人人都在提数据中台，但却不是所有人都清楚数据中台到底意味着什么。数据中... / 2019-04-07 / 查看 1292 次

1、系统建设背景随着经济的发展，城镇建设速度加快，以及互联网的突飞猛进，导致城市中人口密集，流动人口增加，引发了城市建设中的交通、社会治安、重点区域防范、网络犯罪日益突出等城市管理问题，今后现代化城市... / 2019-04-04 / 查看 935 次

今天教大家如何搭建一套数据分析平台。它可能是最简单的搭建教程，有一点Python基础都能完成。比起动辄研发数月的成熟系统，借助开源工具，整个时间能压缩在一小时内完成。优秀的数据分析平台，首先要满足数据查询、... / 2018-09-18 / 查看 919 次

近几年，大数据、云计算、物联网和人工智能先后走进我们的生活，我个人对这些新兴的前沿产业，也比较感兴趣，尤其是对大数据比较看好，个人认为，最先商业化的一定是数据，所以对数据比较情有独钟，以下是学习大数据... / 2018-09-04 / 查看 834 次

这篇文章探讨的是女性吸引力，但没有通常看到的照片分析之类的东西。相反，我们采用过去的女人图片，分析她在男同胞们头脑里产生的反应。 我们将展示以下显著的现象：公正性警告：我们将把女性作为客观对象来讨论，... / 2018-08-26 / 查看 2231 次

一、引言近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益成为各类企业和机构的标配。在这种背景... / 2018-08-26 / 查看 1333 次

1、zookeeper一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系... / 2018-08-10 / 查看 1027 次

今年，我们已经看到了很多在家庭、建筑物、车辆、城市和整个行业中建立互联环境的开创性想法。今年的物联网趋势预示着将有更多的连网设备、基础设施和环境改变我们日常生活和商业运营。这里有一些经过时间验证的全新... / 2018-07-20 / 查看 1354 次