1、需求背景根据目前大数据这一块的发展，已经不局限于离线的分析，挖掘数据潜在的价值，数据的时效性最近几年变得刚需，实时处理的框架有storm，spark-streaming，flink等。想要做到实时数据这个方案可行，需要考虑... / 2021-07-23 21:58:25 / 查看 233 次

基于ROLAP技术的报表平台链家网大数据部门成立之初，面对着零散的数据需求，最早期的办法是配置定时任务跑脚本，将结果通过邮件方式发送给需求方。2015年期间，随着运营数据需求的增加、希望查阅数据的人员增多，邮... / 2021-07-23 21:58:25 / 查看 218 次

一、传统数仓痛点1）传统数据仓库痛点目前来说，大数据相关的业务场景一般有实时大屏、实时BI报表、用户画像和监控预警等，如下图所示。实时大屏业务，一般是公司领导层做决策的辅助工具，以及对外成果展示，比如双... / 2021-05-05 23:42:05 / 查看 1066 次

ClickHouse作为OLAP分析引擎已经被广泛使用，数据的导入导出是用户面临的第一个问题。由于ClickHouse本身无法很好地支持单条大批量的写入，因此在实时同步数据方面需要借助其他服务协助。本文给出一种结合Canal+Kafk... / 2021-02-22 00:31:33 / 查看 601 次

基于上一篇Hadoop集群已经搭建完成基础上（需要的朋友可以翻看我的上一篇博文），我们来完成Hbase的搭建工作。一、节点规划二、Zookeeper集群安装由于Hbase集群master的高可用需要依赖Zookeeper集群，所以需要安装Zo... / 2021-02-21 23:52:38 / 查看 1012 次

ClickHouse作为OLAP分析引擎已经被广泛使用，数据的导入导出是用户面临的第一个问题。由于ClickHouse本身无法很好地支持单条大批量的写入，因此在实时同步数据方面需要借助其他服务协助。本文给出一种结合Canal+Kafk... / 2021-02-21 23:34:21 / 查看 484 次

Netify可以对内部网络中的流量提供完整的可见性和完整分析。Netify从深度数据包检查(DPI)网络数据包分析器开始，被动地收集本地网络上的数据。然后将元数据安全地发送到云进行收集、分析和报告。NETIFY的底层的网络... / 2021-02-19 15:19:44 / 查看 545 次

回合对战数据指标计算，耗时过长，甚至因为单机内存不足无法满足需求，故考虑将原本单节点的单机ClickHouse改为集群 , 采用分布式表来进行相关计算。环境搭建单机方案集群方案 3分片1复方案对比写入速度对比数据量 :... / 2021-02-12 15:16:03 / 查看 1275 次

简介： 介绍如何基于Hologres和MaxCompute产品组合，支撑高并发、快响应的数据服务化场景，替换HBase开发模式，实现数据资产服务化在线化能力。也可在PC端打开 https://developer.aliyun.com/topic/download?id=961 ... / 2020-11-29 20:44:16 / 查看 714 次

简介： 介绍如何基于Hologres和MaxCompute产品组合，支撑高并发、快响应的数据服务化场景，替换HBase开发模式，实现数据资产服务化在线化能力。也可在PC端打开 https://developer.aliyun.com/topic/download?id=961 ... / 2020-11-29 20:44:16 / 查看 673 次