大数据安全架构设计方案大数据平台架构设计要点数据采集层：需具备高吞吐量与低延迟特性，以应对实时数据采集需求，同时要支持多样化数据源与格式，如传感器、日志文件、社交媒体、交易系统等。常用采集工具包括 A / 2025-09-13 / 查看 1581 次

携程PB级数据基础平台2.0建设，多机房架构下的演进 / 2024-09-17 / 查看 1198 次

如果没有KubeSphere可视化界面，同样也能保持部署的能力。因此使用deployment文件来部署的相关应用。 / 2024-03-01 / 查看 1218 次

mysql每天新增加1百万数据 怎么办?有什么好的方案?处理每天新增一百万数据的MySQL数据库是一项具有挑战性的任务。以下是应对这种情况的关键方案:1、分区表:将表按时间或其他适当的分区键分成多个分区,以减少单个表的... / 2023-11-03 / 查看 915 次

数据湖架构大多数公司都有大量的业务数据,这些数据通常孤立在各种存储系统中,包括数据库和数据仓库。为了充分利用这些数据资产,您应该将数据集中并整合到统一的数据存储中,以增强分析能力。通过数据湖架构,组织可以... / 2023-10-14 / 查看 798 次

# SeaTunnel 介绍Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台。架构于Apache Spark 和 Apache Flink之上# SeaTunnel 的作用SeaTunnel专注于数据集成和数据同... / 2023-10-14 / 查看 1168 次

一、技术介绍NVIDIA Triton Inference Server是一个针对CPU和GPU进行优化的云端和推理的解决方案。支持的模型类型包括TensorRT、TensorFlow、PyTorch(meta-llama/Llama-2-7b)、Python(chatglm)、ONNX Runtime和OpenV... / 2023-10-14 / 查看 1211 次

RHCS实验-架构规划2台测试节点 RHCS1 RHCS2 一台共享存储RHCS3 集群服务为apache1.双网卡绑定(RHCS1 RHCS2)vim /etc/sysconfig/network-scripts/ifcfg-bond0DEVICE=bond0IPADDR=172.16.1.108NETMASK=255.255.255.... / 2023-09-22 / 查看 1854 次

一、 什么是RHCSRHCS是Red Hat Cluster Suite的缩写,也就是红帽子集群套件,RHCS是一个能够提供高可用性、高可靠性、负载均衡、存储共享且经济廉价的集群工具集合,它将集群系统中三大集群架构融合一体,可以给web应用... / 2023-09-22 / 查看 1464 次

RHCS集群配置一、RHCS集群简介 RHCS(Red Hat Cluster Suite)集群是红帽官方提供的子集群套件,它整合了高可用集群、负载均衡集群、存储集群,从而为用户提供了完整的一套从前端到应用到存储的集群解决方案。通过RHCS... / 2023-09-22 / 查看 610 次

ClickHouse 作为业界性能最强大的 OLAP 系统,在小红书内部被广泛应用于广告、社区、直播和电商等多个业务领域。然而,原生 ClickHouse 的 MPP 架构在运维成本、弹性扩展和故障恢复方面存在较大局限性。为应对挑战,小... / 2023-09-17 / 查看 1925 次

1. OLAP 应用场景最近调研 Doris,设想了针对行为分析、用户分析的应用场景,看看 Doris 匹配程度。2. Doris 介绍2.1 关键词MPP 架构:Massively Parallel Processing 大规模并行处理,节点并行计算。海量数据实时分析列... / 2023-09-16 / 查看 400 次

Hologre 产品介绍与技术揭秘 - 实时数仓技术入门一本通 / 2023-08-24 / 查看 885 次

一、Quivr介绍Quivr可以帮助把你的本地文件向量化,然后存储到云端,随时可以查询对话。文档格式支持Text、Markdown、 PDF、音频和视频。GPT端支持ChatGPT-3/4和Claude。 向量数据库使用的是Supabase ,音视频是基于Whi... / 2023-06-27 / 查看 557 次

数字化工厂建设规划蓝图及三年实施计划 / 2023-03-02 / 查看 633 次

智慧医院三维可视化平台建设方案 / 2023-03-02 / 查看 1130 次

装备制造业是国民经济和国家安全的重要保障，其工业水平和现代化程度在国民经济中起决定性作用。目前，全球产业格局面临重大调整，而我国大多数装备制造企业仍处于产业微笑曲线的底部，即附加值较低的区域，面临发达... / 2023-03-02 / 查看 4748 次

新一代轻量级企业私有云平台建设与应用方案 / 2023-03-02 / 查看 1145 次

https://gitee.com/freshday/radar---Radar功能丰富，包括：实时风控，特殊场景可以做到100ms内响应可视化规则编辑器，丰富的运算符、计算规则灵活支持中文，易用性更强自定义规则引擎，更加灵活，支持复杂多变的场... / 2023-03-02 / 查看 841 次

本文主要介绍为了应对以上挑战,我们在湖仓一体方向上的一些探索和实践。一、背景在B站,每天都有PB级的数据注入到大数据平台,经过离线或实时的ETL建模后,提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数... / 2022-06-25 / 查看 1594 次