查看原文
其他

全球化视野下,多云数据架构如何应对出海挑战?

DataFunSummit
2024-09-10

随着中国互联网市场的逐步成熟,人口红利渐退,加之国内流量成本日益攀升,出海已成为众多企业的战略选择,无论大小,皆以此作为寻求新增长点或求存的重要途径。在这个全球化的竞技场上,构建高效且合规的数据架构成为企业出海成功的关键一环,其中,多云与混合云架构尤为引人注目。

在出海的大背景下,云服务扮演着至关重要的角色,它不仅是企业数字化的基础,更是跨越地域限制、实现全球化服务的桥梁。然而,由于全球各地区的法规差异、市场特性及技术接受度的不同,单一云服务商难以满足所有需求。因此,多云策略应运而生,即企业根据业务需求灵活选择多家云服务提供商,以最大化地利用各云平台的优势。例如,阿里云在东南亚的强大布局适合该区域的业务拓展,而微软云则在中东拥有更广泛的节点覆盖,IBM则凭借其在美洲、欧洲和东亚的广泛布局吸引客户。

全球化视野下的多云数据架构是出海企业应对复杂国际环境、实现业务快速扩展和合规运营的必要选择。通过精心规划与实施,企业不仅能在多变的国际市场中灵活应变,还能在保障数据安全和成本效益的同时,挖掘数据的最大价值,驱动业务持续增长。

7 月 6 日 14:00-17:50,小红书数据引擎负责人巴德(季钱飞)担任「全球化视野下的多云数据架构」论坛出品人,邀请小米、喜得国际、企查查、快手等企业的多位行业专家,分享在多云架构下的技术迭代与更新。


「全球化视野下的多云数据架构」论坛议题抢先看!


演讲题目一:小米基于 Data / AI 一体化的湖仓多云实践演讲介绍和提纲

演讲嘉宾:肖杰宝 小米软件研发工程师

个人介绍:小米软件研发工程师,目前主要负责小米内部数据湖和元数据研发工作。

演讲介绍和提纲:

本次主要分享以下内容:

1. 湖仓多云架构的探索实践;

2. 基于 Iceberg 实现湖仓表格数据多云存储的落地实践;

3. 基于 Gravitino 实现 Data / AI 非表格数据统一管理的落地实践;

4. 未来规划。

演讲的提纲:

1. 湖仓多云架构探索实践:

- 介绍小米数据湖平台架构

- 介绍小米统一湖仓元数据的实践

- 介绍小米存 / 算多云实践

- 介绍小米湖仓体系发展路径

2. 湖仓表格数据多云实践:

- 介绍表格数据上云背景

- 介绍云存储选型和评价方法

- 介绍上云方案

3. Data / AI 非表格数据多云一体化实践:

- 小米 Data / AI 非表格数据管理的痛点

- Gravitino 统一管理非表格数据 Fileset 的原理

- 利用 Gravitino 实现非表格数据统一管理的实践

4. 未来规划:

- 主要介绍未来小米将会继续在数据湖场景开展的工作

听众受益:

1.  了解小米湖仓多云架构;

2.  了解基于 Iceberg 实现湖仓数据上云实现存储降本的方案;

3.  了解 Data / AI 场景下统一管理非表格数据的方案。


演讲标题二:跨境电商喜得国际的多云数据平台建设

演讲嘉宾:王筱磊 喜得国际CTO

个人介绍:硕士就读于北京大学,曾任衣二三CTO。积极参与开源社区,现在主要负责喜得国际的工程技术管理,架构选型,重大技术决策。黑五稳定性保障的总负责人,3年黑五0宕机。主导云服务器迁云,顺利提出并完成不停机迁移。对高流量高并发有丰富经验。

演讲介绍和提纲:作为头部跨境电商喜得国际,伴随着出海区域的增多选择进行多平台的运营,业务数据平台涉及到多朵云的同时希望可以保持云中立,这就需要选择具有多云能力的数据产品,且有能力实现不同云之间的数据同步和容灾等。喜得国际技术选型从最初的PostgreSQL到分布式Data Warebase,期间经历市面所有主流技术方案的调研与测评。最终选择采用分布式Data Warebase,该方案带来以下收益:

1.  云中立:底层建立在云上,采用了云的存储和基于容器的调度技术,并且无缝支持多个主流云厂商;

2.  性能:查询性能大幅提升,一套系统即可满足TP和AP的诉求;

3.  效率:研发更聚焦于业务无需考虑扩容等技术细节;

4.  体验:摒弃复杂,带来极简的产品体验。

听众收益:

1.了解跨境业务数据平台搭建流程;

2.跨境电商业务技术选型思路;

3.多云平台数据系统搭建;

4.数据系统如何更好地支撑业务发展?

5.业务高速增长时数据平台应如何进化;

6.了解跨境电商业务与AI 可以碰撞出什么样的火花。


演讲题目三:加速云端机器学习,Alluxio在小红书的实践

演讲嘉宾:李亚斌 小红书大数据技术专家

个人介绍:小红书技术专家,目前主要负责多云大数据存储层建设、业务落地工作。

演讲介绍和提纲:

本议题将详细介绍小红书如何通过 Alluxio 架构实现:

1.  在机器学习训练场景下的数据读取加速;

2.  推荐索引与模型在多云场景下的性能提升和成本优化;

3.  海量小文件场景下的AI训练加速。

听众收益:

1.  数据加速产品如何选型?

2.  如何通过智能缓存管理,提升机器学习训练样本读取速度;

3.  如何有效减少跨云数据拷贝。


演讲题目四:企查查的数据降本增效之路

演讲嘉宾:任何强 企查查大数据架构负责人

个人介绍:就职于企查查科技股份有限公司。主要负责企查查的数据架构、大数据平台。

演讲介绍和提纲:

1.  企查查的数据架构;

2.  混合”云“架构的形成;

3.  多云下的统一架构。

听众收益:

1.  资源提效30%以上;

2.  多版本架构;

3.  统一元数据。


演讲题目五:快手 Flink on K8s 的迁移与稳定性保障

演讲嘉宾:刘建刚 快手技术专家

个人介绍:毕业于北航,先后任职于搜狗、百度,于2018年加入快手并推动Flink在快手的深度改造和生产可用。

演讲介绍和提纲:

1.背景介绍,分为技术趋势和内部需求两个方面;

2.架构设计与实现,从用户层面、平台层面、引擎层面分别有哪些考量,以及如何解决迁移中的核心痛点;

3.稳定性保障,涵盖流程规范、作业管理、运维保障等方面,另外也会介绍下我们的海外AZ逃生;

4.未来规划,构建动态自适应、存算分离、混合部署的实时计算平台。

听众收益:

1.  了解Flink on k8s在业界落地的生产实践状况;

2.  了解实时计算的稳定性保障体系;

3.  了解实时计算最新的业界动态。

完整议题已上线,扫描下方二维码,定制你的参会日历!

今天是本次会议「 8折团票优惠」阶段,扫描下方二维码,了解更多优惠活动。

继续滑动看下一个
DataFunSummit
向上滑动看下一个

您可能也对以下帖子感兴趣

文章有问题?点此查看未经处理的缓存