为什么Azure Databricks需要将数据存储在Azure的临时存储中
用户名
我正在关注有关使用天蓝色数据块进行数据转换的教程，它说在将数据加载到天蓝色突触分析之前，先将通过天蓝色数据块转换的数据先保存在天蓝色blob存储中的临时存储中，然后再加载到天蓝色突触分析中。为什么在加载到天蓝色突触分析之前需要将其保存到临时存储中？
CHEEKATLAPRADEEP-MSFT
在读取或写入Azure Synapse时，Azure存储容器充当存储批量数据的中介。Spark使用内置连接器之一连接到存储容器：Azure Blob存储或Azure Data Lake Storage（ADLS）Gen2。
下面的体系结构图显示了如何通过每个计算节点上的数据移动服务（DMS）服务的每个HDFS桥连接到外部资源（例如Azure Blob存储）来实现此目的。然后，PolyBase在SQL数据仓库和外部资源之间双向传输数据，从而提供了快速的加载性能。
使用PolyBase提取，加载和转换数据为SQL数据仓库实现PolyBase ELT的步骤为：
- 将源数据提取到文本文件中。
- 将数据加载到Azure Blob存储，Hadoop或Azure Data Lake Store中。
- 使用PolyBase将数据导入到SQL Data Warehouse过渡表中。
- 转换数据（可选）。
- 将数据插入生产表。
本文收集自互联网，转载请注明来源。
如有侵权，请联系[email protected] 删除。
编辑于
相关文章
Related 相关文章
- 1
为什么排序数组中需要临时存储？
- 2
Azure网站的临时存储
- 3
我是否需要将存储附加到 Bitnami Wordpress Azure？
- 4
为什么实体需要Appengine数据存储区中的键
- 5
为什么Azure存储API权限未在Azure门户中列出？
- 6
为什么将HTTPS用于Azure Blob存储
- 7
为什么要备份本地或地理冗余的azure存储帐户？
- 8
为什么我的azure存储帐户上的队列域丢失了？
- 9
为什么使用内键的AspNet Core IDataProtection Azure存储
- 10
为什么我的Azure Blob存储容器中存在重复的文件夹？
- 11
为什么在使用azure Blob作为virtocommerce中的存储提供程序时无法访问图像？
- 12
为什么我在Azure存储帐户中没有主键
- 13
如何在Azure中存储审核数据
- 14
Azure 中的安全存储服务是什么？
- 15
配置单元表存储在Azure存储帐户中的什么位置？
- 16
用于中间/临时存储的 Azure Cosmos db 与 blob 存储
- 17
为什么PHP需要递归存储相同的全局数据？
- 18
在python的Azure函数中从Azure blob存储读取数据
- 19
在python的Azure函数中从Azure blob存储读取数据
- 20
为什么从Visual Studio部署Azure需要这么长时间？
- 21
为什么我们需要在Android应用中存储Goefence数据？
- 22
为什么我们需要在Android应用中存储Goefence数据？
- 23
多个 Azure DevOps 项目 GIT 与单个 Azure Databricks 存储库
- 24
为什么我需要一个临时变量来存储 Random 方法的值？
- 25
为什么不能从ASP.NET Core应用程序中删除Azure存储帐户中的任何Blob？
- 26
从azure blob存储读取xlsx到pandas数据帧，而无需创建临时文件
- 27
Azure表存储-为什么要存储我的bool和string属性，而没有存储int和double属性？
- 28
需要计算c＃中存储在Azure存储中的文件的SHA1哈希
- 29
需要计算c＃中存储在Azure存储中的文件的SHA1哈希
我来说两句