如何构建Azure Data Factory和Azure函数以进行文件验证检查并发送错误邮件

我在管道中有一个Azure数据工厂复制活动。复制活动正在运行。我有两个问题。第一个问题是如何构建Azure数据工厂或Azure函数以执行下面的任何过程。

  1. 将上传的csv文件或excel文件复制到另一个容器。
  2. 对python编码的天蓝色函数执行验证检查。
  3. 将包含邮件的错误消息作为附件通过Azure的SMTP发送网格的验证检查生成。
  4. 如果验证检查没有问题,则将该文件复制到SQL数据库表。

非常感谢您的配合。

克里希格

据我了解,下面回答您的问题。随时澄清您是否需要其他或更详细的信息。

将上传的csv文件或excel文件复制到另一个容器。

使用复制数据,源blob作为输入,目标blob作为输出

谢谢。我知道了。II也可以实现这一点。  

对python编码的天蓝色函数执行验证检查

使用Data Factory中的Azure Function活动调用您的http触发函数(假设您是要验证要上传/复制的文件吗?)

是的,我愿意。该文件与我上传并复制的文件相同。如何使用消息队列触发器?由于文件大,我希望使用“复制完成”队列的触发器。

您将不需要队列来处理自己。您可以使用内置的Blob触发器,这将使您的生活更轻松。

将包含邮件的错误消息作为附件通过Azure的SMTP发送网格的验证检查生成。

您可以使用SendGrid绑定从同一Python Azure函数通过SendGrid发送电子邮件但是功能绑定不支持在邮件中附加文件。为此,您可以使用SendGrid SDK而不是内置绑定来编写自定义代码

我不知道函数bindind不支持附加文件。我尝试使用sendgrid SDK和API

SendGrid API我还应该看到下面的参考链接吗?附件

是的你可以。我相信这是REST API规范。如果您使用SendGrid SDK,那将为您解决。

如果验证检查没有问题,则将该文件复制到SQL数据库表。

您是说要在某个SQL表列中将文件保留为二进制文件吗?尽管您可以从技术上将其存储在varbinary type列中。但是我建议存储blob链接,而不是将整个文件存储在SQL中。您可以在管道中使用SQL活动来调用将blob链接作为参数传递的存储过程。

我的评论中有小姐的话。下面是正确的。如果验证检查没有问题,则在积累数据后需要分析数据的情况下,将文件中的信息复制到SQL数据库表中。我不知道如何设置向SQL数据库迁移过程的触发器。我将Strage blob完整副本的消息队列用作输出更好吗?

如上所述,您不需要自定义队列,因为Data Factory已经有了触发器来帮助您。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何构建Azure函数python项目

来自分类Dev

如何在Azure DevOps构建代理上构建VS扩展?

来自分类Dev

Azure管道:如何删除Azure构建管道中的变量

来自分类Dev

如何在 azure devops 服务中设置并发构建 - tfs

来自分类Dev

Azure DevOps:如何从发布管道中的PowerShell脚本从构建Azure管道中检索构建工件?

来自分类Dev

如何使用Azure Data Factory和自托管运行时读取本地csv文件?

来自分类Dev

如何从Azure Devops中的特定分支进行构建?

来自分类Dev

如何在Azure中构建图像分类数据集?

来自分类Dev

如何删除声称已发布的Azure DevOps构建定义?

来自分类Dev

如何使用Cosmos DB触发器构建Azure功能?

来自分类Dev

如何从Azure发布管道中获取构建管道标签?

来自分类Dev

无论如何要为Azure订阅构建依赖关系图

来自分类Dev

如何在azure devops中触发对请求的构建和测试?

来自分类Dev

如何使用内部pypi构建/部署Python Azure Function应用

来自分类Dev

如何强制我的Azure管道使用.NET 5.0构建?

来自分类Dev

错误代码:DelimitedTextMoreColumnsThanDefined Azure Data Factory

来自分类Dev

如何获取 Azure Data Studio 内部版本?

来自分类Dev

Azure Data Lake Store并发

来自分类Dev

如何在Azure DevOps构建定义中使用多个构建配置(调试,发行版)构建解决方案

来自分类Dev

如何基于IF任务使Azure Data Factory管道失败

来自分类Dev

如何从Azure Data Factory中的AlterRow转换获取计数

来自分类Dev

Azure Data Lake Gen 2 - 如何选择加入“Azure Data Lake Storage 上的多协议访问”

来自分类Dev

如何在Azure DevOps YAML管道中发送构建后消息?

来自分类Dev

如何对.Net Framework编写的Azure Data Lake的append函数进行单元测试?

来自分类Dev

在Azure Data Factory中将CSV文件转换为JSON文件

来自分类Dev

Azure Data Factory按文件大小拆分文件

来自分类Dev

如何在 Azure DevOps 构建期间使用 PowerShell 脚本将构建工件推送到 Git 存储库?

来自分类Dev

如何播放 Azure 媒体服务 v3 的清单文件/构建 url?

来自分类Dev

使用Azure Data Factory查找Azure Data Lake目录中可用的文件数

Related 相关文章

  1. 1

    如何构建Azure函数python项目

  2. 2

    如何在Azure DevOps构建代理上构建VS扩展?

  3. 3

    Azure管道:如何删除Azure构建管道中的变量

  4. 4

    如何在 azure devops 服务中设置并发构建 - tfs

  5. 5

    Azure DevOps:如何从发布管道中的PowerShell脚本从构建Azure管道中检索构建工件?

  6. 6

    如何使用Azure Data Factory和自托管运行时读取本地csv文件?

  7. 7

    如何从Azure Devops中的特定分支进行构建?

  8. 8

    如何在Azure中构建图像分类数据集?

  9. 9

    如何删除声称已发布的Azure DevOps构建定义?

  10. 10

    如何使用Cosmos DB触发器构建Azure功能?

  11. 11

    如何从Azure发布管道中获取构建管道标签?

  12. 12

    无论如何要为Azure订阅构建依赖关系图

  13. 13

    如何在azure devops中触发对请求的构建和测试?

  14. 14

    如何使用内部pypi构建/部署Python Azure Function应用

  15. 15

    如何强制我的Azure管道使用.NET 5.0构建?

  16. 16

    错误代码:DelimitedTextMoreColumnsThanDefined Azure Data Factory

  17. 17

    如何获取 Azure Data Studio 内部版本?

  18. 18

    Azure Data Lake Store并发

  19. 19

    如何在Azure DevOps构建定义中使用多个构建配置(调试,发行版)构建解决方案

  20. 20

    如何基于IF任务使Azure Data Factory管道失败

  21. 21

    如何从Azure Data Factory中的AlterRow转换获取计数

  22. 22

    Azure Data Lake Gen 2 - 如何选择加入“Azure Data Lake Storage 上的多协议访问”

  23. 23

    如何在Azure DevOps YAML管道中发送构建后消息?

  24. 24

    如何对.Net Framework编写的Azure Data Lake的append函数进行单元测试?

  25. 25

    在Azure Data Factory中将CSV文件转换为JSON文件

  26. 26

    Azure Data Factory按文件大小拆分文件

  27. 27

    如何在 Azure DevOps 构建期间使用 PowerShell 脚本将构建工件推送到 Git 存储库?

  28. 28

    如何播放 Azure 媒体服务 v3 的清单文件/构建 url?

  29. 29

    使用Azure Data Factory查找Azure Data Lake目录中可用的文件数

热门标签

归档