部署后使用requirements_file参数后,python数据流作业不接受来自pubsub订阅的消息

阿尔文·沙玛(Arvind Sharma)

我想在写入大查询之前使用数据流作业来加密来自pubsub订阅的即将到来的消息。我正在使用pycryptodome == 3.9.8,cryptography == 3.1 python库来做到这一点。

在数据流作业中,我正在使用以下两个导入

从Crypto导入从Crypto随机导入。从Crypto导入AES

当我尝试不使用--requirements_file参数部署数据流管道时。它可以完美部署,但是在将消息发布到主题后会引发错误

ModuleNotFoundError:没有名为“ Crypto”的模块[在运行“ generatedPtransform-81”时]

之后,我尝试使用--requirements_file required.txt标志再次部署管道。数据流管道可以部署,但是现在它不接受来自订阅的任何消息。数据流作业没有错误,因为它没有获取消息。

我想念什么吗?由于没有日志,因此很难识别。

诺尔斯

通过@ peter-kim重新发布评论作为答案:使用setup.py文件,您应该能够做您需要的事情。当我添加requirements.txt时,请参见数据流失败[Python]

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Python 中的数据流未显示来自 Pubsub 订阅的输出集合

来自分类Dev

数据流模板不接受输入参数

来自分类Dev

区域丢失后从数据流中恢复PubSub Acked消息

来自分类Dev

数据流作业在更新后保留旧的错误状态

来自分类Dev

从模板启动时,数据流作业不会从 PubSub 使用

来自分类Dev

如何使用 Python 代码启动数据流作业

来自分类Dev

数据流作业“成功”后,临时文件仍保留在GCS中

来自分类Dev

清除后stringstream不接受任何数据

来自分类Dev

部署到CF后,Spring数据流跳过程序无法启动

来自分类Dev

使用 Spring Cloud 数据流调度作业时,是否部署/取消部署应用程序实例?

来自分类Dev

是否存在不接受输入但返回输出的TPL数据流块?

来自分类Dev

由于Scrapinghub客户端库不接受ValueProvider,因此无法创建数据流模板

来自分类Dev

为什么Haskell在函数组合后不接受参数?

来自分类Dev

为什么Haskell在函数组合后不接受参数?

来自分类Dev

在数据流作业中查找重复项-Python

来自分类Dev

使用Java SDK检查数据流作业(异步)状态

来自分类Dev

数据流作业的初始状态

来自分类Dev

排干使用FILE_LOAD写入方法的数据流作业是否可以确保所有元素都已写入?

来自分类Dev

程序不接受参数Python

来自分类Dev

Cloud Function触发数据流时如何在Dataflow中传递requirements.txt参数?

来自分类Dev

API 不接受来自表单的快速数据

来自分类Dev

使用 DRF 和 django-revproxy 时出现“异常:从请求的数据流读取后无法访问正文”

来自分类Dev

数据流作业失败-找不到BigQuery导入作业

来自分类Dev

将消息从SQS读入数据流

来自分类Dev

WebSocket 在数据流 15 - 20 分钟后停止接收数据 - NodeJS

来自分类Dev

云数据流 python3 作业未解决依赖项

来自分类Dev

使用针对BigQueryTableInserter的addShutdownHook上的SecurityException引发具有App Engine错误的数据流作业

来自分类Dev

Python流数据流“ WriteToPubSub”行为

来自分类Dev

Rust不接受来自本地消息传递的标准输入-FireFox

Related 相关文章

  1. 1

    Python 中的数据流未显示来自 Pubsub 订阅的输出集合

  2. 2

    数据流模板不接受输入参数

  3. 3

    区域丢失后从数据流中恢复PubSub Acked消息

  4. 4

    数据流作业在更新后保留旧的错误状态

  5. 5

    从模板启动时,数据流作业不会从 PubSub 使用

  6. 6

    如何使用 Python 代码启动数据流作业

  7. 7

    数据流作业“成功”后,临时文件仍保留在GCS中

  8. 8

    清除后stringstream不接受任何数据

  9. 9

    部署到CF后,Spring数据流跳过程序无法启动

  10. 10

    使用 Spring Cloud 数据流调度作业时,是否部署/取消部署应用程序实例?

  11. 11

    是否存在不接受输入但返回输出的TPL数据流块?

  12. 12

    由于Scrapinghub客户端库不接受ValueProvider,因此无法创建数据流模板

  13. 13

    为什么Haskell在函数组合后不接受参数?

  14. 14

    为什么Haskell在函数组合后不接受参数?

  15. 15

    在数据流作业中查找重复项-Python

  16. 16

    使用Java SDK检查数据流作业(异步)状态

  17. 17

    数据流作业的初始状态

  18. 18

    排干使用FILE_LOAD写入方法的数据流作业是否可以确保所有元素都已写入?

  19. 19

    程序不接受参数Python

  20. 20

    Cloud Function触发数据流时如何在Dataflow中传递requirements.txt参数?

  21. 21

    API 不接受来自表单的快速数据

  22. 22

    使用 DRF 和 django-revproxy 时出现“异常:从请求的数据流读取后无法访问正文”

  23. 23

    数据流作业失败-找不到BigQuery导入作业

  24. 24

    将消息从SQS读入数据流

  25. 25

    WebSocket 在数据流 15 - 20 分钟后停止接收数据 - NodeJS

  26. 26

    云数据流 python3 作业未解决依赖项

  27. 27

    使用针对BigQueryTableInserter的addShutdownHook上的SecurityException引发具有App Engine错误的数据流作业

  28. 28

    Python流数据流“ WriteToPubSub”行为

  29. 29

    Rust不接受来自本地消息传递的标准输入-FireFox

热门标签

归档