我想在写入大查询之前使用数据流作业来加密来自pubsub订阅的即将到来的消息。我正在使用pycryptodome == 3.9.8,cryptography == 3.1 python库来做到这一点。
在数据流作业中,我正在使用以下两个导入
从Crypto导入从Crypto随机导入。从Crypto导入AES
当我尝试不使用--requirements_file参数部署数据流管道时。它可以完美部署,但是在将消息发布到主题后会引发错误
ModuleNotFoundError:没有名为“ Crypto”的模块[在运行“ generatedPtransform-81”时]
之后,我尝试使用--requirements_file required.txt标志再次部署管道。数据流管道可以部署,但是现在它不接受来自订阅的任何消息。数据流作业没有错误,因为它没有获取消息。
我想念什么吗?由于没有日志,因此很难识别。
通过@ peter-kim重新发布评论作为答案:使用setup.py
文件,您应该能够做您需要的事情。当我添加requirements.txt时,请参见数据流失败[Python]
本文收集自互联网,转载请注明来源。
如有侵权,请联系[email protected] 删除。
我来说两句