如何将Cloud Composer Airflow DAG连接到VPN

尼奥姆

如何允许Cloud Composer Airflow DAG通过VPN网关连接到REST API?群集已连接到相应的VPC。

kube-proxy可以访问API,但是容器不能。

我已经将SSH连接到kube-proxy和容器中,并尝试了traceroute。容器的traceroute以kube-proxy结尾。kube-proxy在到达目的地之前有4跳。

我已经从kube-proxy中转储了iptables,它们没有对使用容器对VPC子网进行NAT进行任何指定。

VPC子网也不会显示在容器中,这是设计使然。

一些阅读材料:https : //www.stackrox.com/post/2020/01/kubernetes-networking-demystified/

EDIT1:更多信息:假设VPN将VPC连接到远程10.200.0.0网络。
VPC具有多个子网。主要范围是例如10.10.0.0/20。对于每个Kubernetes集群,我们还有两个子网,一个用于每个Pod(10.16.0.0/14),另一个用于服务(10.20.0.0/20)。网关是10.10.0.1。
每个pod都有自己的范围,其中pod_1为10.16.0.0/14,pod_2为10.16.1.0/14,pod_3为10.16.3.0/14,依此类推。
其中一个kube-proxy具有多个网络适配器。它位于带有eth0的10.10.0.0网络中,并具有一个通往10.16.0.0的cbr0网桥。通过桥的kube-proxy,Airflow的工人正在连接到网络。一个工人(例如10.16.0.1)只有一个网络适配器。

kube-proxy可以到达10.200.0.0网络。气流工人不能。

我们如何让工作人员访问10.200.0.0网络?我们需要更改kube-proxy的iptables吗?

维塔利(Vitalii Bozheniuk)

一种可能的解决方案是将包从kube虚拟接口转发到节点的实际接口。例如,将以下规则添加到ip表:

iptables -A FORWARD -i cbr0 -o eth0 -d 10.200.0.0/25 -j ACCEPT
iptables -A FORWARD -i eth0 -o cbr0 -s 10.200.0.0/25 -m state --state ESTABLISHED,RELATED -j ACCEPT
iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何使用bash批量检索Airflow连接?(Google Composer)

来自分类Dev

Google Cloud Composer(Airflow)-DAG中的数据流作业成功执行,但DAG失败

来自分类Dev

如何将Airflow连接到Oracle数据库

来自分类Dev

如何将puckel / docker-airflow连接到本地Windows SQL Server?

来自分类Dev

DAG成功运行,但在Airflow Web服务器UI中DAG不可用/ DAG在Google Cloud Composer中不可单击

来自分类Dev

Google Cloud Composer(Apache Airflow)无法访问日志文件

来自分类Dev

您可以在Google Cloud Composer中访问Airflow CLI吗?

来自分类Dev

如何连接到VPN?

来自分类Dev

如何在Airflow 1.10.10 + composer中使用on_failure_callback?

来自分类Dev

将外部工作人员连接到 Cloud Composer 气流

来自分类Dev

无法通过Airflow DAG连接到Docker Postgres服务器

来自分类Dev

在进行回填时,Composer / Airflow如何自动跳过时间传感器?

来自分类Dev

启动时如何连接到VPN?

来自分类Dev

如何连接到Windows PPTP VPN?

来自分类Dev

如何通过UFW连接到CISCO VPN

来自分类Dev

如何将DDWRT路由器连接到我的办公室PPTP VPN?

来自分类常见问题

Airflow / Python-如何基于外部进程恢复DAG流

来自分类Dev

如何设置Airflow中DAG之间的依赖关系?

来自分类Dev

Airflow / Python-如何基于外部进程恢复DAG流

来自分类Dev

如何安排 Airflow DAG 每双月运行一次

来自分类Dev

我们如何在 Airflow 中导入 dag?

来自分类Dev

如何将Composer用于Kohana

来自分类Dev

如何使用RouterOS将整个网络连接到VPN

来自分类Dev

Google Cloud Composer DAG未出现在UI中

来自分类Dev

GCS 存储桶中的 Google Cloud Composer DAG 相对目录

来自分类Dev

如何将Google Data Studio连接到Google Cloud SQL

来自分类Dev

如何将SQL Server Beta(Google Cloud)连接到Google API引擎(Node.js)

来自分类Dev

如何将IAM服务帐户连接到Cloud SQL实例

来自分类Dev

如何将manage.py syncdb连接到Google Cloud SQL

Related 相关文章

  1. 1

    如何使用bash批量检索Airflow连接?(Google Composer)

  2. 2

    Google Cloud Composer(Airflow)-DAG中的数据流作业成功执行,但DAG失败

  3. 3

    如何将Airflow连接到Oracle数据库

  4. 4

    如何将puckel / docker-airflow连接到本地Windows SQL Server?

  5. 5

    DAG成功运行,但在Airflow Web服务器UI中DAG不可用/ DAG在Google Cloud Composer中不可单击

  6. 6

    Google Cloud Composer(Apache Airflow)无法访问日志文件

  7. 7

    您可以在Google Cloud Composer中访问Airflow CLI吗?

  8. 8

    如何连接到VPN?

  9. 9

    如何在Airflow 1.10.10 + composer中使用on_failure_callback?

  10. 10

    将外部工作人员连接到 Cloud Composer 气流

  11. 11

    无法通过Airflow DAG连接到Docker Postgres服务器

  12. 12

    在进行回填时,Composer / Airflow如何自动跳过时间传感器?

  13. 13

    启动时如何连接到VPN?

  14. 14

    如何连接到Windows PPTP VPN?

  15. 15

    如何通过UFW连接到CISCO VPN

  16. 16

    如何将DDWRT路由器连接到我的办公室PPTP VPN?

  17. 17

    Airflow / Python-如何基于外部进程恢复DAG流

  18. 18

    如何设置Airflow中DAG之间的依赖关系?

  19. 19

    Airflow / Python-如何基于外部进程恢复DAG流

  20. 20

    如何安排 Airflow DAG 每双月运行一次

  21. 21

    我们如何在 Airflow 中导入 dag?

  22. 22

    如何将Composer用于Kohana

  23. 23

    如何使用RouterOS将整个网络连接到VPN

  24. 24

    Google Cloud Composer DAG未出现在UI中

  25. 25

    GCS 存储桶中的 Google Cloud Composer DAG 相对目录

  26. 26

    如何将Google Data Studio连接到Google Cloud SQL

  27. 27

    如何将SQL Server Beta(Google Cloud)连接到Google API引擎(Node.js)

  28. 28

    如何将IAM服务帐户连接到Cloud SQL实例

  29. 29

    如何将manage.py syncdb连接到Google Cloud SQL

热门标签

归档