使用Cloud Proxy的Google Cloud Composer和MS SQL

韦松加

我正在使用GCP(Composer)上的Airflow构建到BigQuery集成的Cloud SQL(MS SQL Server)。我已经在GKE群集中设置了运行良好的云SQL代理,那里没有错误:

apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    run: cloud-sql-proxy
  name: cloud-sql-proxy
  namespace: cloud-sql-to-bq
spec:
  replicas: 1
  selector:
    matchLabels:
      run: cloud-sql-proxy
  strategy:
    rollingUpdate:
      maxSurge: 1
      maxUnavailable: 1
    type: RollingUpdate
  template:
    metadata:
      labels:
        run: cloud-sql-proxy
    spec:
      containers:
      - command:
        - /cloud_sql_proxy
        - -instances=[INSTANCE-NAME]=tcp:0.0.0.0:1433
        image: b.gcr.io/cloudsql-docker/gce-proxy:latest
        imagePullPolicy: IfNotPresent
        name: airflow-sqlproxy
        ports:
        - containerPort: 1433
          protocol: TCP
        terminationMessagePath: /dev/termination-log
        terminationMessagePolicy: File
      nodeSelector:
        cloud.google.com/gke-nodepool: default-pool
      restartPolicy: Always

我的一天:

dag = DAG('mssql-export-demo', catchup=False, default_args=default_args)
cloud_storage_bucket_name = 'mssql-export-test'


export_customers = MsSqlToGoogleCloudStorageOperator(
    task_id='export_analysis',
    sql='SELECT * FROM vwAnalysis;',
    bucket=cloud_storage_bucket_name,
    filename='data/customers/export.json',
    schema_filename='schemas/export.json',
    mssql_conn_id='cloud_sql_proxy_conn',
    dag=dag
)

我还在Airflow中创建了一个指向cloud_sql_proxy_conn的连接运行DAG时,出现以下错误:

[2020-11-28 01:59:20,555] {taskinstance.py:1153} ERROR - Connection to the database failed for an unknown reason.
Traceback (most recent call last)
  File "src/pymssql.pyx", line 636, in pymssql.connec
  File "src/_mssql.pyx", line 1964, in _mssql.connec
  File "src/_mssql.pyx", line 683, in _mssql.MSSQLConnection.__init_
_mssql.MSSQLDriverException: Connection to the database failed for an unknown reason

没有其他错误消息,因此很难调试。有人对Cloud SQL和Composer上的MS SQL有经验可以帮助我解决这个问题吗?

韦松加

Airflow现在提供CloudSqlInstanceExportOperator,这意味着无需在GKE中设置云SQL代理。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何在我的Android应用程序中实现和使用Google Cloud SQL(Eclipse)

来自分类Dev

Android App和Google App Engine / Cloud SQL

来自分类Dev

无法连接到Google Cloud SQL。使用PHP Google SDK

来自分类Dev

Google Cloud SQL帐单和免费配额的详细信息

来自分类Dev

Google Cloud SQL定价

来自分类Dev

如何使用SSH连接到Google Cloud SQL

来自分类Dev

缓慢导入Google Cloud SQL

来自分类Dev

您如何开始使用Google Cloud SQL?

来自分类Dev

使用Google Cloud SQL和PHP动态创建数据库

来自分类Dev

无法使用Cloud SQL代理从Google Compute Engine连接到Google Cloud SQL

来自分类Dev

将hasura与Google Cloud Run和Google Cloud SQL结合使用

来自分类Dev

Google Cloud SQL和sql_mode标志

来自分类Dev

Google Cloud SQL维护窗口

来自分类Dev

Cloud Composer与Cloud Scheduler

来自分类Dev

Cloud SQL Proxy无法从Docker容器工作

来自分类Dev

Google Cloud Spanner和Cloud SQL有什么区别?

来自分类Dev

从Google Cloud上运行的Cloud访问Cloud SQL

来自分类Dev

Google大查询和Cloud SQL

来自分类Dev

无法连接到Google Cloud SQL。使用PHP Google SDK

来自分类Dev

JDO和Cloud SQL使用makePersistentAll更新对象

来自分类Dev

在Google Cloud Endpoint中使用Sql2o连接到Cloud SQL

来自分类Dev

使用Google Cloud Storage代替Google Cloud SQL保存文件有什么好处

来自分类Dev

使用Java和Cloud SQL在Google灵活环境中使用Killbill

来自分类Dev

无法使用 cloud_sql_proxy 从容器连接到云 SQL

来自分类Dev

验证和使用 Google Cloud Speech API

来自分类Dev

Google Cloud:如何在 Cloud Datalab 中使用 Cloud ML

来自分类Dev

监控 Google Cloud SQL 备份

来自分类Dev

查询速度极慢 - 使用 google sql cloud

来自分类Dev

Google Cloud SQL 日期格式

Related 相关文章

热门标签

归档