Apache Airflow-1.10-如何在durin运行时访问SQL文件

黑色炸药

TL; DR如何实现,以便dag中的任务可以访问资产(SQL文件,文本文件)

大家好,

我正在运行单节点Airflow安装(1.10.12)。我有一个使用SQL语句的dag。为了便于阅读,我想将这些语句保留在自己的SQL文件中。所以我的项目看起来像这样:

  MyProject
   - airflow_ftp_DAG.py
   - airflow_ftp_assets (directory)
      - WEX_HH_Upsert_SQL.sql

当我的dag运行时,它抱怨找不到SQL文件。这是由于dag在不同的文件夹中运行任务(如通过运行可见os.getcwd()

如何使我的SQL文件可被任务引用?

def insert_hh_records(**kwargs):
    key = 'WEX_FILETYPE_HH'
    collated_data_file_path = kwargs['ti'].xcom_pull(key=key)

    sql_path = "airflow_wex_ftp_assets/WEX_HH_Upsert_SQL.sql"
    sql_string = ''

    <!---  Error below --->

    with open(sql_path,"r") as f:
        sql_string = f.read()

任何帮助是极大的赞赏

黑色炸药

我将Dag文件作为zip文件上传到dag文件夹中。在此过程中的某个地方,它正在解压缩它们,但没有保留SQL资产文件。一旦我停止压缩它们,问题就消失了。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何测试 apache-airflow

来自分类Dev

如何通过Apache Airflow运行Shell脚本

来自分类Dev

如何在 Apache Airflow 的 SparkSubmitOperator 中将文件作为参数传递

来自分类Dev

Google Cloud Composer(Apache Airflow)无法访问日志文件

来自分类Dev

Apache Airflow的世界您好

来自分类Dev

Apache Airflow:基于执行时间的动态时间间隔

来自分类Dev

Apache Airflow 2.0.0.b2-动态EmailOperator [文件]属性

来自分类Dev

Apache Airflow-如何进行地理编码?

来自分类Dev

如何从Apache Airflow触发Azure Databricks笔记本

来自分类Dev

Apache Airflow和Apache Atlas超时

来自分类Dev

Apache Airflow和Apache Atlas超时

来自分类Dev

等待上一次在Apache Airflow中运行的所有下游任务

来自分类Dev

Apache Airflow - 使用上次运行日期维护 dag_ids 表?

来自分类Dev

Apache Airflow-Python功能问题

来自分类Dev

列出Apache Airflow上的索引不足

来自分类Dev

管道无法在Pandas的Apache Airflow中工作

来自分类Dev

在Apache Tomcat服务器上运行时,为什么无法访问.properties文件?

来自分类Dev

我试图打印出 1!到 10!但遇到运行时错误

来自分类Dev

如何运行BigQuery查询,然后将输出CSV发送到Apache Airflow中的Google Cloud Storage?

来自分类Dev

如何使用OpenJDK 10运行Apache Directory Studio?

来自分类Dev

如何在Apache Netbeans IDE 10中启用Java EE

来自分类Dev

原始SQL on Airflow

来自分类Dev

Windows 10更新后无法访问Vagrant Apache

来自分类Dev

为什么Apache airflow使用以下命令失败:“ airflow initdb”?

来自分类Dev

Apache Airflow-无法在CentOS7上设置Airflow-

来自分类Dev

Apache AIrflow KubernetesExecutor和KubernetesPodOperator:xcom推送不起作用

来自分类Dev

为什么在Apache Airflow中通过PythonOperator使用CustomOperator?

来自分类Dev

在Apache Airflow 2.0中是否可以避免此警告?

来自分类Dev

Apache Airflow中的开始日期和计划日期存在问题

Related 相关文章

  1. 1

    如何测试 apache-airflow

  2. 2

    如何通过Apache Airflow运行Shell脚本

  3. 3

    如何在 Apache Airflow 的 SparkSubmitOperator 中将文件作为参数传递

  4. 4

    Google Cloud Composer(Apache Airflow)无法访问日志文件

  5. 5

    Apache Airflow的世界您好

  6. 6

    Apache Airflow:基于执行时间的动态时间间隔

  7. 7

    Apache Airflow 2.0.0.b2-动态EmailOperator [文件]属性

  8. 8

    Apache Airflow-如何进行地理编码?

  9. 9

    如何从Apache Airflow触发Azure Databricks笔记本

  10. 10

    Apache Airflow和Apache Atlas超时

  11. 11

    Apache Airflow和Apache Atlas超时

  12. 12

    等待上一次在Apache Airflow中运行的所有下游任务

  13. 13

    Apache Airflow - 使用上次运行日期维护 dag_ids 表?

  14. 14

    Apache Airflow-Python功能问题

  15. 15

    列出Apache Airflow上的索引不足

  16. 16

    管道无法在Pandas的Apache Airflow中工作

  17. 17

    在Apache Tomcat服务器上运行时,为什么无法访问.properties文件?

  18. 18

    我试图打印出 1!到 10!但遇到运行时错误

  19. 19

    如何运行BigQuery查询,然后将输出CSV发送到Apache Airflow中的Google Cloud Storage?

  20. 20

    如何使用OpenJDK 10运行Apache Directory Studio?

  21. 21

    如何在Apache Netbeans IDE 10中启用Java EE

  22. 22

    原始SQL on Airflow

  23. 23

    Windows 10更新后无法访问Vagrant Apache

  24. 24

    为什么Apache airflow使用以下命令失败:“ airflow initdb”?

  25. 25

    Apache Airflow-无法在CentOS7上设置Airflow-

  26. 26

    Apache AIrflow KubernetesExecutor和KubernetesPodOperator:xcom推送不起作用

  27. 27

    为什么在Apache Airflow中通过PythonOperator使用CustomOperator?

  28. 28

    在Apache Airflow 2.0中是否可以避免此警告?

  29. 29

    Apache Airflow中的开始日期和计划日期存在问题

热门标签

归档