如何创建作业以在 google-BigQuery 上启动 python 脚本

斯特凡诺 G。

我在 google-BigQuery 上遇到问题:

  1. 我写了一个查询。
  2. 我打开 shell 并创建一个Python 脚本,该脚本调用查询并将数据保存在我家的子目录中的 CSV 文件中BigQuery,到目前为止一切顺利。

现在,所有文件(.py 和 .csv)都是 BigQuery 的那个目录:
stefano_giostra@[MY_PROJECT]:~/bb_stkovf_data$ ls -l total 24 -rw-r--r-- 1 stefano_giostra stefano_giostra 2724 Aug 7 01:51 best_answer_on_google-bigquery_90gg_20180807_0151.log -rw-r--r-- 1 stefano_giostra stefano_giostra 669 Aug 7 01:51 domande_risposte_2014_2015.log -rw-r--r-- 1 stefano_giostra stefano_giostra 155 Aug 7 01:51 python_developer_by_nation_20180807_0151.log -rw-r--r-- 1 stefano_giostra stefano_giostra 770 Aug 7 01:51 query.sql -rw-r--r-- 1 stefano_giostra stefano_giostra 7744 Aug 7 01:50 sg_bb_stkorw_info.py

  1. 我希望在BigQueryGCP UI上看到 CSV ,我该怎么做?
  2. 我还希望生成一个仅调用脚本的作业,并且我不希望构建广告 HTML 应用程序仅用于安排查询调用。

在文档中,我没有看到任何调用 .py 的 yaml 文件,但只调用了 .app 并且在我这些天阅读的所有文档中,我还没有看到如何做到这一点。

有人能帮我吗?

谢谢

鲁本 C.

在下面找到答案:

  1. 要在 BigQuery 中可视化 CSV,您必须首先按照此处所述将其加载到表然后您可以将其可视化为常规表(使用预览或查询特定字段)。

  2. 我在一篇文章中从 JMD 那里找到了一种方法,他是 Google 的技术解决方案代表,AKA 值得信赖的来源该解决方案在 Compute Engine f1-micro 实例中使用 Cron 作业,它允许您运行脚本而无需修改它并且不必构建您不想要的“HTML”应用程序:

要安排脚本,您首先必须创建一个项目(如果您没有)。我假设您已经有一个项目,因此如果是这种情况,只需创建您想要用于调度此脚本的实例。

创建新实例:

  1. 在 Google Cloud Platform Console 中,单击 Products & Services,这是左上角带有四个条形的图标。

  2. 在菜单上转到 Compute 部分并将鼠标悬停在 Compute Engine 上,然后单击 VM Instances。

  3. 转到实例部分上方的菜单栏,您将在那里看到“创建实例”按钮。单击它并填写您希望新实例具有的配置值。您选择的值将决定您的 VM 实例功能。您可以为新实例选择名称、地区和机器类型等值。

  4. 在机器类型部分,单击下拉菜单选项卡以选择“f1-micro 实例”。

  5. 在身份和 API 访问部分,为存储 API 提供访问范围,以便您可以在需要时读取和写入您的存储桶;默认访问范围只允许您阅读。同时启用 BigQuery API。

  6. 创建实例并访问存储桶后,只需在新实例中创建您的 cron 作业:在将执行 cron 作业的用户帐户中,运行 crontab -e 并编辑此文件以运行将执行的 cron 作业您的 baby.sh 脚本。以下文档链接应该可以帮助您解决这个问题。

请注意,如果您想查看脚本的输出,您可能需要将其重定向到当前终端。

您可能需要添加更多权限,因为您也在使用 Google BigQuery。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何在XBMC上安装Python脚本以在启动时自动启动它

来自分类Dev

如何在Heroku上执行python脚本?

来自分类Dev

如何在Google Compute Engine上验证到BigQuery?

来自分类Dev

如何付款给Google BigQuery?

来自分类Dev

启动MPV的Python脚本

来自分类Dev

如何使python脚本在osx上可执行?

来自分类Dev

Ubuntu在tty上启动时如何运行bash脚本

来自分类Dev

如何在powerBI上运行Python脚本

来自分类Dev

如何通过主屏幕上的快捷方式启动Android Python脚本

来自分类Dev

使用Python在Google BigQuery中创建每周计划的查询作业

来自分类Dev

如何为通过Google Apps脚本创建的BigQuery中的新表设置过期时间?

来自分类Dev

在Google Cloud Compute实例启动时启动python脚本

来自分类Dev

如何从Google脚本向BigQuery发出正确的HTTP请求

来自分类Dev

如何通过Python使用Google Apps脚本?

来自分类Dev

如何创建桌面条目以启动Python脚本?

来自分类Dev

如何在XBMC上安装Python脚本以在启动时自动启动它

来自分类Dev

从Google Apps脚本启动下载

来自分类Dev

如果停止,如何在远程服务器上重新启动python脚本?

来自分类Dev

权限被拒绝在Mint 17.3上启动python脚本

来自分类Dev

在Ubuntu上每次启动VLC媒体过程时,如何自动调用Python脚本?

来自分类Dev

如何为 python 脚本创建一个新的 Cron 作业来更新 mysql?

来自分类Dev

如何使用 Python 脚本中的 API 将引号字符(“)上传到 BigQuery 表

来自分类Dev

Google BigQuery - python 客户端 - 创建/管理作业

来自分类Dev

Python 启动脚本

来自分类Dev

在 Google Cloud Platform 上创建实例时无法运行启动脚本

来自分类Dev

在 Raspberry pi 上启动时启动 python 脚本的困难

来自分类Dev

使用假时间戳在 Google BigQuery 上创建分区

来自分类Dev

Python中的crontab创建cron作业,但不运行脚本

来自分类Dev

如何在python上运行sh脚本?

Related 相关文章

  1. 1

    如何在XBMC上安装Python脚本以在启动时自动启动它

  2. 2

    如何在Heroku上执行python脚本?

  3. 3

    如何在Google Compute Engine上验证到BigQuery?

  4. 4

    如何付款给Google BigQuery?

  5. 5

    启动MPV的Python脚本

  6. 6

    如何使python脚本在osx上可执行?

  7. 7

    Ubuntu在tty上启动时如何运行bash脚本

  8. 8

    如何在powerBI上运行Python脚本

  9. 9

    如何通过主屏幕上的快捷方式启动Android Python脚本

  10. 10

    使用Python在Google BigQuery中创建每周计划的查询作业

  11. 11

    如何为通过Google Apps脚本创建的BigQuery中的新表设置过期时间?

  12. 12

    在Google Cloud Compute实例启动时启动python脚本

  13. 13

    如何从Google脚本向BigQuery发出正确的HTTP请求

  14. 14

    如何通过Python使用Google Apps脚本?

  15. 15

    如何创建桌面条目以启动Python脚本?

  16. 16

    如何在XBMC上安装Python脚本以在启动时自动启动它

  17. 17

    从Google Apps脚本启动下载

  18. 18

    如果停止,如何在远程服务器上重新启动python脚本?

  19. 19

    权限被拒绝在Mint 17.3上启动python脚本

  20. 20

    在Ubuntu上每次启动VLC媒体过程时,如何自动调用Python脚本?

  21. 21

    如何为 python 脚本创建一个新的 Cron 作业来更新 mysql?

  22. 22

    如何使用 Python 脚本中的 API 将引号字符(“)上传到 BigQuery 表

  23. 23

    Google BigQuery - python 客户端 - 创建/管理作业

  24. 24

    Python 启动脚本

  25. 25

    在 Google Cloud Platform 上创建实例时无法运行启动脚本

  26. 26

    在 Raspberry pi 上启动时启动 python 脚本的困难

  27. 27

    使用假时间戳在 Google BigQuery 上创建分区

  28. 28

    Python中的crontab创建cron作业,但不运行脚本

  29. 29

    如何在python上运行sh脚本?

热门标签

归档