简单的 Google Cloud 部署:将 Python 文件从 Google Cloud 存储库复制到应用引擎

F汉森

我正在为一个大型企业数据仓库项目实施持续集成和持续交付。所有代码都驻留在 Google Cloud Repository 中,我可以设置 Google Cloud Build 触发器,以便每次将特定文件类型(Python 脚本)的代码推送到主分支时,Google Cloud 构建都会启动。

Python 脚本不构成应用程序。它们包含一个 ODBC 连接字符串和脚本,用于从源中提取数据并将其存储为 CSV 文件。Python 脚本将在安装了 AirFlow 的 Google Compute Engine VM 实例上执行。

因此,Python 脚本的部署非常简单: .py 文件只需从 Google Cloud 存储库文件夹复制到 Google VM 实例上的特定文件夹。没有真正要运行的传统构建,因为所有 Python 文件都是相互独立的,而不是应用程序的一部分。

我认为这真的很容易,但现在我已经用了几天的时间试图解决这个问题,但没有运气。Google Cloud Platform 提供了多个 Cloud Builders,但据我所知,没有一个可以完成这个简单的任务。使用 GCLOUD 也不起作用。它可以复制文件,但只能从本地 pc 复制到 VM,不能从源存储库复制到 VM。

我正在寻找的是一个 YAML 或 JSON 构建配置文件,用于将这些 Python 文件从源存储库复制到 Google Compute Engine VM 实例。

希望在这里得到一些帮助。

丹·科尼莱斯库

Google Cloud 存储库中的文件/文件夹不可直接访问(就像一个裸 git 存储库),您需要先克隆存储库,然后将所需的文件/文件夹从克隆的存储库复制到目标位置。

可能是可以使用标准的Fetching dependencies构建步骤克隆回购,但我不是100%,你的情况一定的了,因为你没有真正做一个编译:

steps:
- name: gcr.io/cloud-builders/git
  args: ['clone', 'https://github.com/GoogleCloudPlatform/cloud-builders']

如果不是,您可能需要一个(或多个)自定义构建步骤。创建自定义构建步骤

自定义构建步骤是一个容器映像,Cloud Build 工作器虚拟机将其拉取并运行,并将您的源卷挂载到/workspace. 您的自定义构建步骤可以执行容器内的任何脚本或二进制文件;因此,它可以做容器可以做的任何事情。

自定义构建步骤适用于:

  • 从外部位置下载源代码或包

    ...

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

Google Cloud:将静态文件从源代码库自动部署到云存储

来自分类Dev

将文件从 S3 存储桶复制到 Google Cloud Storage

来自分类Dev

从Google Cloud Function(Python)将新文件写入Google Cloud Storage存储桶

来自分类Dev

使用Google Cloud Functions Node JS将事件驱动的文件复制到其他Google存储桶

来自分类Dev

如何将文件从SSH复制到Google Cloud Repo

来自分类Dev

如何将文件从Google Cloud Compute Server复制到本地计算机

来自分类Dev

通过Gatsby将静态网站部署到Google Cloud

来自分类Dev

如何将Wordpress网站部署到Google Cloud Storage?

来自分类Dev

将域连接到使用Google Cloud部署的Django应用

来自分类Dev

将CSV文件从Google Cloud Storage导入到Google Cloud SQL

来自分类Dev

使用NodeJS在本地将文件上传到Google Cloud存储

来自分类Dev

将日志文件从Google Cloud Storage导入到BigQuery

来自分类Dev

Google Cloud Django应用部署-权限问题

来自分类Dev

Google Cloud Firestore:如何将 Firestore 集合复制到 Cloud Storage

来自分类Dev

使用Google App Engine(Python)将文件上传到Google Cloud Storage

来自分类Dev

将大文件从Google BigQuery传输到Google Cloud Storage

来自分类Dev

将公共文件从Google Cloud下载到Google colaboratory

来自分类Dev

将Flask应用程序部署到Google Cloud Platform时无法获得正确的TensorFlow版本

来自分类Dev

将 Node 应用程序部署到 Google Cloud App Service - 如何编辑我的代码?

来自分类Dev

Google Cloud SDK与Google Cloud Client库

来自分类Dev

Google Cloud Function部署失败

来自分类Dev

从python后端到Google Cloud Storage中文件的公共URL(Google App Engine)

来自分类Dev

将带有 textract 模块的 Python 应用程序部署到 Google Cloud Platform

来自分类Dev

使用Google Cloud功能的Python Flask应用

来自分类Dev

无法使用Php 7.3将laravel 7部署到Google Cloud Platform

来自分类Dev

使用docker-compose将Docker映像部署到Google Cloud

来自分类Dev

如何部署使用Google Cloud数据库运行的Laravel 8 Google Cloud

来自分类Dev

使用Google Cloud Dataflow合并Google Cloud Storage中的文件

来自分类Dev

Google Cloud Dataflow (Python):加入多个文件的函数

Related 相关文章

  1. 1

    Google Cloud:将静态文件从源代码库自动部署到云存储

  2. 2

    将文件从 S3 存储桶复制到 Google Cloud Storage

  3. 3

    从Google Cloud Function(Python)将新文件写入Google Cloud Storage存储桶

  4. 4

    使用Google Cloud Functions Node JS将事件驱动的文件复制到其他Google存储桶

  5. 5

    如何将文件从SSH复制到Google Cloud Repo

  6. 6

    如何将文件从Google Cloud Compute Server复制到本地计算机

  7. 7

    通过Gatsby将静态网站部署到Google Cloud

  8. 8

    如何将Wordpress网站部署到Google Cloud Storage?

  9. 9

    将域连接到使用Google Cloud部署的Django应用

  10. 10

    将CSV文件从Google Cloud Storage导入到Google Cloud SQL

  11. 11

    使用NodeJS在本地将文件上传到Google Cloud存储

  12. 12

    将日志文件从Google Cloud Storage导入到BigQuery

  13. 13

    Google Cloud Django应用部署-权限问题

  14. 14

    Google Cloud Firestore:如何将 Firestore 集合复制到 Cloud Storage

  15. 15

    使用Google App Engine(Python)将文件上传到Google Cloud Storage

  16. 16

    将大文件从Google BigQuery传输到Google Cloud Storage

  17. 17

    将公共文件从Google Cloud下载到Google colaboratory

  18. 18

    将Flask应用程序部署到Google Cloud Platform时无法获得正确的TensorFlow版本

  19. 19

    将 Node 应用程序部署到 Google Cloud App Service - 如何编辑我的代码?

  20. 20

    Google Cloud SDK与Google Cloud Client库

  21. 21

    Google Cloud Function部署失败

  22. 22

    从python后端到Google Cloud Storage中文件的公共URL(Google App Engine)

  23. 23

    将带有 textract 模块的 Python 应用程序部署到 Google Cloud Platform

  24. 24

    使用Google Cloud功能的Python Flask应用

  25. 25

    无法使用Php 7.3将laravel 7部署到Google Cloud Platform

  26. 26

    使用docker-compose将Docker映像部署到Google Cloud

  27. 27

    如何部署使用Google Cloud数据库运行的Laravel 8 Google Cloud

  28. 28

    使用Google Cloud Dataflow合并Google Cloud Storage中的文件

  29. 29

    Google Cloud Dataflow (Python):加入多个文件的函数

热门标签

归档