如何将备份文件大量导入到Postgresql数据库

Dimasdmm

我有一个文件夹,其中包含许多*.backup要导入到Postgresql数据库的文件。我创建了一个bash脚本来做到这一点:

#!/usr/bin/env sh

echo "Importing data..."

psql -h $DB_HOST -p $DB_PORT -U $DB_USER -c "DROP DATABASE IF EXISTS $DB_DATABASE;"
psql -h $DB_HOST -p $DB_PORT -U $DB_USER -c "CREATE DATABASE $DB_DATABASE;"

cd /App/data/backup

for f in *.backup; do
    echo "- $f"
    pg_restore -h $DB_HOST -p $DB_PORT -U $DB_USER -d $DB_DATABASE -v "$f"
done

cd -
exit 0

有更容易/更快的方法吗?是否可以大量导入文件?

注意:此脚本在docker中运行。不用担心“ drop database”语句:)

破折号

假设您的系统具有多个CPU,则可以通过并行运行导入来提高速度。由于pg_restore通常是磁盘绑定进程-收益将受到限制。网络性能也会有很大的影响。

两种选择:使用pg_restore -j,以及并行处理多个文件:

pg_restore的多个作业

for f in *.backup; do
    echo "- $f"
    pg_restore -j4 -h $DB_HOST -p $DB_PORT -U $DB_USER -d $DB_DATABASE -v "$f"
done

并行还原多个备份文件:

ls *.backup | xargs -P4 -I{} pg_restore -h $DB_HOST -p $DB_PORT -U $DB_USER -d $DB_DATABASE -v "{}"

您要尝试各种级别的-P,因为很难预测最佳值。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何将数据从txt文件导入到MySQL数据库

来自分类Dev

Rails –如何将文件从本地主机导入到Heroku数据库

来自分类Dev

Rails –如何将文件从本地主机导入到Heroku数据库

来自分类Dev

如何将一张excel文件导入到access数据库中?

来自分类Dev

使用R将多个csv文件导入到postgresql数据库中(内存错误)

来自分类Dev

如何将超过100000条记录导入到mysql数据库中?

来自分类Dev

如何将这种excel格式导入到这种数据库格式中?

来自分类Dev

从备份文件创建数据库

来自分类Dev

如何将数据从ASCII(ISO / IEC 8859-1)导入到Rails / PGSQL数据库?

来自分类Dev

如何将数据库备份到设备?

来自分类Dev

如何将Wordnet导入到OrientDB,Neo4j等图形数据库中?

来自分类Dev

如何将Zillow中的Arc Shapefile转换并导入到弹性搜索数据库中?

来自分类Dev

如何将Wordnet导入到OrientDB,Neo4j等图形数据库中?

来自分类Dev

如何将数据从一个数据库导入到另一个数据库

来自分类Dev

从Windows中的.csv文件将数据导入到mongodb数据库中

来自分类Dev

如何有效地将大量数据从CSV文件导入到DataGridView

来自分类Dev

将数据库表导入到Algolia

来自分类Dev

将CSV导入到MongoDB数据库

来自分类Dev

WordPress:将MySQL数据库导入到MariaDB

来自分类Dev

将值从数据库导入到选择

来自分类Dev

将转储/ SQL文件导入到我在Linode上的PostgreSQL数据库中

来自分类Dev

将转储/ SQL文件导入到我的Linode上的PostgreSQL数据库中

来自分类Dev

使用Hibernate将CSV文件导入到MySQL数据库

来自分类Dev

使用VB.Net将CSV文件导入到Access数据库

来自分类Dev

使用Java将CSV文件导入到Oracle数据库

来自分类Dev

将CSV文件导入到SQL Server数据库

来自分类Dev

将文本文件导入到 DataGrid 然后保存到数据库

来自分类Dev

如何将PostgreSQL .pgc文件导入Postgres数据库

来自分类Dev

如何将imdb列表文件导入Postgresql数据库?

Related 相关文章

  1. 1

    如何将数据从txt文件导入到MySQL数据库

  2. 2

    Rails –如何将文件从本地主机导入到Heroku数据库

  3. 3

    Rails –如何将文件从本地主机导入到Heroku数据库

  4. 4

    如何将一张excel文件导入到access数据库中?

  5. 5

    使用R将多个csv文件导入到postgresql数据库中(内存错误)

  6. 6

    如何将超过100000条记录导入到mysql数据库中?

  7. 7

    如何将这种excel格式导入到这种数据库格式中?

  8. 8

    从备份文件创建数据库

  9. 9

    如何将数据从ASCII(ISO / IEC 8859-1)导入到Rails / PGSQL数据库?

  10. 10

    如何将数据库备份到设备?

  11. 11

    如何将Wordnet导入到OrientDB,Neo4j等图形数据库中?

  12. 12

    如何将Zillow中的Arc Shapefile转换并导入到弹性搜索数据库中?

  13. 13

    如何将Wordnet导入到OrientDB,Neo4j等图形数据库中?

  14. 14

    如何将数据从一个数据库导入到另一个数据库

  15. 15

    从Windows中的.csv文件将数据导入到mongodb数据库中

  16. 16

    如何有效地将大量数据从CSV文件导入到DataGridView

  17. 17

    将数据库表导入到Algolia

  18. 18

    将CSV导入到MongoDB数据库

  19. 19

    WordPress:将MySQL数据库导入到MariaDB

  20. 20

    将值从数据库导入到选择

  21. 21

    将转储/ SQL文件导入到我在Linode上的PostgreSQL数据库中

  22. 22

    将转储/ SQL文件导入到我的Linode上的PostgreSQL数据库中

  23. 23

    使用Hibernate将CSV文件导入到MySQL数据库

  24. 24

    使用VB.Net将CSV文件导入到Access数据库

  25. 25

    使用Java将CSV文件导入到Oracle数据库

  26. 26

    将CSV文件导入到SQL Server数据库

  27. 27

    将文本文件导入到 DataGrid 然后保存到数据库

  28. 28

    如何将PostgreSQL .pgc文件导入Postgres数据库

  29. 29

    如何将imdb列表文件导入Postgresql数据库?

热门标签

归档