使用SSIS同时将数据从oracle加载到多个表中的SQL

涂鸦

在此处输入图片说明

我正在创建一个临床数据仓库,所以我正在测试不同的场景。我正在将以下表格从 oracle DB(Attunity 连接器)加载到 SQL DB(OLE DB):

表1 1.2 GB(300万行) 表2 20 GB(2亿行) 表3 100 GB(2.5亿行) 表4 25 GB(6000万行)

对于我的初始加载,我计划使用 SSIS 并从 TABLE1/TABLE2/TABLE3/TABLE4 中选择 *

问题 :

是否可以将多个数据流任务用于将每个表加载到一个包中。这样他们都一起跑。我只是想提高速度。但不知何故,它比我单独运行它要慢。

加载完整表格也是“从表格中选择*”的好方法?好像很慢!!

阿斯温·拉贾拉姆

您可以执行与您拥有的处理器内核数减一一样多的并行数据流任务。也就是说,如果您使用的是八核处理器,则并行任务的理想数量是 7 (8 -1 )。只需将不同的序列容器放入其中(不是强制性的,但为了可读性)并执行。

您可以通过调整设置DelayValidation=true和使用等几项内容来加速数据加载OPTION ( FAST 10000(or any value,just do some trials)),还可以使用DefaultBufferSizeDefaultBufferMaxRows直到找到正确的内容。此外,如果您打算运行并行 DFT ,请检查该MAXDOP值是否未设置为1int 设置。

而且,永远不要使用SELECT * from table_name. 列出列名,*会增加额外的开销,并且会大大减慢您的查询速度。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

使用SSIS将数据加载到Teradata

来自分类Dev

将批量JSON数据加载到SQL Server表中

来自分类Dev

获取将数据加载到数据库表中的SSIS包

来自分类Dev

获取将数据加载到数据库表中的SSIS包

来自分类Dev

SSIS使用太多内存无法将大型(40GB +)XML文件加载到SQL Server表中

来自分类Dev

使用jQuery将Json数据加载到表中

来自分类Dev

SQL Loader-使用TERMINATED将数据加载到其他表中

来自分类Dev

从文件将数据加载到表中

来自分类Dev

使用angular将数据加载到表

来自分类Dev

最佳SSIS数据流设置以加载到Azure SQL DW中的登台表

来自分类Dev

SSIS,使用“(无)”将文件加载到表中以获取NULL

来自分类Dev

将数据从SQL加载到R中

来自分类Dev

SQL加载器将数据加载到表的特定列中

来自分类Dev

无法将示例数据库从“凡人的SQL查询”加载到Oracle的SQL Developer中

来自分类Dev

通过Pandas io SQL将表加载到Oracle

来自分类Dev

使用标签将每个表数据加载到html表

来自分类Dev

将SQL文件数据加载到Postgres中的单个表中

来自分类Dev

如何在MVC中使用Ajax将数据加载到数据表中

来自分类Dev

如何将数据加载到使用 GUID 主键的数据表中?

来自分类Dev

同时加载到单个BigQuery表中

来自分类Dev

同时加载到单个BigQuery表中

来自分类Dev

Pandas:使用 read_sql - `con` 参数和表名将表加载到数据框中

来自分类Dev

将数据从MS SQL表加载到snappyData

来自分类Dev

如何使用cql将.dat文件中的数据加载到表中

来自分类Dev

将多个CSV加载到单个熊猫数据框中

来自分类Dev

使用Java将日期和时间的csv文件加载到oracle数据库中

来自分类Dev

使用Pandas将Json数据加载到列中的多个值

来自分类Dev

使用 Spring Batch 将多个 CSV 文件加载到数据库中

来自分类Dev

将CSV数据加载到PostgreSQL表中

Related 相关文章

  1. 1

    使用SSIS将数据加载到Teradata

  2. 2

    将批量JSON数据加载到SQL Server表中

  3. 3

    获取将数据加载到数据库表中的SSIS包

  4. 4

    获取将数据加载到数据库表中的SSIS包

  5. 5

    SSIS使用太多内存无法将大型(40GB +)XML文件加载到SQL Server表中

  6. 6

    使用jQuery将Json数据加载到表中

  7. 7

    SQL Loader-使用TERMINATED将数据加载到其他表中

  8. 8

    从文件将数据加载到表中

  9. 9

    使用angular将数据加载到表

  10. 10

    最佳SSIS数据流设置以加载到Azure SQL DW中的登台表

  11. 11

    SSIS,使用“(无)”将文件加载到表中以获取NULL

  12. 12

    将数据从SQL加载到R中

  13. 13

    SQL加载器将数据加载到表的特定列中

  14. 14

    无法将示例数据库从“凡人的SQL查询”加载到Oracle的SQL Developer中

  15. 15

    通过Pandas io SQL将表加载到Oracle

  16. 16

    使用标签将每个表数据加载到html表

  17. 17

    将SQL文件数据加载到Postgres中的单个表中

  18. 18

    如何在MVC中使用Ajax将数据加载到数据表中

  19. 19

    如何将数据加载到使用 GUID 主键的数据表中?

  20. 20

    同时加载到单个BigQuery表中

  21. 21

    同时加载到单个BigQuery表中

  22. 22

    Pandas:使用 read_sql - `con` 参数和表名将表加载到数据框中

  23. 23

    将数据从MS SQL表加载到snappyData

  24. 24

    如何使用cql将.dat文件中的数据加载到表中

  25. 25

    将多个CSV加载到单个熊猫数据框中

  26. 26

    使用Java将日期和时间的csv文件加载到oracle数据库中

  27. 27

    使用Pandas将Json数据加载到列中的多个值

  28. 28

    使用 Spring Batch 将多个 CSV 文件加载到数据库中

  29. 29

    将CSV数据加载到PostgreSQL表中

热门标签

归档