提高SQL Server插入大数据的性能

asmgx

我正在执行将大约10亿条记录插入SQL Server表的过程。这个过程很漫长,我正在努力改善它。

因此,我做了这些:

  • 从插入的表中删除了所有索引和主键
  • 插入前删除了所有选择/更新检查
  • 已检查SQL Server内存最大,看来已经足够大

在此处输入图片说明

我想知道限制日志文件大小是否有助于提高SQL Server性能?如果是这样,我该怎么做?

我还有其他事情可以改善插入过程吗?

编辑

SQL Server版本:15.0.2000.5

通过.Net应用程序加载数据,我在其中处理数据并将其发送到仅具有插入语句的存储过程(全部在同一台PC上没有网络,即SQL Server和.Net app都在同一台机器上)

目前在50分钟内已插入约2000万条记录

服务器规格: 在此处输入图片说明

恢复模式=完全

我删除了所有聚集索引和非聚集索引

David Browne-微软

我当时插入1条记录。

那不会太快。在每个命令中向SQL Server发送多行。最快的方法通常是SqlBulkCopy,您可能不需要并行执行任何操作。同样,使用表值参数或JSON一次发送多行将比您做的要快得多。

我正在做的是阅读XML,然后将其插入1

您可以将整个XML文档发送到SQL Server并使用xmlnodes ()openxml进行粉碎或者,您可以使用XMLReader,并通过实现从XML流读取的自定义IDataReader,将行通过管道传递到SqlBulkCopy。

本文收集自互联网,转载请注明来源。

如有侵权,请联系[email protected] 删除。

编辑于
0

我来说两句

0条评论
登录后参与评论

相关文章

来自分类Dev

如何在SQL Server中提高while循环插入性能?

来自分类Dev

SQL提高性能

来自分类Dev

提高SQL性能

来自分类Dev

提高 SQL 查询性能

来自分类Dev

通过 SQL Server 提高 SQL 查询的性能

来自分类Dev

如何提高大数据性能?

来自分类Dev

如何提高SQL Server Select查询的性能?

来自分类Dev

提高SQL Server中的Xquery性能

来自分类Dev

使用SQL Server索引提高性能

来自分类Dev

如何提高SQL Server Select查询的性能?

来自分类Dev

如何提高此SQL Server查询的性能?

来自分类Dev

如何提高sql查询的性能

来自分类Dev

SQL Server批量插入超过100万行-需要提高性能

来自分类Dev

在Django中提高对许多巨大数据记录的INSERT性能

来自分类Dev

使用大数据表提高查找性能

来自分类Dev

通过实体框架提高SQL Server中的搜索性能

来自分类Dev

SQL子查询性能需要提高

来自分类Dev

提高Master Detail SQL代码性能

来自分类Dev

需要帮助来提高SQL DELETE性能

来自分类Dev

如何提高SQL脚本性能

来自分类Dev

如何提高SQL Azure查询性能

来自分类Dev

通过使用排序提高sql查询性能?

来自分类Dev

如何提高这个 sql 查询的性能?

来自分类Dev

提高 PHP 文件中的 SQL 查询性能

来自分类Dev

提高简单的 SQL 选择性能

来自分类Dev

如何提高in sql表达式的性能

来自分类Dev

提高 SQL 查询选择性能

来自分类Dev

提高sql join count查询的性能

来自分类Dev

如何提高 Oracle SQL 数据库或 Web 服务的性能?