我有一个存储过程将数据插入3个表中(UPSERTS),并且有一些逻辑. (IF-THEN-ELSE)我需要使用不同的参数执行这个Sproc数百万次(来自C#应用程序),我需要它是快速的.这样做的最佳方法是什么?除了Lucene或Sql Server FT...
我有一个存储过程将数据插入3个表中(UPSERTS),并且有一些逻辑. (IF-THEN-ELSE)
我需要使用不同的参数执行这个Sproc数百万次(来自C#应用程序),我需要它是快速的.
这样做的最佳方法是什么?
除了Lucene或Sql Server FTS之外,有没有人知道开源(或不是)现成的文档索引器?
*我正在尝试构建一个文档单词索引.对于文档中的每个单词,我在DB中插入单词,docID和单词位置.
例如,对于100个文档,这发生了100000次.
Sproc:有3个表可插入,每个表都有一个UPSERT.
C#应用程序:
using (SqlConnection con = new SqlConnection(_connectionString))
{
con.Open();
SqlTransaction trans = con.BeginTransaction();
SqlCommand command = new SqlCommand("add_word", con, trans);
command.CommandType = System.Data.CommandType.StoredProcedure;
string[] TextArray;
for (int i = 0; i < Document.NumberOfFields; i++)
{
...
Addword(..., command); <---- this updates parameters with new values and ExecuteNonQuery.
}
}
我忘了提一下,这段代码在Sql Server中产生死锁.我不知道为什么会这样.
解决方法:
>删除正在加载的表上的所有索引,然后在加载完成后将其重新添加.这将防止每次更改的大量颠簸/重新索引.
>确保数据库在加载之前已经分配了足够的物理文件空间,这样就不必花费时间在加载时不断地从文件系统中抓取它.通常,数据库设置为在完全时增长10%,此时sql server会阻止查询,直到分配更多空间.当你加载你正在谈论的数据量时,sql将不得不做很多阻塞.
>如果可能,请查看批量加载/批量复制.
>在代码中执行所有IF THEN ELSE逻辑.只需将存储的实际值发送到s’proc即可.你甚至可以运行两个线程.一个用于评估数据并将其排队,另一个用于将队列写入DB服务器.
>查看Off The Shelf程序,它们通过索引文档来完成您正在谈论的内容.他们很可能已经解决了这些问题.
>如果可能,摆脱交易要求.尽量保持s’proc调用尽可能简单.
>看看你是否可以限制你存储的单词.例如,如果您不关心单词“it”,“as”,“I”等,则在调用s’proc之前将其过滤掉.
本文标题为:C#Sql Server – 执行存储过程很多次.最好的办法?
基础教程推荐
- WPF+SkiaSharp实现自绘投篮小游戏 2023-06-27
- C#仿QQ聊天窗口 2023-04-22
- C#使用struct直接转换下位机数据的示例代码 2023-03-29
- C#并查集(union-find)算法详解 2023-05-31
- C#中匿名方法与委托的关系介绍 2023-07-04
- C#中AutoResetEvent控制线程用法小结 2023-06-21
- 详解c# PLINQ中的分区 2023-03-04
- C#实现简易多人聊天室 2023-05-17
- C#使用async和await实现异步编程 2023-06-21
- 基于WPF实现控件轮廓跑马灯动画效果 2023-06-27