C#Sql Server – 执行存储过程很多次.最好的办法?

我有一个存储过程将数据插入3个表中(UPSERTS),并且有一些逻辑. (IF-THEN-ELSE)我需要使用不同的参数执行这个Sproc数百万次(来自C#应用程序),我需要它是快速的.这样做的最佳方法是什么?除了Lucene或Sql Server FT...

我有一个存储过程将数据插入3个表中(UPSERTS),并且有一些逻辑. (IF-THEN-ELSE)

我需要使用不同的参数执行这个Sproc数百万次(来自C#应用程序),我需要它是快速的.

这样做的最佳方法是什么?

除了Lucene或Sql Server FTS之外,有没有人知道开源(或不是)现成的文档索引器?

*我正在尝试构建一个文档单词索引.对于文档中的每个单词,我在DB中插入单词,docID和单词位置.

例如,对于100个文档,这发生了100000次.

Sproc:有3个表可插入,每个表都有一个UPSERT.

C#应用程序:

using (SqlConnection con = new SqlConnection(_connectionString))
            {
                con.Open();
                SqlTransaction trans = con.BeginTransaction();
                SqlCommand command = new SqlCommand("add_word", con, trans);
                command.CommandType = System.Data.CommandType.StoredProcedure;
                string[] TextArray;
                for (int i = 0; i < Document.NumberOfFields; i++)
                {
                  ...
                 Addword(..., command);  <---- this updates parameters with new values and ExecuteNonQuery.
                }

            }

我忘了提一下,这段代码在Sql Server中产生死锁.我不知道为什么会这样.

解决方法:

>删除正在加载的表上的所有索引,然后在加载完成后将其重新添加.这将防止每次更改的大量颠簸/重新索引.
>确保数据库在加载之前已经分配了足够的物理文件空间,这样就不必花费时间在加载时不断地从文件系统中抓取它.通常,数据库设置为在完全时增长10%,此时sql server会阻止查询,直到分配更多空间.当你加载你正在谈论的数据量时,sql将不得不做很多阻塞.
>如果可能,请查看批量加载/批量复制.
>在代码中执行所有IF THEN ELSE逻辑.只需将存储的实际值发送到s’proc即可.你甚至可以运行两个线程.一个用于评估数据并将其排队,另一个用于将队列写入DB服务器.
>查看Off The Shelf程序,它们通过索引文档来完成您正在谈论的内容.他们很可能已经解决了这些问题.
>如果可能,摆脱交易要求.尽量保持s’proc调用尽可能简单.
>看看你是否可以限制你存储的单词.例如,如果您不关心单词“it”,“as”,“I”等,则在调用s’proc之前将其过滤掉.

本文标题为:C#Sql Server – 执行存储过程很多次.最好的办法?

基础教程推荐