利用MySqlBulkLoader实现批量插入数据的示例详解-C#/.NET开发

MySQLBulkLoader是MySQL Connector/Net类中的一个类，用于包装MySQL语句。本文将利用MySqlBulkLoader实现批量插入数据功能，感兴趣的可以了解一下

介绍

最近在项目中遇到插入数据瓶颈，几万、几十万、几百万的数据保存到MYSQL数据库，使用EF插入数据速度非常慢，数据量非常大时EF插入需要几十分钟，甚至几个小时，这样子的速度肯定不是我们所期望的。

后面经过了解与研究发现MySqlBulkLoader，可以批量将数据插入到数据库并且速度上面远远优于EF。

MySqlBulkLoader主要的实现方式：将需要插入的数据转成DataTable，DataTable转成一个CSV文件，将CSV文件使用批量导入的形式导入到数据库里面去。

注意：

1）.数据库连接地址需要添加配置AllowLoadLocalInfile=true,允许本地文件导入；

Data Source = 数据库地址; Port = 端口; Initial Catalog = 数据库名; User Id = 用户名; Password = 密码;AllowLoadLocalInfile=true;

2）.插入的时候会返回插入行数，但是检查所有的数据都正确，也没有报异常，却返回了插入数量为0，可以检查表是否有唯一索引，插入的数据是否违反了唯一索引。

（以下分块展示了代码，如果需要看完整的代码直接看 5.完整的代码）

1.将List转化为DataTable

/// <summary>
        /// 将List转化为DataTable
        /// </summary>
        /// <returns></returns>
        public DataTable ListToDataTable<T>(List<T> data)
        {
            #region 创建一个DataTable，以实体名称作为DataTable名称

            var tableName = typeof(T).Name;
            tableName = tableName.ToSnakeCase(); /*实体名称与表名进行转化，主要根据各项目的规定进行转化,不一定就是我这些写的这种转换方式*/
            DataTable dt = new DataTable
            {
                TableName = tableName
            };

            #endregion

            #region 拿取列名，以实体的属性名作为列名       

            var properties = typeof(T).GetProperties();
            foreach (var item in properties)
            {
                var curFileName = item.Name;
                curFileName = curFileName.ToSnakeCase();/*列名与字段名进行转化，主要根据各项目的规定进行转化,不一定就是我这些写的这种转换方式*/
                dt.Columns.Add(curFileName);
            }

            #endregion

            #region 列赋值
            foreach (var item in data)
            {
                DataRow dr = dt.NewRow();
                var columns = dt.Columns;

                var curPropertyList = item.GetType().GetProperties();
                foreach (var p in curPropertyList)
                {
                    var name = p.Name;
                    name = name.ToSnakeCase();/*列名与字段名进行转化，主要根据各项目的规定进行转化,不一定就是我这些写的这种转换方式*/
                    var curValue = p.GetValue(item);

                    int i = columns.IndexOf(name);
                    dr[i] = curValue;
                }

                dt.Rows.Add(dr);
            }

            #endregion  

            return dt;
        }

2.将DataTable转换为标准的CSV文件

/// <summary>
    /// csv扩展
    /// </summary>
    public static class CSVEx
    {
        /// <summary>
        ///将DataTable转换为标准的CSV文件
        /// </summary>
        /// <param name="table">数据表</param>
        /// <param name="tmpPath">文件地址</param>
        /// <returns>返回标准的CSV</returns>
        public static void ToCsv(this DataTable table, string tmpPath)
        {
            //以半角逗号（即,）作分隔符，列为空也要表达其存在。
            //列内容如存在半角逗号（即,）则用半角引号（即""）将该字段值包含起来。
            //列内容如存在半角引号（即"）则应替换成半角双引号（""）转义，并用半角引号（即""）将该字段值包含起来。
            StringBuilder sb = new StringBuilder();
            DataColumn colum;
            foreach (DataRow row in table.Rows)
            {
                for (int i = 0; i < table.Columns.Count; i++)
                {
                    Type _datatype = typeof(DateTime);
                    colum = table.Columns[i];
                    if (i != 0) sb.Append("\t");
                    //if (colum.DataType == typeof(string) && row[colum].ToString().Contains(","))
                    //{
                    //    sb.Append("\"" + row[colum].ToString().Replace("\"", "\"\"") + "\"");
                    /

利用MySqlBulkLoader实现批量插入数据的示例详解

目录

介绍

1.将List转化为DataTable

2.将DataTable转换为标准的CSV文件

基础教程推荐