태그 보관물: MySQL

C# MySQL InnoDB engine Insert

댓글 남기기

개요

개발을 진행하다 보면 짧은 시간에 많은 양의 자료를 DB에 입력해야 하는 경우가 있습니다. 처음에는 적은양의 자료입력을 염두에 두고 개발을 진행합니다. 그러나 설계 변경에 따라 자료량이 크게 증가하게  되는 경우가 있습니다. 적은량의 처리에 맞추어진 자료입력 부분을 변경없이 적용하면 성능저하가 크게 나타나게 됩니다. 자료 입력 시 DB 접속 및 반복을 최소화해서 수행해야 합니다. 이것은 모든 DB에 적용되는 원칙입니다.

MySQL DB 스토리지 엔진

MySQL DB는 여러가지 스토리지 엔진을 지원합니다. 자세한 사항은 공식 문서를 참고하면 됩니다. InnoDB, 다른 스토리지 엔진이 있습니다. 그 중 InnoDB engine에 입력을 수행하는 방식에 대해 알아보도록 하겠습니다. 꼭 MySQL 에 한정된 것이 아니고 다른 DB에도 공통적으로 적용되는 것이라 생각하시면 됩니다.

입력방식

근래에 진행했던 프로젝트에서 특정 테이블에 하루에 한번씩 Insert 가 되고 같은 일자에 Update 되어야 하는 부분이 있었습니다. 처리해야 되는 자료의 성격때문에 초기에 예상했던 자료보다 몇배가 되는 양을 입력해야 하는 상황이 발생했습니다. 스토리지엔진은 InnoDB engine을 사용했습니다. 자료의 양이 많아지고 인덱스까지 추가되어 있어 성능저하가 심각하게 나타났습니다. 자료 입력 방식을 변경하고 인덱스 필드를 조정하기로 하고 작업을 진행했습니다.

Insert 문을 수행할 때 한번의 명령으로 많은양의 자료를 입력할 수 있는 방법이 있습니다. 이것을 고려했으나 프로그램 구조를 변경해야 해서 적용하지 않았습니다. 예를 들면 다음과 같은 방식 입니다.

INSERT INTO your_name (a,b,c) VALUES (1,2,3), (4,5,6), (7,8,9);

원래의 입력방식은 프로시저를 호출해서 한 행을 입력하거나 갱신하는 것 이었습니다. 프로시저 호출 부분을 바꾸기는 어려워서 한행을 입력하고 commit 이 반복되지 않도록 하나의 작업 단위로 묶어 처리되도록 했습니다(MySqlTransaction 클래스 사용).

var connectionString = "server=localhost;database=yourdatabase;uid=root;password=yourpassword";

var connection = new MySqlConnection(connectionString);
var transaction = connection.BeginTransaction();

try
{
	for (int i = 0; i < 100; i++)
	{
		//자료입력 부분
	}

	transaction.Commit();
}
catch (Exception ex)
{
	transaction.Rollback();
}
finally
{
	connection.Close();
}

자료를 반복해서 입력하고 문제가 없을 경우 commit 하도록 변경했습니다. MyISAM engine인 경우 트랜젝션을 지원하지 않아 의미가 없습니다. 하지만 InnoDB engine이라면 입력 성능이 향상됩니다. 성능 향상을 위한 여러 요소가 있습니다. 그렇지만 일단 자료 입력 부분에서 최대한 성능이 저하되지 않도록 해야 합니다.

이상 MySQL InnoDB engine 사용 시 성능향상 부분에 대해 간략하게 알아보았습니다.

C# MySQL Connector/NET 을 이용한 연동

댓글 남기기

개요

SQL Server나 Oracle DB는 서버 라이센스 비용이 상상을 초월합니다. 그래서 웬만한 기업에서는 도입을 할 수 없습니다. 그 대안으로 MySQL, MariaDB 등을 사용하게 됩니다. .NET 기반 프로젝트라면 이전에는 SQL Server에 연동해서 작업을 진행했습니다. 라이센스 비용이 부담이 되면서 근래에는 Open Source 기반 DB를 사용하는 경우가 많아졌습니다. .NET 프레임워크에서는 기본적으로 MySQL 에 직접 연결할 수 있는 클래스는 없습니다. ODBC 클래스를 이용해서 연동을 할 수 있는 방법만 존재했습니다. 이 방법도 드라이버를 설치하고 ODBC 설정을 해야 가능합니다. MySQL 에서 제공하는 MySQL Connector 를 이용하여 연동하는 방법을 알아보도록 하겠습니다.

MySQL Connector

MySQL 홈페이지에서 다양한 언어와 플랫폼에 연동할 수 있도록 Connector 를 제공하고 있습니다. 여기에서는 Connector/NET 을 사용하도록 하겠습니다. 다음의 주소에서 다운로드 받으실 수 있습니다.

https://dev.mysql.com/downloads/connector/net/

설치는 별다른 어려움이 없으므로 설치했다고 가정하겠습니다.

연동

Visual Studio를 실행하고 ASP.NET 웹 응용 프로그램 프로젝트를 생성합니다. WinForm 프로젝트를 생성해서 진행하셔도 무방합니다. 솔루션 탐색기에서 참조를 선택하고 오른쪽 버튼을 클릭합니다. 메뉴에서 참조 추가를 선택합니다.

참조 추가 선택

참조 추가 선택

참조 관리자에서 찾아보기를 선택한 후 설치한 경로에서 MySql.Data.dll 을 선택합니다. 그러면 다음과 같이 참조가 됩니다.

MySql.Data 참조 추가

MySql.Data 참조 추가

System.Data.SqlClient 네임스페이스에 포함된 클래스 명칭 앞에 My 만 추가로 붙은 형태라고 생각하시고 사용하시면 됩니다. 예를 들면 다음과 같습니다.

SqlConnection -> MySqlConnection
SqlCommand -> MySqlCommand
.
.
.

MySQL DB 에 연결하는 코드는 다음과 같습니다.

using MySql.Data.MySqlClient;

var connectionString = "server=localhost;user=userid;database=yourdb;password=yourpassword";
var connection = new MySqlConnection(connectionString);

try
{
	Response.Write("MySQL DB 연결 중...");
	connection.Open();

	//DB 연동작업
	
}
catch (Exception ex)
{
	Response.Write(ex.ToString());
}

connection.Close();

SqlConnection 클래스를 사용한 것과 동일한 형태입니다.

다음은 MySqlCommand 클래스를 이용한 예를 살펴보겠습니다. MySqlCommand 클래스를 이용하여 쿼리한 결과를 DataTable 객체에 넣는 예제 입니다.

using System.Data;
using MySql.Data.MySqlClient;

var connectionString = "server=localhost;user=userid;database=yourdb;password=yourpassword";
var connection = new MySqlConnection(connectionString);

try
{
	Response.Write("MySQL DB 연결 중...");
	connection.Open();

	var sql = "SELECT user_name, user_id, user_password FROM your_table";
	var mySqlCommand = new MySqlCommand(sql, connection);
	var mySqlDataReader = mySqlCommand.ExecuteReader();

	var mySqlDataTable = new DataTable();
	mySqlDataTable.Load(mySqlDataReader);
	mySqlDataReader.Close();
}
catch (Exception ex)
{
	Response.Write(ex.ToString());
}

connection.Close();

예제에서 본 것과 같이 기존 Sql … 로 시작되는 클래스를 이용한 방법과 동일합니다. MariaDB 도 같은 방법으로 연동할 수 있습니다.

이상으로 MySQL Connector/NET 을 이용한 연동 방법을 알아보았습니다.