🚧 장애 로그. DB에 파티션을 설정했을 때

이슈 발생

서버가 바뀐 것은 하나도 없었습니다. 달이 바뀌었을 뿐인데 새벽 12시가 지나자 사용자들이 접속을 못 하고 있다고 커뮤니티에서 난리가 났습니다.

로그를 조사해 보니 DB에서 특정 테이블에 값을 INSERT 할 때 에러가 발생하고 있었습니다. 해당 테이블에 설정된 Partition 문제였습니다. 달을 기준으로 Partition을 나누도록 세팅이 되어있었는데, 바뀐 달에 해당하는 Partition이 생성돼 있지 않아서 에러가 발생하고 있었습니다. 일단 급한 대로 Partition을 여유롭게 12개월분 추가로 생성해 주고 에러가 발생하지 않도록 했습니다.

그리고 왜 이런 구조가 되었는지 조사해 봤습니다. 애초에 라이브 서비스에서 스케쥴러도 안 만들어놓고 이런 방식으로 구현을 한 게 이해가 되진 않았지만, 서비스를 시작할 때만 하더라도 이렇게 오랜 기간 서비스할 수 있을 거라고는 생각지 못했을 수도 있겠다 싶었습니다. 우선 구현을 해두고 나중에 천천히 수정하겠다는 생각이었을 수도 있겠습니다.

문제 수정

이 이슈를 앞으로도 문제가 발생하지 않도록 해결하기 위해서는 파티션 생성이 자동으로 이뤄지도록 설정할 필요가 있었습니다. MySQL 테이블이 아래와 같이 생성돼 있다고 했을 때를 가정하고 설명하겠습니다.

CREATE TABLE partitioned_table (
    id INT NOT NULL,
    created_at DATETIME NOT NULL,
    text VARCHAR(255),
    PRIMARY KEY (id, created_at)
)
PARTITION BY RANGE (YEAR(created_at) * 100 + MONTH(created_at)) (
    PARTITION p202306 VALUES LESS THAN (202307),
    PARTITION p202307 VALUES LESS THAN (202308)
);

이 예시 테이블은 2023년 7월과 2023년 8월에 대한 파티션을 생성한 상태입니다. 2023년 9월 이후가 된다면 해당 파티션이 존재하지 않기 때문에 이 테이블에 새로운 값을 쓰려고 하면 에러가 발생할 것입니다. 이 에러를 방지하기 위해 스케쥴러를 생성해서 자동으로 파티션을 만들어 주어야 합니다.

DELIMITER //

CREATE EVENT create_new_partition
ON SCHEDULE EVERY 1 MONTH
STARTS '2023-08-01 00:00:00'
DO
BEGIN
    DECLARE partition_name VARCHAR(16);
    DECLARE next_partition_value INT;
    
    SET @current_year_month = DATE_FORMAT(NOW(), '%Y%m');
    SET @next_year_month = DATE_FORMAT(DATE_ADD(NOW(), INTERVAL 1 MONTH), '%Y%m');
    SET partition_name = CONCAT('p', @next_year_month);
    SET next_partition_value = (YEAR(NOW()) * 100 + MONTH(NOW()) + 1);
    
    SET @create_partition_sql = CONCAT(
        'ALTER TABLE partitioned_table ADD PARTITION (PARTITION ',
        partition_name,
        ' VALUES LESS THAN (',
        next_partition_value,
        '));'
    );
    
    PREPARE stmt FROM @create_partition_sql;
    EXECUTE stmt;
    DEALLOCATE PREPARE stmt;
END//

DELIMITER ;

이 쿼리는 create_new_partition이라는 이벤트를 생성합니다. 2023년 8월 1일 자정 이후로 매월 1일 자정에 이 이벤트가 실행됩니다. 이 이벤트는 이벤트가 발생한 날의 다음 달에 해당 하는 파티션을 생성합니다. 해당 월이 아닌 다음 달의 파티션을 생성해주는 이유는 스케쥴러가 생성되는 동안 DB에 값이 쓰여질 수 있기 때문에 한달 전에 미리 파티션을 생성해주는 것입니다. 이와 같은 방식으로 MySQL 이벤트 스케줄러를 사용하여 테이블에 자동으로 파티션을 추가할 수 있습니다.

결론

애초에 로그는 파일에 쓰는 것이 가장 저렴한 방법이기 때문에 DB에 로그를 남기는 것이 추천하는 방법은 아닙니다. 하지만 크기가 작은 간단한 수준의 로그이고, 조회가 빈번히 발생한다면 DB에 쓰는 것도 하나의 방법이 될 수 있습니다. 이럴 경우 파티션을 생성해서 로그가 일정 기간이 지나면 해당 파티션이 삭제되도록 해서 관리를 해주어야 하는데, 이 때, 문제가 발생하지 않도록 파티션을 어떻게 생성하고 관리할지 확실하게 계획을 새워두고 작업을 하는 것이 좋겠습니다.