RDS로 DB 변경기

[hyeonji1220]

RDS

Relational Database Service
AWS 클라우드에서 관계형 데이터베이스를 간편하게 설정,운영,확장 가능하도록 지원하는 웹 서비스

EC2 써도 되잖아?

spof 문제 위험성
- 만약 db가 있는 az에 지진이 일어난다면?
- db가 떠있는 인스턴스에 업데이트가 일어나서 ram이 부족해지면서 서버가 내려간다면?(실제 경험)

장점

1. Multi AZ
   • AWS에 의해서 자동으로 관리가 이루어 진다. 만약 RDS DB를 만들고, DB에 특정 레코드를 insert 할 시, 다른 AZ(Availability Zone)에 똑같은 복제본이 만들어지게 된다. 그리고 유사시 우리가 현재 사용하고 있는 메인 DB에 문제가 생길 경우 RDS는 이를 즉시 발견하고 다른 AZ에 만들어진 복제본을 원본 DB를 승격시켜 그대로 사용하게 된다.
   • 안정성, but, 인스턴스 1개 더 도니 비용이 2배
2. 자동 백업
   • RDS는 데이터베이스와 트랜잭션 로그를 백업하고 사용자가 지정한 보존 기간 동안 이를 모두 저장할 수 있다. 이를 통해 데이터베이스를 보존 기간 중 어느 시점(초 단위)으로나 복원할 수 있다(최근 5분 전까지 가능). 자동 백업 보존 기간은 최대 35일로 구성할 수 있다. (S3에 저장)

단점

1. 비싼 비용
   but. rds 비용 지원해준다니 안쓸 이유 없음
2. 서버 접속불가
3. read 용 replica의 개수는 5개로 제한. 또한 write 분산은 불가능.
4. 모니터링
   1. 클라우드 워치 사용으로 가능
   2. 하지만 돈을 내고 가용성을 샀는데 모니터링을 해야할까하는 의문

방식 선택

1. 외부 데이터베이스에서 Amazon RDS DB 인스턴스로 데이터를 이동하는  mysqldump 명령을 통한 마이그레이션

   • ref: https://docs.aws.amazon.com/ko_kr/AmazonRDS/latest/UserGuide/MySQL.Procedural.Importing.SmallExisting.html
   • 기존 db이름은 review_me, 우테코에서 생성해준 db이름은 reviewme였다.
   • 이렇게 기존과 타겟 db의 이름이 다른 경우 해결방법을 찾는 데 시간을 너무 쏟는 것 같아 다른 방법을 생각해봤다.

2. (성공!) 기본 mysql dump 방식

과정

• 준비사항: RDS 인스턴스, db 준비(우테코에서 발급해줌)

1. 기존 prod db 데이터 dump
   • prod db 서버에서 실행
     mysqldump -u유저이름 -p비밀번호 DB명 > prod_db.sql
   • 이렇게 하면 mysql 기본 디렉토리에 생김 → 마운트해놓은 호스트의 /var/lib/mysql
2. prod 서버의 파일 → rds 서버의 디렉토리에 이동
   • 이 때, 다른 팀들이 접근 못하게 bation 서버에 reviewme 사용자 생성함
   • 추후, rds 서버 접속시 reviewme 사용자로 접속하기
     ssh -i ./pem키 DB명@bastionIp
3. rds 서버에서 데이터 import
   • dump.sql 저장한 rds 서버 쪽 디렉토리에서 실행

   mysql -h RDSdbURL -P 3306 -u RDS사용자계정 -pRDS비번 RDSdb이름 < prod_db.sql    
   

FAQ

• 모니터링은 어떻게하지?
  • aws에서 관리해주니 서버에 대한 모니터링은 필요없음
  • 커넥션이 어땠는지, 어떤지는 application에서 커넥션 확인으로 가능
• mysqldump 시간이 짧게 걸린다고 하지만 그 사이에 데이터가 들어오면 어떡해?
  • 그 사이 시간은 로그를 갖고 복구하면 되지 않을까?

아이디어) 마이그레이션 중간의 데이터 복구

예를들어 오전 10시에서 11시 사이에 기존 A DB에 쌓인 데이터는 MySQL dump로는 포함되지 않기 때문에, 이 데이터는 별도로 복구해야 합니다. 이 문제를 해결하는 방법은 다음과 같습니다:

1. 트랜잭션 로그 또는 binlog 사용

MySQL에서는 **binlog(바이너리 로그)**를 활성화하면, 트랜잭션이나 데이터 변경 내역이 기록됩니다. 이 로그를 이용하면 특정 시점까지의 변경 사항을 복구할 수 있습니다.

1. MySQL binlog 활성화 여부 확인
   A DB에서 바이너리 로그가 활성화되어 있어야 합니다. 만약 이미 활성화되어 있다면, 10시 이후의 변경 사항을 binlog에서 복구할 수 있습니다. 활성화되어 있지 않다면, 이 방법은 사용할 수 없습니다.

SHOW VARIABLES LIKE 'log_bin';

2. MySQL binlog 파일 추출
   A DB 서버에서 10시 이후의 binlog를 추출합니다.

mysqlbinlog --start-datetime="2023-09-27 10:00:00" /path/to/binlogfile > recovery.sql

3. RDS에 binlog 파일 적용
   추출한 binlog SQL 파일을 RDS에 적용하여 10시에서 11시 사이의 변경 사항을 반영합니다.

mysql -u username -p -h rds-endpoint < recovery.sql