[Real MySQL] MySQL 엔진 아키텍처 - 1

MySQL서버는 크게 2가지로 나누어져있다.

1. MySQL 엔진 : SQL 문장을 분석하거나 최적화하는 등 사람의 머리 역할
   • 클라이언트로부터의 접속 및 쿼리 요청을 처리하는 커넥션 핸들러
   • SQL 파서 및 전처리기
   • 쿼리의 최적화된 실행을 위한 옵티마이저로 이루어져 있다.
   • ANSI SQL 문법을 지원하기 때문에 타 DBMS와 호환되어 실행될 수 있다.
   • MySQL 서버당 1개
2. 스토리지 엔진 :  실제 데이터를 디스크 스토리지에 저장하거나 디스크 스토리지로부터 데이터를 읽어오는 부분 등 사                             람의 손과 발의 역할
   • MySQL 서버당 여러개를 동시에 사용할 수 있다.
   • 테이블의 모든 읽기 작업이나 변경 작업은 정의된 스토리지 엔진이 처리한다.
   • 핸들러 API를 만족하면 누구든지 구현해서 MySQL 서버에 추가해서 사용할 수 있다.

※ 핸들러 API : MySQL 엔진의 쿼리 실행기에서 데이터를 쓰거나 읽어야 할 때 각 스토리지 엔진에 쓰기 또는 읽기 요청을 핸들러 요청이라 하고, 이때 사용하는 API. SHOW GLOBAL STATUS LIKE 'Handler%'를 통해 확인할 수 있다.

 

 

 

MySQL 엔진 아키텍처

MySQL 서버는 다른 DBMS에 비해 구조가 독특하다.

---

MySQL 스레딩 구조

• MySQL 서버는 프로세스 기반이 아니라 스레드 기반으로 작동한다.
• 포그라운드 스레드와 백그라운드 스레드로 구분할 수 있다,\
• 서버에서 실행 중인 스레드의 목록은 performance_schema 데이터베이스의 threads 테이블을 통해 확인할 수 있다.

포그라운드 스레드(클라이언트 스레드) = 사용자 스레드

• 최소한 MySQL 서버에 접속된 클라이언트의 수만큼 존재하며, 주로 각 클라이언트 사용자가 요청하는 쿼리 문장을 처리한다.
• 클라이언트 사용자가 작업을 마치고 커넥션을 종료하면 해당 커넥션을 담당하던 스레드는 다시 스레드 캐시로 되돌아 간다.
• 이때 이미 스레드 캐시에 일정 개수 이상의 대기 중인 스레드가 있으면 스레드 캐시에 넣지 않고 스레드를 종료시켜 일정 개수의 스레드만 스레드 캐시에 존재하게 한다.
• 이때 스레드 캐시에 유지할 수 있는 최대 스레드 개수는 thread_cache_size 시스템 변수로 설정한다.

포그라운드 스레드는 데이터는 MySQL 데이터 버퍼나 캐시로부터 가져오며, 버퍼나 캐시에 없는 경우 직접 디스크의 데이터나 인덱스 파일로부터 데이터를 읽어와서 작업을 처리한다.

• MyISAM 
  • 디스크 쓰기 작업까지 포그라운드 스레드가 처리한다.
  • 지연된 쓰기가 존재하지만 일반적인 방식과는 다르다.
• InnoDB
  • 데이터 버퍼나 캐시까지만 포그라운드 스레드가 처리하고 나머지 버퍼로부터 디스크까지 기록하는 작업은 백그라운드 스레드가 처리한다. 

 

백그라운드 스레드

Inno DB에서만 다음과 같은 작업들이 백그라운드로 처리된다.

• 인서트 버퍼를 병합하는 스레드
• 로그를 디스크로 기록하는 스레드
• InnoDB 버퍼 풀의 데이터를 디스크에 기록하는 스레드
• 데이터를 버퍼로 읽어 오는 스레드
• 잠금이나 데드락을 모니터링하는 스레드

가장 중요한 것은 로그 스레드와 버퍼의 데이터를 디스크로 내려쓰는 작업을 처리하는 쓰기 쓰레드이다.

 

MySQL 5.5 버전 부터 데이터 쓰기 쓰레드와 데이터 읽기 쓰레드의 개수를 2개 이상 지정할 수 있게 되었다.

innodb_write_io_threads와 innodb_read_io_thread 시스템 변수로 스레드의 개수를 설정 할 수 있다.

InnoDB 에서도 데이터를 읽는 작업은 주로 클라이언트 스레드로 처리되기 때문에 읽기 쓰레드는 많이 설정할 필요 없다.

하지만 쓰기 스레드는 많은 작업을 백그라운드로 처리하기 때문에 일반적인 내장 디스크를 사용할 때는 2 ~ 4, DAS나 SAN과 같은 스토리지를 사용할 때는 디스크를 최적으로 사용할 수 있을 만큼 설정하는게 좋다.

 

사용자 요청 중 쓰기 작업은 지연되어 처리할 수 있지만 읽기 작업은 절대 지연될 수 없다. 그래서 일반적인 DBMS는 대부분 쓰기 작업을 지연해서 일괄 처리 하는 기능을 탑재한다.

• Inno DB : 일반적인 쓰기 지연
  • Insert, Update, Delete 쿼리로 데이터가 변경되는 경우 데이터가 디스크의 데이터 파일로 완전히 저장할 때까지 기다리지 않아도 된다.
• MyISAM : 포그라운드 쓰레드가 쓰기 작업까지 함께 처리하도록 설계
  • 일반적인 쿼리는 쓰기 지연 기능을 사용할 수 없다.

 

---

메모리 할당 및 사용 구조

MySQL에서 사용되는 메모리 공간은 글로벌 메모리 영역과 로컬 메모리 영역으로 구분 할 수 있다.

MySQL 메모리 사용 및 할당 구조

• 글로벌 메모리 영역 
  • 글로벌 메모리 공간은 MySQL 서버가 시작되면서 운영체제로부터 할당된다.
    • 각 운영체제의 메모리 할당 방식은 복잡하며 MySQL 서버가 사용한 메모리양을 측정하는 것 또한 쉽지 않다. 따라서 MySQL 시스템 변수로 설정해 둔만큼 운영체제로부터 메모리를 할당받는다고 생각해도 된다.
  • 클라이언트 스레드의 수와 무관하게 하나의 메모리 공간만 할당된다.
    • 필요에 따라 2개이상을 할당 받을 수 있지만 클라이언트 스레드의 수와는 무관하다.
    • 생성된 글로벌 영역은 모든 스레드에 의해 공유된다.
    • 대표적 영역
      
      • 테이블 캐시
      • InnoDB 버퍼풀
      • InnoDB 어댑티브 해시 인덱스
      • InnoDB 리두 로그 버퍼
• 로컬 메모리 영역
  • 세션 메모리라고도 하며, MySQL 서버상에 존재하는 클라이언트 스레드가 쿼리를 처리하는 데 사용하는 메모리 영역이다.
  • 클라이언트가 MySQL에 접속하면 MySQL 서버에서 클라이언트 커넥션으로 부터 요청을 처리하기 위해 스레드를 하나씩 할당한다. 클라이언트 사용하는 메모리 공간이어서 클라이언트 메모리 공간이라고도 한다.
  • 클라이언트와 MySQL 서버와의 커넥션을 세션이라고 해서 세션 메모리 공간이라고도 한다.
  • 각 클라이언트 스레드 별로 독립적으로 할당되며 절대 공유되지 않는다.
  • 일반적으로 메모리 크기는 신경쓰지 않지만 최악의 경우에 메모리 부족으로 서버가 멈출 수 있다. 따라서 적절히 설정해야 한다.
  • 각 쿼리의 용도별로 필요할 때만 공간이 할당되고 필요하지 않은 경우 메모리 공간을 할당받지 않는다.
  • 커넥션이 열려 있는 동안 계속 할당된 상태로 남아 있는 공간이 있다
    • 커넥션 버퍼
    • 결과 버퍼
  • 반대로 쿼리를 실행할때만 할당됐다가 해제 하는 공간도 있다.
    • 정렬 버퍼
    • 조인 버퍼
  • 대표적 영역
    
    • 정렬 버퍼
    • 조인 버퍼
    • 바이너리 로그 캐시
    • 네트워크 버퍼