Read Mysql 8.0 4장

Mysql 엔진 아키텍처

• Mysql서버는 사람의 머리 역할을 담당하는 Mysql 엔진과 손발 역할을 담당하는 스토리지 엔진으로 구분할 수 있다.
  • 손과 발의 역할을 담당하는 스토리지 엔진은 헨들러 API를 만족하면 누구든지 스토리지 엔진을 구현해서 MYsql서버에 추가해서 사용할 수 있다.

Mysql 전체 구조

• mysql이란?

  MySQL은 세계에서 가장 많이 쓰이는 오픈 소스의 관계형 데이터베이스 관리 시스템이다. 다중 스레드, 다중 사용자 형식의 구조질의어 형식의 데이터베이스 관리 시스템

• 역할

mysql은 JDBC나 ODBC RMFLRH .NET의 표준 드라이버를 제공하며 이러한 드라이버를 이용해 C/C++,PHP,자바 등 모든 언어로 
Mysql 서버에서 쿼리를 사용할 수 있게 지원한다.

• 프로그래밍 API
• MYsql 서버
  • MySql엔진
    • 커넥션 핸들러
    • SQL 인터페이스, SQL 파서, SQL 옵티마이저, 캐시& 버퍼
  • 스토리지 엔진
    • InnoDB, MyISAM,MEmory
• 운영체제 하드웨어
  • 데이터 파일, 로그 파일, 디스크

Mysql 엔진

• Mysql엔진은 클라이언트로부터의 접속 및 쿼리 요청을 처리하는 커넥션 핸들러와 SQL파서 및 전처리기, 쿼리의 최적화된 실행을 위한 옵티마이저가 중심을 이룬다. 또한 Mysql은 표준 SQL문법을 지원하기 때문에 표준 문법에 따라 작성도니 쿼리는 타 DBMS와 호환되어 실행될 수 있다.
• 요청된 SQL문장을 분석하거나 최적화하는 등 DBMS의 두뇌에 해당하는 처리를 수행한다. (CPU같은느낌..?)

스토리지 엔진

• 실제 데이터를 디스크 스토리지에 저장하거나 디스크 스토리지로부터 데이터를 읽어오는 부분은 스토리지 엔진에 전담한다.
• 각 스토리지 엔진은 성능 향상을 위해 키 캐시(MyISAM 스토리지 엔진)이나 InnoDB버퍼풀(InnoDB스토리지 엔진) 과 같은 기능을 내장 하고 있다.

CREATE TABLE test_table(fd1 INT, fd2 INT) ENGINE = INNODB

test_table은 InnoDB 스토리지 엔진을 사용하도록 정의됐다. 
이제 test_table에 대해 INSERT,UPDATE,DELETE,SELECT.. 등의 작업이 발생하면 InnoDB스토리지 엔진이 그러한 처리를 담당한다.

핸들러 API

• MYsql엔진의 쿼리 실행기에서 데이터를 쓰거나 읽어야 할 때는 각 스토리지 엔진이 쓰기 또는 읽기를 요청하는데 이러한 요청을 핸들러라고 하고 여기에 사용되는 API를 핸들러 API라고 한다.
• InnoDB스토리지 엔진 또한 이 핸들러 API를 이용해 Mysql엔진과 데이터를 주고 받는다.
  

  

• 실제 화면

Mysql 스레딩 구조

• Mysql 서버는 프로세스 기반이 아니라 스레드 기반으로 작동하며 크게 포그라운드 스레드와 백그라운드 스레드로 구분할 수 있다.
• Mysql 서버에서 실행중인 스레드의 목록은 44개의 스레드가 실행 중이며, 그중에서 41개의 스레드가 백그라운드 스레드이고, 나머지 3개만 포그라운드 스레드로 표시돼 있다.
  • 백그라운드 스레드의 개수는 Mysql서버의 설정 내용에 따라 가변적일 수있다.

포그라운드 스레드(사용자 스레드와 비슷한 의미로 사용됨)

• 포그라운드 스레드는 최소한 Mysql 서버에 접속된 클라이언트의 수만큼 존재하며, 주로 각 클라이언트 사용자가 요청하는 쿼리 문장을 처리한다.
• 클라이언트 사용자가 작업을 마치고 커넥션을 종료하면 해당 커넥션을 담당하던 스레드는 다시 스레드 캐시로 되돌아간다.
• 스레드 캐시에 일정 개수 이상의 대기 중인 스레드가 있으면 스레드 캐시에 넣지 않고 스레드를 종료시켜 일정 개수의 스레드만 스레드 캐시에 존재하게 한다.
• 데이터를 Mysql의 데이터 버퍼나 캐시로부터 가져오며, 버퍼나 캐시에 없는 경우에는 직접 디스크의 데이터나 인덱스 파일로부터 데이터를 읽어와서 작업을 처리한다.
• MyISAM 테이블은 디스크 쓰기 작업까지 포그라운드 스레드가 처리하지만 InnoDB테이블은 데이터 버퍼나 캐시까지만 포그라운드 스레드가 처리하고, 나머지 버퍼로부터 디스크까지 기록하는 작업은 백그라운드 스레드가 처리한다.

백그라운드 스레드

백그라운드에서 처리할 작업들을 위해 사용 된다. 

• InnoDB는 다음과 같이 여러가지 작업이 백그라운드로 처리된다.
  • 인서트 버퍼를 병합하는 스레드
  • 로그를 디스크로 기록하는 스레드
  • InnoDB버퍼 풀의 데이터를 디스크에 기록하는 스레드
  • 데이터를 버퍼로 읽어 오는 스레드
  • 잠금이나 데드락을 모니터링 하는 스레드
  • 모두 중요한 역할을 하지만 그중에서도 가장 중요한 것은 로그 스레드와 버퍼의 데이터를 디스크로 내려쓰는 작업을 처리하는 쓰레드일 것이다.
    • 쓰기 스레드는 아주 많은 작업을 백그라운드로 처리하기 때문에 일반적인 내장 디스크를 사용할 때는 2~4정도 DAS나 SAN과 같은 스토리지를 사용할 때는 디스크를 최적으로 사용할 수 있을 만큼 충분히 설정하는 것이 좋다.

메모리 할당 및 사용 구조

• MySQL에서 사용되는 메모리 공간은 크게 글로벌 메모리 영역과 로컬 메모리 영역으로 구분할 수 있다.
• 글로벌 메모리 영역의 모든 메모리 공간은 Mysql서버가 시작되면서 운영체제로부터 할당된다.
• 글로벌 메모리 영역과 로컬 메모리 영역은 MySQL서버 내에 존재하는 많은스레드가 공유해서사용하는 공간인지 여부에 따라구분된다.

글로벌 메모리 영역

• 일반적으로 클라이언트 스레드의 수와 무관하게 하나의 메모리 공간만 할당된다.
• 모든 스레드에 의해 공유된다.
• 종류
  • 테이블 캐시
  • InnoDB 버퍼풀
  • InnoDB 어댑티브 해시 인덱스
  • InnoDB 리드 로그 버퍼

로컬 메모리 영역(세션 메모리 영역)

• MySQL 서바 상에 존재하는 클라이언트 스레드가 쿼리를 처리하는 데 사용 하는 메모리 영역이다.
• 클라이언트가 Mysql 서버에 접속하면 Mysql 서버에서는 클라이언트커넥션으로부터의 요청을 처리하기 위해 스레드를 하나씩 할당하게된다. (클라리언트메모리 영역)
• 각 클라이언트 스레드 별로독립적으로할당되며 절대 공유되어 사용되지 않는다는 특징이있다.
• 로컬 메모리 영역
  • 정렬 버퍼
  • 조인 버퍼
  • 바이너리 로그캐시
  • 네트워크 버퍼

플러그인 스토리지 엔진 모델

• 이 세상의 수 많은 사용자의 요구 조건을 만족시키기위해 기본적으로 제공 되는 스토리지 엔진이외에 부가적인 기능을 더 제공 하는 스토리지 엔진이 필요할 수 있다. 이 때 사용 하는 것이 플로그인 모델이다.

헨들러?
- 핸들러는 Mysql에서 넘어온 표현이다. 프로그래밍 언어에서는 어떤 기능을 호출하기 위해 사용하는 운전대와 같은 역할을 하는 객체를 핸들러라고 표현한다
Mysql서버에서 MYSQL엔진은 사람역할을 하고 각 스토리지 엔진은 자동차 역할을 하는데 Mysql 엔진이 스토리지 엔진을 조정하기 위해 
핸들러라는것을 사용하게 된다. 

• 중요한 내용은 하나의 쿼리작업은 여러 하위 작업으로나뉘는데, 각 하위 작업이 Mysql엔진 영역에서 처리되는지 아니면 스토리지 엔진 영역에서 처리 되는지 구분할 줄 알아야 한다.

컴포넌트

• 기존의 플러그인 아키텍처를 대체하기 위해 컴포넌트 아키텍처가 지원된다.(8.0부터)
• 플러그인 스토리지의 단점
  • 플러그인은 Mysql서버와 인터페이스할 수 있고, 플러그인끼리는 통신할 수 없음
  • 플러그인은 MySQL 서버의 변수나 함수를 직접 호출하기 때문에 안전하지 않음 (캡슐화 X)
  • 플러그인은 상호 의존 관계를 설정할 수 없어서 초기화가 어려움.

쿼리 실행 구조

클라이언트 -> SQL요청 -> (Mysql엔진)쿼리파서 -> 전처리기 -> 옵티마이저(쿼리 변환, 비용 최적화,실행 계획 수립), 쿼리실행기(Mysql엔진 끝) -> (스토리지 엔진) InnoDB-> MyISAM -> Memory(스토리지 엔진 끝)

• 쿼리 파서
  • 사용자 요청으로들어온 쿼리 문장을 토큰(MySQL이 인식할 수 있는 최소 단위의 어휘나 기호)으로 분리해 트리 형태의 구조로 만들어 내는 작업
  • 쿼리 문장의 기본 문법 오류는 이 과정에서 발견되고 사용자에게 오류 메시지를 전달하게 된다.
• 전처리기
  • 파서 과정에서 만들어진 파서 트리를 기반으로 쿼리 문장에 구조적인 문제점이 있는지 확인한다.
  • 각 토큰을 테이블 이름이나 칼럼 이름, 또는 내장 함수와 같은개체를 매핑해 해당 객체의 존재 여부와 객체의 접근 권한등을 확인하는과정을 수행한다.
• 옵티마이저
  • 옵티마이저란 사용자의 요청으로 들어온 쿼리 문장을 저렴한 비용으로 가장 빠르게 처리할지를 결정하는 역할을 담당
• 실행엔진
  • 옵티마이저가 두뇌라면 실행 엔진과 핸들러는 손과 발에 비유할 수 있다.
  • 실행 엔진은 만들어진 계획대로 각 핸들러에게 요청해서 받은 결과를 또 다른 핸들러의 요청의 입력으로 연결하는 역할을 수행한다.

핸들러

- Mysql 서버의 가장 밑단에서 Mysql 실행 엔진의 요청에 따라 데이터를 디스크로 저장하고 디스크로부터 읽어 오는 역할을 담당한다. 
- 핸들러는 결국 스토리지 엔진을 의미하며, MyISAM테이블을 조작하는 경우에 핸들러가 MyISAM스토리지 엔진이 되고, InnoDB 테이블을 조작하는 경우에는 핸들러가 InnoDB스토리지 엔진이 된다. 

쿼리 캐시

• 쿼리 캐시는 SQL의 실행 결과를 메모리에 캐시하고, 동일 SQL쿼리가 실행되면 테이블을 읽지 않고 즉시 결과를 반환하기 때문에 매우 좋은 성능을 보였지만, 심각한 동시 처리 성능 저하를 유발하였다.
• Mysql 서버에서 쿼리 캐시는 삭제 되었다.

스레드풀

• 내부적으로 사용자의 요청을 처리하는 스레드 개수를 줄여서 동시 처리되는 요청이 많다하더라도 Mysql서버의 CPU가 제한된 개수의 스레드 처리에만 집중할 수 있께 해서 서버의 자원 소모를 줄이는 것을 목적으로 한다.
• 위키 내용 (동시 실행을 성취하기 위한 소프트웨어 디자인 패터인이라고 한다.)
• In computer programming, a thread pool is a software design pattern for achieving concurrency of execution in a computer program.

트랜잭션 지원 메타데이터

• 메타데이터 && 데이터 딕셔너리
  • 데이터베이스 서버에서 테이블의 구조 정보와 스토어드 프로그램등의 정보를 일컫는다.
    • 스토어드 프로그램: 스토어드 프로시저와 스토어드 함수 그리고 트리거와 이벤트 등을 모두 아우르는 명칭.
• 기존 Mysql의 문제점

기존 Mysql5.7버전까지는 테이블의 구조를 FRM 파일에 저장하고 일부 스토어드 프로그램 또한( *.TRN등) 기반으로 관리했다.
이러한 파일 기반의 메타데이터는 생성 및 변경 작업이 트랜잭션을 지원하지 않기 때문에 테이블의 생성 또는 변경 도중에 MySQL 서버가 비정상적으로 종료 

• 개선
  • Mysql 8.0 버전부터는 이러한 문제점을 해결하기 위해 테이블의 구조 정보나 스토어드 프로그램의 코드 관련 정보를 모두 InnoDB의 테이블에 저장하도록 개선됐다.
  • 시스템 테이블(MySQL서버가 작동하는데 기본적으로 필요한 테이블들을 묶어서 시스템 테이블이라고 한다.) 8.0부터는 모두 InnoDB스토리지 엔진을 사용하도록 개선 했다.