Clean Code 13장 - 동시성

• 동시성이 필요한 이유?
• 난관
• 동시성 방어 원칙
  • 단일 책임 원칙
  • 따름 정리: 자료 범위를 제한하라
  • 따름 정리: 자료 사본을 사용하라
  • 따름 정리: 스레드는 가능한 독립적으로 구현하라
• 라이브러리를 이해하라
  • 스레드 환경에 안전한 컬렉션
• 실행 모델을 이해하라
  • 생산자-소비자
  • 읽기-쓰기
  • 식사하는 철학자들
• 동기화하는 메서드 사이에 존재하는 의존성을 이해하라
• 동기화하는 부분을 작게 만들어라
• 올바른 종료 코드는 구현하기 어렵다
• 스레드 코드 테스트하기
  • 말이 안되는 실패는 잠정적인 스레드 문제로 취급하라
  • 다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자
  • 다중 스레드를 쓰는 코드 부분을 다양한 환경에 쉽게 끼워 넣을 수 있게 스레드 코드를 구현하라
  • 다중 스레드를 쓰는 코드 부분을 상황에 맞게 조율할 수 있게 작성하라
  • 프로세서 수보다 많은 스레드를 돌려보라
  • 다른 플랫폼에서 돌려보라
  • 코드에 보조 코드를 넣어 돌려라. 강제로 실패를 일으키게 해보라
  • 직접 구현하기
  • 자동화
• 결론

동시성이 필요한 이유?

• 동시성은 결합을 없애는 전략이다.
• 무엇(what)과 언제(when)를 분리하는 전략이다.
• 스레드가 하나인 프로그램은 무엇과 언제가 서로 밀접하다. 그래서 호출 스택을 살펴보면 프로그램 상태가 곧바로 드러난다.
• 무엇과 언제를 분리하면 애플리케이션 구조와 효율이 극적으로 나아진다.
• 구조적인 관점에서 프로그램이 작은 협력 프로그램 여럿으로 보인다.
  • 따라서 시스템을 이해하기가 쉽고 문제를 분리하기도 쉽다.
• 서블릿 모델에서 웹 서버는 비동기적으로 서블릿을 실행한다.
  • 하지만 웹 컨테이너가 제공하는 이 결합분리 전략은 완벽과 거리가 멀어서 개발자는 동시성을 정확히 구현하도록 각별한 주의와 노력이 필요하다.
• 응답 시간과 작업 처리량 개선을 요구사항으로 불가피한 경우
  • 웹 사이트 정보 수집기
  • 많은 사용자 동시 처리 시스템
  • 대량의 정보를 분석하는 시스템

미신과 오해

• 동시성은 항상 성능을 높여준다?
  • 때로 성능을 높여준다. 대기 시간이 아주 길어 여러 스레드가 프로세서를 공유할 수 있거나, 여러 프로세서가 동시에 처리할 독립적인 계산이 충분히 많은 경우에만 성능이 높아진다.
    어느 쪽도 일상적으로 발생하는 상황은 아니다.
• 동시성을 구현해도 설계는 변하지 않는다?
  • 단일 스레드 시스템과 다중 스레드 시스템은 설계가 판이하게 다르다.
  • 무엇과 언제를 분리!
• 웹 또는 EJB 컨테이너를 사용하면 동시성을 이해할 필요가 없다?
  • 실제로 컨테이너가 어떻게 동작하는지, 어떻게 동시 수정, 데드락 등과 같은 문제를 피할 수 있는지를 알아야 한다.

타당한 생각들

• 동시성은 다소 부하를 유발한다. 성능 측면에서 부하가 걸리며, 코드도 더 짜야 한다.
• 동시성은 복잡하다. 간단한 문제라도 동시성은 복잡하다.
• 일반적으로 동시성 버그는 재현하기 어렵다. 그래서 진짜 결함으로 간주되지 않고 일회성 문제로 여겨 무시하기 쉽다.
• 동시성을 구현하려면 흔히 근본적인 설계 전략을 재고해야 한다.

난관

• 왜 동시성을 구현하기가 어려울까?

public class X {
    private int lastIdUsed;
    
    public int getNextId() {
        return ++lastIdUsed;
    }
}

• 인스턴스 X를 생성하고, lastIdUsed 필드를 42로 설정한 다음, 두 스레드가 해당 인스턴스를 공유한다.
• 이제 두 스레드가 getNextId();를 호출한다면??

한 스레드는 43을 받는다. 다른 스레드는 44를 받는다. lastIdUsed는 44가 된다.

한 스레드는 44을 받는다. 다른 스레드는 43를 받는다. lastIdUsed는 44가 된다.

한 스레드는 43을 받는다. 다른 스레드는 44를 받는다. lastIdUsed는 43가 된다. (문제의 상황!)

• 두 스레드가 자바 코드 한 줄을 거쳐가는 경로는 수없이 많은데, 그 중에서 일부 경로가 잘못된 결과를 내놓기 때문이다.

동시성 방어 원칙

• 동시성 코드가 일으키는 문제로부터 시스템을 방어하는 원칙과 기술들…

단일 책임 원칙

• SRP는 주어진 메서드/클래스/컴포넌트를 변경할 이유가 하나여야 한다는 원칙이다.
• 동시성 관련 코드는 다른 코드와 분리해야 한다는 뜻이다.
  • 근데 동시성과 관련 없는 코드에 동시성을 곧바로 구현하는 사례가 너무 흔하다.

동시성 코드는 독자적인 개발, 변경, 조율 주기가 있다.

동시성 코드에는 독자적인 난관이 있다. 다른 코드에서 겪는 난관과 다르며 훨씬 어렵다.

잘못 구현한 동시성 코드는 별의별 방식으로 실패한다. 주변에 있는 다른 코드가 발목을 잡지 않더라도 동시성 하나만으로도 충분히 어렵다.

• 권장사항: 동시성 코드는 다른 코드와 분리하라.

자료 범위를 제한하라

• 공유 객체를 사용하는 코드 내 **임계 영역 (critical section)**을 synchronized 키워드로 보호하라고 권장한다.
• 이런 임계영역의 수를 줄이는 기술이 중요하다. 공유 자료를 수정하는 위치가 많아지지 않도록 주의하자.
• 권장사항: 자료를 캡슐화하라, 공유 자료를 최대한 줄여라.

자료 사본을 사용하라

• 공유 자료를 처음부터 공유하지 않으면 제일 좋다.
• 정 필요하면 객체를 읽기 전용으로 복사해 사용하는 것이다.
• 객체를 복사하는 시간과 부하가 걱정스럽다면, 사본으로 동기화를 피해서 내부 잠금을 없애 절약한 수행 시간이 사본 생성과 가비지 컬렉션에 드는 부하를 상쇄할 가능성이 크다.

스레드는 가능한 독립적으로 구현하라

• 자신만의 세상에 존재하는 스레드를 구현한다.
  • 다른 스레드와 자료를 공유하지 않는다.
• 어떻게?: 각 스레드는 클라이언트 요청 하나를 처리한다. 모든 정보는 비공유 출처에서 가져오며 로컬 변수에 저장한다.
  • 그러면 각 스레드는 세상에 자신만 있는 듯이 돌아갈 수 있다. 다른 스레드와 동기화할 필요가 없으니까!
• 권장사항: 독자적인 스레드로, 가능하면 다른 프로세서에서, 돌려도 괜찮도록 자료를 독립적인 단위로 분할하라.

라이브러리를 이해하라

• 책에서는 자바 5를 의식해서 쓴 내용들이 많다.
• 스레드 환경에서 안전한 컬렉션을 소개해주었다.
  • java.util.concurrent
  • java.util.concurrent.atomic
  • java.util.concurrent.locks
• 권장사항: 언어가 제공하는 클래스를 검토하라.

실행 모델을 이해하라

• 다중 스레드 애플리케이션을 분류하는 방식은 여러 가지다.
• 기본 용어

용어	설명
한정된 자원(Bound Resource)	다중 스레드 환경에서 사용하는 자원으로, 크기나 숫자가 제한적이다. 데이터베이스 연결, 길이가 일정한 읽기/쓰기 버퍼 등이 예다.
상호 배제(Mutual Exclusion)	한 번에 한 스레드만 공유 자료나 공유 자원을 사용할 수 있는 경우를 가리킨다.
기아(Starvation)	한 스레드나 여러 스레드가 굉장히 오랫동안 혹은 영원히 자원을 기다린다. 예를 들어, 항상 짧은 스레드에게 우선순위를 준다면, 짧은 스레드가 지속적으로 이어질 경우, 긴 스레드가 기아 상태에 빠진다.
데드락(Deadlock)	여러 스레드가 서로가 끝나기를 기다린다. 모든 스레드가 각기 필요한 자원을 다른 스레드가 점유하는 바람에 어느 쪽도 더 이상 진행하지 못한다.
라이브락(Livelock)	락을 거는 단계에서 각 스레드가 서로를 방해한다. 스레드는 계속해서 진행하려 하지만, 공명(resonance)으로 인해, 굉장히 오랫동안 혹은 영원히 진행하지 못한다.

실행 모델: 생산자-소비자

• 하나 이상의 생산자 스레드가 정보를 생성해 buffer or queue에 넣는다.
• 하나 이상의 소비자 스레드가 대기열에서 정보를 가져와 사용한다.
• 생산자, 소비자 스레드가 사용하는 대기열은 한정된 자원이다.
• 잘못 구현하면 생산자 스레드와 소비자 스레드가 둘 다 진행 가능함에도 불구하고 동시에게 서로에게서 시그널을 기다릴 가능성이 존재한다.

실행 모델: 읽기-쓰기

• 읽기 스레드를 위한 주된 정보원으로 공유 자원을 사용하지만, 쓰기 스레드가 이 공유 자원을 가끔씩 갱신하는 상황이라고 가정.
  • 처리율이 문제의 핵심
  • 처리율을 강조하면 기아 현상이 오거나 오래된 정보가 쌓인다.
  • 갱신을 허용하면 처리율에 영향을 미친다.
• 읽기 스레드의 요구와 쓰기 스레드의 요구를 적절히 만족시켜 처리율도 적당히 높이고 기아도 방지하는 해법이 필요하다.
• 어떻게?: 읽기 스레드가 없을 때까지 갱신을 원하는 쓰기 스레드가 버퍼를 기다리는 방법이다.
  • 근데 읽기 스레드가 지속되면 쓰기 스레드는 계속 버퍼를 기다려 기아 상태에 빠진다.
  • 쓰기 스레드에게 우선권을 준 상태에서 쓰기 스레드가 계속 이어진다면 처리율이 떨어진다.
  • 그래서 양쪽 균형을 잡으면서 동시 갱신 문제를 피하는 해법이 필요하다.

실행 모델: 식사하는 철학자들

• 각 철학자 왼쪽에 포크, 가운데에는 스파게티
• 배가 고프면 양손에 포크를 집어들고 스파게티를 먹는다.
  • 양손에 포크를 쥐지 않으면 먹지 못한다.
  • 왼쪽이나 오른쪽 철학자가 포크를 사용 중이라면 그쪽 철학자가 먹고 나서 포크를 내려놓을 때까지 기다려야 한다.
• 철학자 => 스레드
• 포크 => 자원
• 여러 프로세스가 자원을 얻으려 경쟁한다. 주의해서 설계하지 않으면 데드락, 라이브락, 처리율 저하, 효율성 저하 등을 겪는다.

동기화하는 메서드 사이에 존재하는 의존성을 이해하라

• 동기화하는 메서드 사이에 의존성이 존재하면 동시성 코드에 찾아내기 어려운 버그가 생긴다.
• 공유 클래스 하나에 동기화된 메서드가 여럿이라면 구현이 올바른지 다시 한 번 확인하자
• 권장사항: 공유 객체 하나에는 메서드 하나만 사용하라.
• 물론 여러 메서드가 필요한 상황도 생길 수 있다.

방법	내용
클라이언트에서 잠금	클라이언트에서 첫 번째 메서드를 호출하기 전에 서버를 잠근다. 마지막 메서드를 호출할 때까지 잠금을 유지한다.
서버에서 잠금	서버에다 서버를 잠그고 모든 메서드를 호출한 후 잠금을 해제하는 메서드를 구현한다. 클라이언트는 이 메서드를 호출한다.
연결 서버	잠금을 수행하는 중간 단계를 생성한다. ‘서버에서 잠금’ 방식과 유사하지만 원래 서버는 변경하지 않는다.

동기화하는 부분을 작게 만들어라

• 자바에서는 synchronized 키워드를 사용하면 락을 설정한다.
• 같은 락으로 감싼 모든 코드 영역은 한 번에 한 스레드만 실행이 가능하다.
• 락은 스레드를 지연시키고 부하를 가중시킨다. (남발 X)
• 하지만 임계영역은 반드시 보호해야 한다. 그래서 임계영역 수를 최대한 줄여야 한다.
• 그렇다고 거대한 임계영역 하나로 구현하는 상황은 스레드 간에 경쟁이 늘어나고 프로그램 성능이 떨어지게 된다.
• 권장사항: 동기화하는 부분을 최대한 작게 만들어라

올바른 종료 코드는 구현하기 어렵다

• 가장 흔히 발생하는 문제는 데드락
• 절대 오지 않을 signal(신호)을 스레드가 기다린다.
  • 부모 스레드가 자식 스레드 여러 개 만든 후 모두가 끝나기를 기다렸다 자원을 해제하고 종료하는 시스템이 있다
  • 그 중 하나가 데드락에 걸리면 부모 스레드는 영원히 기다림
  • 자식 스레드 중 두 개가 생산자/소비자 관계라면?
    • 생산자 스레드는 빨리 종료했는데 소비자 스레드가 생산자 스레드에서 오는 메시지를 기다린다면?
• 깔끔하게 종료하는 다중 스레드 코드를 짜야 한다면 시간을 투자해 올바로 구현하자~
• 권장사항: 종료 코드를 개발 초기부터 고민하고 동작하게 초기부터 구현하라. 생각보다 오래 걸린다. 생각보다 어려우므로 이미 나온 알고리즘을 검토하라.

스레드 코드 테스트하기

• 같은 코드와 같은 자원을 사용하는 스레드가 둘 이상으로 늘어나면 상황은 급격하게 복잡해진다.
• 권장사항: 문제를 노출하는 테스트 케이스를 작성하라. 프로그램 설정과 시스템 설정과 부하를 바꿔가며 자주 돌려라. 테스트가 실패하면 원인을 추적하라. 다시 돌렸더니 통과하더라는 이유로 그냥 넘어가면 절대로 안 된다.
• 말이 안 되는 실패는 잠정적인 스레드 문제로 취급하라.
• 다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자.
• 다중 스레드를 쓰는 코드 부분을 다양한 환경에 쉽게 끼워 넣을 수 있도록 스레드 코드를 구현하라.
• 다중 스레드를 쓰는 코드 부분을 상황에 맞춰 조정할 수 있게 작성하라.
• 프로세서 수보다 많은 스레드를 돌려보라.
• 다른 플랫폼에서 돌려보라.
• 코드에 보조 코드를 넣어 돌려라. 강제로 실패를 일으키게 해보라.

말이 안 되는 실패는 잠정적인 스레드 문제로 취급하라

• 스레드 코드에 잠입한 버그는 재현하기가 아주 어렵다.
• ‘일회성 문제’는 존재하지 않는다고 가정하는 편이 안전하다.
• ‘일회성 문제’를 계속 무시한다면 잘못된 코드 위에 코드가 계속 쌓인다.

다중 스레드를 고려하지 않은 순차 코드부터 제대로 돌게 만들자

• 스레드 환경 밖에서 코드가 제대로 도는지 반드시 확인한다.
  • 스레드가 호출하는 POJO를 만든다.
• 권장사항: 스레드 환경 밖에서 생기는 버그와 스레드 환경에서 생기는 버그를 동시에 디버깅하지 마라. 먼저 스레드 환경 밖에서 코드를 올바로 돌려라.

다중 스레드를 쓰는 코드 부분을 다양한 환경에 쉽게 끼워 넣을 수 있게 스레드 코드를 구현하라

• 한 스레드로 실행하거나, 여러 스레드로 실행하거나, 실행 중 스레드 수를 바꿔본다.
• 스레드 코드를 실제 환경이나 테스트 환경에서 돌려본다.
• 테스트 코드를 빨리, 천천히, 다양한 속도로 돌려본다.
• 반복 테스트가 가능하도록 테스트 케이스를 작성한다.
• 권장사항: 다양한 설정에서 실행할 목적으로 다른 환경에 쉽게 끼워 넣을 수 있게 코드를 구현하라.

다중 스레드를 쓰는 코드 부분을 상황에 맞게 조율할 수 있게 작성하라

• 적절한 스레드 개수를 파악하려면 상당한 시행착오가 필요하다.
• 스레드 개수를 조율하기 쉽게 코드를 구현한다.
• 프로그램이 돌아가는 도중에 스레드 개수를 변경하는 방법도 고려한다.
• 프로그램 처리율과 효율에 따라 스스로 스레드 개수를 조율하는 코드도 고민한다.

프로세서 수보다 많은 스레드를 돌려보라

• 시스템이 스레드를 swapping할 때도 문제가 발생한다.
• swapping이 잦을수록 임계영역을 빼먹은 코드나 데드락을 일으키는 코드를 찾기 쉬워진다.

다른 플랫폼에서 돌려보라

• os 변경하면서 테스트~
• 권장사항: 처음부터 그리고 자주 모든 목표 플랫폼에서 코드를 돌려라.

코드에 보조 코드를 넣어 돌려라. 강제로 실패를 일으키게 해보라.

• 흔히 스레드 코드는 오류를 찾기가 쉽지 않다.
• 왜냐하면 코드가 실행되는 수천 가지 경로 중에 아주 소수만 실패하기 때문이다.
• 코드에 보조 코드를 추가해 실행되는 순서를 바꿔보며 확인을 해본다.

1. 직접 구현하기
2. 자동화

직접 구현하기

• 코드에다 직접 wait(), sleep(), yield(), priority() 함수를 추가한다.
• yield()를 삽입하면 코드가 실행되는 경로가 바뀐다. 그래서 이전에 실패하지 않았던 코드가 실패할 가능성을 열어준다.
• 코드가 실패했다면 yield()를 추가했기 때문이 아니라 원래 잘못된 코드인데 증거가 드러났을 뿐이다.
• 이 방법의 문제점?
  • 보조 코드 삽입 위치
  • 어떤 함수를 어디서 호출해야 적당한가?
  • 배포 환경에 보조 코드를 남겨두면 성능 감소한다
  • 무작위적이다. 오류가 나올지도 안나올지도 모른다.
• 배포 환경이 아닌 테스트 환경에서 보조 코드를 실행할 방법이 필요하다.
• 실행할 때마다 설정을 바꿔줄 방법도 필요하다.
• 확실히 스레드를 전혀 모르는 POJO와 스레드를 제어하는 클래스로 프로그램을 분할하면 보조 코드를 추가할 위치를 찾기가 쉬워진다.

자동화

• 보조 코드를 자동으로 추가하려면 AOF, CGLIB(코드 생성 라이브러리, 자바 클래스의 프록시 생성), ASM 등과 같은 도구를 사용한다. (이게 뭐지?)
• 흔들기(jiggle) 기법을 사용해 배포 환경에서는 사용 안하고 테스트 환경에서 무작위로 nop, sleep, yield 등이 실행되는 코드를 작성해본다.
• 권장사항: 흔들기 기법을 사용해 오류를 찾아내라.

결론

• 다중 스레드 코드는 올바로 구현하기 어렵다.
• 간단했던 코드가 여러 스레드와 공유 자료를 추가하면서 악몽으로 변한다.
• 다중 스레드 코드를 작성한다면 각별히 깨끗하게 코드를 짜야 한다.
• 주의하지 않으면 희귀하고 오묘한 오류에 직면하게 된다.
• SRP 준수!
• 동시성 오류를 일으키는 잠정적인 원인을 철저히 이해한다.
• 사용하는 라이브러리와 기본 알고리즘을 이해한다.
• 보호할 코드 영역을 찾아내는 방법과 특정 코드 영역을 잠그는 방법을 이해한다.
• 스레드 코드는 많은 플랫폼에서 많은 설정으로 반복해서 계속 테스트해야 한다.
  • TDD 3대 규칙을 따르면 자연히 얻어진다.
• 시간을 들여 보조 코드를 추가하면 오류가 드러날 가능성이 크게 높아진다.
  • 직접 구현해도 괜찮고 몇 가지 자동화 기술을 사용해도 괜찮다.
• 초반부터 보조 코드를 고려한다. 스레드 코드는 출시하기 전까지 최대한 오랫동안 돌려봐야 한다.
• 깔끔한 접근 방식을 취한다면 코드가 올바로 돌아갈 가능성이 극적으로 높아진다.