2014년 1월 4일 토요일

경제학, RCT


randomized controlled trial (RCT)
무작위 대조군 실험, 연구

약과 치료법의 효과를 확인하기 위해 주로 쓰이는  방법이다.
통제된 실험을 할 수 없을 때, 통제할 수 없는 변수의 영향을 가장 효과적으로 배제하고 원하는 변수의 효과를 확인할 수 있는 방법이다.

과거의 데이타를 수집하는 후향적(retrospective) 연구같은 것과는 비교할 수 없다.
사례 보고같은 낮은 수준의 조사와도 비교할 수 없다.
오랜 시간과 비용이 장애물이지만, 비용보다 큰 돈을 벌 수 있거나, 더 큰 비용을 절약하게 된다면 기업이든 국가든 나서서 적용할 수 밖에 없다.

방법론이 좋아도 인간이 하는 것이라 문제가 생길 여지는 많다.
연구자들이 무식한 것도 문제지만, 연구 윤리가 문제가 되는 곳이라면 어느 분야나 마찬가지이다.
그러나 제약바이오산업은 수십년동안 미국에서 가장 성장성이 높은 분야 중 하나였기 때문에 가장 다양한 시험을 거쳐서 검증된 방법일 가능성이 높다. 효과가 적거나 부작용이 많은 약에 수조원을 쳐들이는 회사는 결국 도태된다.


그런데 이 방법론이 10여년 전부터 경제학에도 적용되고 있고, 점점 확산되고 있다고 한다.
http://www.businessinsider.com/once-treated-with-scorn-randomised-control-trials-are-coming-of-age-2013-12
http://www.economist.com/news/finance-and-economics/21591573-once-treated-scorn-randomised-control-trials-are-coming-age-random-harvest

경제학은 이론과학, 사회학, 역사학, 정치학 등이 짬뽕되어 있어서, 그 안에서도 관심과 도구가 다르면 대화가 거의 불가능한 분야로 보인다. 어떤 이들은 간단한 계산도 못한다고 무시당하고, 어떤 이들은 철학이 없다고 비판받고, 어떤 이들은 쓸모없는 연구나 하고 있다고 비난 받는다.

그런데 그런 경제학에서도 지난 10여년간 randomized controlled trial을 연구방법론으로 사용하기 시작했고, 성과를 내기 시작했다는 것이다. 경제학이 조금 더 과학에 접근했다는 것이고, 그런 상황에서는 점쟁이나 사기꾼에 의해 반복되는 정책적 삽질이 줄수 있다.

실제로 RCT를 도입한 사람들은 주로 경제개발, 빈곤퇴치에 대한 답을 얻을 수 있다는 기대를 하면서 방법론을 적용하고 있다고 한다.

http://blogs.worldbank.org/africacan/can-randomized-control-trials-reduce-poverty
http://www.povertyactionlab.org/methodology

관련된 기사와 연구소의 링크이다.

연구소의 소장들이 쓴 책이 poor economics이다.
그런데 한국말로 번역된 책의 제목은 '가난한 사람이 더 합리적이다'이다.
안 읽었다.
책은 읽을만한 가치가 있을 것이지만, 한국말 제목을 뒷받침하는 내용이 있을지는 매우 의심스럽다.



가난하면 두뇌 기능도 약화, 빈곤 악순환

개인적으로는 빈곤의 악순환이라는 썰이 사실에 가깝다고 본다.
그러나 여전히 압도적인 증거 따위는 발견하기 어렵다.



공짜 돈의 위력

이런 기사가 있었다.
원래 기사의 저자가 주장하고자 하는 바는 명확하나, 근거는 매우 빈약하다.
그럼에도 불구하고, 매우 중요한 내용을 담고 있다.
누군가 진실에 근접하고자 하면 현실적으로 한가지 방법밖에 없다.
RCT.
그것도 규모가 작으면 크게 의미가 없다.






http://insights.som.yale.edu/insights/can-we-end-poverty
Q: Economist Sendhil Mullainathan and psychologist Eldar Shafir describe priming participants in an experiment with a scenario, "Your car is going to need $100 worth of work" and then having them take an IQ test. Then they change the scenario to "Your car is going to need $1,000 worth of work." They found having the more difficult problem consuming the mind led to lower IQ test results.

http://www.openaid.de/blog/2011/05/24/randomized-trials-are-not-hottest-thing-fight-against-poverty

Econometric debate on randomized controlled trials (RCTs)
http://poverty-action.org/node/1976

Randomized Controlled Trials: panacea or mirage?
http://www.oxfamblogs.org/fp2p/?p=2478



랜덤이 대세다(Randomize Everything): 개발협력과 랜덤 실험법(RCTs)

검색중에 발견한 블로그인데 내용이 좋다.





댓글 9개:

  1. 고등학생 때, 윤리였는지 경제겼는지 모르겠으나 어떤 선생님이 두 애기가 있는데 한 아이는 모유를 다른 아이는 모유를 주지 않는 실험이닌 실험을 하고 있다는 말을 수업시간에 했었죠.
    농팔진이라고 믿지만....




    나중에 성향 차이를 비교해본다고 했었는데 지금 어느정도는 중간 결과가 나왔겠군요..

    이상은 글과 상관없는....

    답글삭제
    답글
    1. 모유 수유의 장점에 대한 얘기도 수십년 째인데, 결론이 난 것인지 아닌지 여전히...

      삭제
    2. 표본이 너무 작고..

      똑같이 모유수유해도 성격이 판이한 형제들은 어떻게 설명할껀데? 쓸데 없는데 힘쓰는거 보니 그 선생 사이비다. ㅋㅋㅋㅋ

      삭제
    3. ㅋㅋㅋ
      제말이....
      충분한 샘플이 나올 때 까지 반복 실험을 해야하지 않을까요....

      20대에 걸친 가문 프로젝트....

      삭제
    4. 대가 끊기지 않게 정부지원이 필요할 것같은 느낌이. ㅎㅎㅎ.

      삭제
  2. 재밌는 방법론이네요... 잘 읽었슴다~~ ㅎ

    답글삭제
    답글
    1. 진실에 접급하는 방법은 재미가 없다고 생각하는 경우가 많은데 다행이네요. ㅎㅎ.
      백테스트를 아무리 해도 실제 적용시 성과를 얻지 못하는 경우가 대부분인 것과도 관련이 있습니다.
      과거자료를 보는 인간의 시각에는 바이어스가 관여하고 그것을 줄이려다 보면, 랜덤, 블라인드, 프로스펙트티브로 테스트를 하는 것이 최선인데 엄격한 조건에서 그렇게 하면 사이비들이 발붙일 곳이 적어지겠지요. 간단한 것도 최소 몇년이 걸리니 3개월이면 모든 상품을 서로 베낀다는 한국의 금융계에서는 어려울 것 같기도 하네요.

      삭제
  3. 듀프레인님은 정말 관심사도 다양하시고 깊이와 내공도 대단하시네요.
    오늘도 많이 배워갑니다. 감사합니다. 꾸벅~

    답글삭제
    답글
    1. 그냥 살아남으려다 보니 여러 곳에 관심을 두게 된 것 같네요.

      삭제