The meaning of AlphaGo, the AI program that beat a Go champ - interview of Geoffrey Hinton

AI의 아버지 정도 되는 전문가의 인터뷰.

http://www.macleans.ca/society/science/the-meaning-of-alphago-the-ai-program-that-beat-a-go-champ/


Q: So, why is it important that AI triumphed in the game of Go?

A: It relies on a lot of intuition....The neural networks provides you with good intuitions, and that’s what the other programs were lacking, and that’s what people didn’t really understand computers could do.

바둑은 직관에 의존하고, 알파고는 훌륭한 직관을 제공하고, 그것은 다른 프로그램이 갖지 못한 것이고, 컴퓨터가 할 것이라고 사람들이 이해하지 못했던 것이었다.

Q: In 2014, experts said that Go might be something AI could one day win at, but the common thinking was that it would take at least a decade. Obviously, they undershot that estimate. Would you have guessed then that this was possible?

2014년(구글이 딥마인드를 인수하던 시절)에도 10년은 걸릴 것이라고 하던 일을 2년 만에 해낸 것이라고...

Q: How important is the power of computing to continued work in the deep learning field?

In deep learning, the algorithms we use now are versions of the algorithms we were developing in the 1980s, the 1990s. People were very optimistic about them, but it turns out they didn’t work too well. Now we know the reason is they didn’t work too well is that we didn’t have powerful enough computers, we didn’t have enough data sets to train them. If we want to approach the level of the human brain, we need much more computation, we need better hardware. We are much closer than we were 20 years ago, but we’re still a long way away. We’ll see something with proper common-sense reasoning.

지금 사용하는 딥 러닝의 알고리즘은 80년대, 90년대에 개발된 것이지만, 당시에는 잘 작동하지 않았다. 지금은 그 이유가 충분히 강력한 컴퓨터와 학습에 필요한 충분한 데이타가 없어서 그런 것이었다는 것을 안다.

Q: In the ’80s, scientists in the AI field dismissed deep learning and neural networks. What changed?

A: Mainly the fact that it worked. At the time, it didn’t solve big practical AI problems, it didn’t replace the existing technology. But in 2009, in Toronto, we developed a neural network for speech recognition that was slightly better than the existing technology, and that was important, because the existing technology had 30 years of a lot of people making it work very well, and a couple grad students in my lab developed something better in a few months. It became obvious to the smart people at that point that this technology was going to wipe out the existing one.

80년대의 인공지능과학자들은 딥러닝과 신경망을 무시했는데, 무엇이 바뀐 것인가?

무엇보다 그것이 작동을 한다는 것이다. 당시에 그것은 중요한 ai문제들을 풀지 못했고 기존의 기술을 대치하지 못했다. 그러나 2009년에 음성인식 신경망을 개발했고, 기존의 기술보다 조금 우수했는데 그것이 중요했다. 기존의 기술은 잘 작동하기 위해서 30년동안 많은 사람들이 필요했지만, 우리는 몇개월동안 두 명의 대학원생이 더 좋은 것을 개발했다.

----------------

https://www.technologyreview.com/s/601072/five-lessons-from-alphagos-historic-victory/

  1) There’s life in old AI approaches: deep learning + tree search

  2) Polanyi’s paradox isn’t a problem: “We know more than we can tell.”
  http://www.nytimes.com/2016/03/16/opinion/where-computers-defeat-humans-and-where-they-cant.html?

  3) AlphaGo isn’t really AI:

  http://spectrum.ieee.org/automaton/robotics/artificial-intelligence/why-alphago-is-not-ai

  4) AlphaGo is pretty inefficient

  5) Commercialization isn’t obvious


http://www.goratings.org/


http://www.geekwire.com/2016/geek-trash-talk-facebook-ai-chief-dismisses-googles-alphago-victory-lee-sedol/

LeCun is apparently skeptical about whether AlphaGo is actually learning how to play, or is simply processing millions of potential Go moves that have been programmed into its memory.

exchange rate vs tourism - japan

위 그림은 한경이 일본의 신문을 인용한 것을 재인용
아래 그림은 fred의 자료. bis의 실질실효환율, 명목실효환율.

환율과 관광객 간의 관계를 비교한 것이다.
굳이 설명을 달자면

1) 출국자는 자국통화 강세시에 증가하고 약세시에 감소하고, 매우 높은 관련성을 보인다.
2) 입국자는 자국통화 약세시에 증가하고 관련성이 덜하다.
3) 실질실효환율이 아니라 명목실효환율에 더 높은 관련성을 보인다.
4) 정치적, 사회적 이슈의 영향은 환율의 영향보다 적다.
5) 아베노믹스가 관광산업에는 엄청난 차이를 만들고 있다.

최근 3년 정도의 월별지표를 보면 환율의 단기적 영향은 장기적 영향보다 덜 명백하고, 환율의 관광에 대한 효과는 일정정도의 지연현상이 나타나는 것으로 보인다.

2년간 지속된 원화약세의 효과를 한국에서 관찰할 가능성이 있다.



----------------
추가

http://news.mk.co.kr/column/view.php?year=2016&no=211548

관광산업은 `아베노믹스` 성장 전략 중 소수의 성공 분야다. 2015년 일본의 외국인 관광객은 47.1% 늘어난 1974만명으로 정부 목표인 2000만명을 거의 5년 앞당겨 달성했다. 외국인 여행객의 직접 소비는 3조5000억엔으로 2015년 실질 경제성장률을 0.2% 끌어올렸다.

민간 경제연구소는 이로 인한 파급 생산효과를 6조8000억엔, 일자리 창출을 63만명으로 추산하고 여행수지는 45년 만에 흑자전환했다.

추가 2

위의 그림은 11월까지 아래는 12월까지 전부.

http://totb.hatenablog.com/entry/2016/02/27/233824






http://inboundnavi.jp/2015-summary-stats

http://inboundnavi.jp/2015-expense-summary

http://www.nippon.com/en/features/h00132/

http://www.travelvoice.jp/english/?p=1670

shanghai accord? maybe not

망하도록 정해진 길을 가던 세상이 두달만에 바뀐 듯하다.
음모론이 나올만한 시기이다.

상하이 합의가 있었는지 없었는지 알 수 없지만, 실제 없었을 것 같고, 필요도 없었을 것 같고, 설령 있어도 장기 효과는 의심된다.
G20이라고 해봐야 18개국이 들러리이니, 미국과 중국의 입장이 명확해야 하는 상황에서 미국이 달러약세를 원하는 것은 누구나 짐작할 수 있지만, 중국의 입장에 대해서는 아무도 모른다. 중국인들마저 절상이냐 절하냐의 양가감정에 시달리고 있을 것이다. 위안화가 약세로 가면 금융 위험이 커지고 위안의 국제화를 통한 장기적인 성장 전략에 문제가 생기고, 강세로 가면 수출에 불리하고 물가를 포함하는 펀더멘탈과의 괴리가 의심되기도 한다.

과거의 플라자합의 시와 지금이 무엇이 다른지 물가 한가지만 확인해 본다.

85년에 달러대비 엔과 마르크의 강세가 시작되었다.
지금 달러대비 위안이나 기타 통화의 강세가 시작되는 것은 메이저달러인덱스의 장기 차트를 보면 그럴 듯하다.

그런데 중국은 메이저인덱스에 포함되지 않는다.
위 그림의 빨간색 차트가 중국을 포함한다.
만약 달러 인덱스에서 상하이 합의를 유도할 만한 강력한 달러강세를 찾아내고 싶다면 빨간선을 봐야 한다.
빨간 선을 보면 1985년의 플라자 합의는 선진국 이외의 국가에 대해 장기적인 환율의 변화를 가져왔다고 볼 수 없다.

무엇이 차이를 낳았을까?
물가때문이라고 본다.

메이저달러인덱스에서 구한 물가비율은 40년이상 장기적으로 미국보다 다른 선진국의 물가가 더 안정적으로 유지되었다는 사실을 보여준다.
그런 조건에서의 85년 합의는 단기적으로 급등한 환율을 안정수준으로 되돌릴 가능성을 높인다.
실제 빠르게 달러인덱스가 장기 추세로 돌아갔다.

합의가 없어도 85년, 2002년, 최근의 고점은 평균 수준으로 회귀할 가능성이 높다.
저절로 그렇게 될 일을 정치적으로 가속화시킨 것이다.


그러나 신흥국을 포함하는 물가비율은 전혀 다르다.
신흥국의 성장이 가속화되고 전세계 원자재 붐이 발생한 2000년대의 정체기를 제외하면 이전에도 이후에도 물가가 지속적으로 상승하고 있다.
그러니 어떤 합의를 통해 달러를 일시적으로 약세로 보내도 장기적으로 영향을 줄 수 없다.
전적으로 신흥국 내부의 정치, 사회, 경제의 총체적인 조건에 달린 문제라고 볼 수 있다.



http://runmoneyrun.blogspot.kr/2016/02/china-cpi-estimate.html

신흥국 중 브라질, 러시아, 인도, 멕시코 등의 나라에 비해 2010년대 이후 중국의 물가는 안정적이다.

장기적으로 미국과의 물가비율이 안정적이라면 환율도 그러할 것이다.

http://runmoneyrun.blogspot.kr/2016/02/future-of-yuan-from-china-cpi.html

90년대 후반 이후 미국과 중국의 물가 비율은 안정적이다.
유가가 안정되고 미국물가가 현재 수준을 유지하면 위의 물가 비율이 향후에도 안정적으로 유지될 것이다.
과거 두번의 달러 초강세와 지금 상황이 같지 않지만, 특히 그 상대가 중국이라는 점은 완전히 다르다.
투기꾼들의 단기 베팅으로 일시적인 혼란이 있더라도, 그 이유만으로 환율을 두 나라가 급하게 조작할 이유가 보이지 않는다.

그래서?

위안화의 미래는 투기꾼이 아니라 중국의 의지에 달렸고, 원화는 900원대로 간다는 생각은 변함이 없다. 

china cosmetics retail sales

http://data.stats.gov.cn/english/index.htm

 - domestic trade

http://www.stats.gov.cn/english/PressRelease/201603/t20160316_1331876.html

-----------------
update 20160423

http://www.stats.gov.cn/english/PressRelease/201604/t20160418_1345156.html

만분의 일, 알파고 리턴

http://runmoneyrun.blogspot.kr/2016/03/alphago-overfiffing-over-optimizing.html

http://www.wired.com/2016/03/go-grandmaster-lee-sedol-grabs-consolation-win-googles-ai/

http://www.wired.com/2016/03/two-moves-alphago-lee-sedol-redefined-future/


지난 번에 이어 와이어드의 기사는 딥마인드 관계자 쪽의 얘기를 좀 더 자세히 다룬다.
알파고에 대한 깊은 이해에서도, 대국의 함의에 대한 객관적인 시각에서도 두 기사 모두 내가 본 국내외의 기사 중에 가장 잘 쓰여진 것이었다.

이세돌과 알파고의 5국을 통털어 가장 아름다운 수였다고 생각되는 수라면 2국의 37번째 어깨 집는 수였을 것이다.
알파고에 따르면 이 수를 인간이 둘 확률은 1/10000이었다고 한다.
이세돌이 이긴 4국의 78번째 끼워넣는 수도 아마 바둑사에 오랫동안 남을 것 같은데, 이미 한국 언론을 통해서도 널리 알려진 것처럼 1/10000의 확률에 해당되는 수였다고 한다.

5국이 진행되는 동안 인상적인 수는 더 있지만, 대부분의 사람들에게 신의 한수라는 평을 받은 것은 위의 두 수였던 것으로 보인다.
알파고도 이세돌도 인간이 둘 가능성은 매우 낮지만, 이기기 위해 두어야 하는 최선의 수를 둔 것이고 그것은 인간의 눈에 신의 한수가 된다.

If Lee Sedol hadn’t played those first three games against AlphaGo, would he have found God’s Touch? The machine that defeated him had also helped him find the way.

인간과 인공지능이 합쳐서 새로운 세상을 만드는 그림이 멋진 것도 사실이다.
와이어드는 더 나가서 판후이가 알파고와의 대국 후에 '개안'을 하고 랭킹이 급상승한 것처럼, 이세돌이 알파고와의 바둑을 통해 봉인이 해제되었음을 암시하고 있다.
인공지능이 인간을 대신하는 수준을 넘어서, 인간의 능력을 넓히는 역할을 직접적으로 할 수 있다는 것이다.

그런데 나는 보통의 기사라면 몰라도 이세돌에게는 실례가 되는 표현이 아닌가 한다.
여러 인터뷰에서 이세돌이 말한 내용을 바탕으로 추측하자면, 대국에서 나타난 알파고의 놀라운 수들도 이세돌 수준의 천재에게는 생각해 볼 수 있고, 이해할 수 있는 수준에서 크게 벗어난 것은 아니었다는 것이다.
만약 알파고에 대해 사전 지식이 있고, 달라진 대국환경에 대한 적응이 된 후라면 이세돌이 더 좋은 성적을 낼 수 있었을 것이다.

커제와 알파고와의 시합이 성사될 모양이다.
알파고의 버전이 현재와 같다면 그 시합의 결과는 이세돌 때보다는 커제에게 좀 더 유리할 것이다. 다만 그도 적응이 필요할 수 있으니 이세돌과의 리턴 매치를 갖는 것과 비교하기가 쉽지는 않을 것이다.

그래도 시합이 기대된다.
또 이제는 알파고에 적응한 프로기사들이 그 난해한 수들을 인간의 언어로 해설할 수 있을지도 기대된다.

Andrew Ng, self-driving car, baidu

https://en.wikipedia.org/wiki/Andrew_Ng

http://dataconomy.com/10-machine-learning-experts-you-need-to-know/

https://www.quora.com/topic/Andrew-Ng-14
https://www.quora.com/profile/Andrew-Ng/session/39/

https://www.quora.com/When-will-self-driving-cars-be-available-to-consumers/answer/Andrew-Ng

Autonomous driving's biggest problem is addressing all the corner cases--all the strange things that happen once per 10,000 or 100,000 miles of driving. Machine learning is good at getting your performance from 90% accuracy to maybe 99.9%, but it's never been good at getting us from 99.9% to 99.9999%.

http://www.techtimes.com/articles/139832/20160309/baidus-chief-scientist-thinks-autonomous-cars-ready-before-2020.htm

"They will be much safer than human-driven cars," Ng said.

That being said, Baidu is working on an autonomous car, so maybe Ng knows something we don't regarding the technology's advancement.

http://phys.org/news/2016-03-andrew-ng-chief-scientist-chinese.html

One of the things Baidu did well early on was to create an internal platform that made it possible for any engineer to apply deep learning to whatever application they wanted to, including applications that AI researchers like me would never have thought of. 

The two things I'm most excited about right now are self-driving cars and speech.

http://www.wsj.com/articles/baidu-to-test-drive-autonomous-cars-in-the-u-s-1458160570

Today, fully autonomous vehicles like Google’s RX450h can handle a wide range of situations, but they still can’t understand a police officer yelling through a bullhorn or process nonverbal cues from other drivers. While these so-called corner cases might seem rare, they in fact occur regularly.

http://fortune.com/2016/03/17/baidu-test-self-driving-cars/

The expanding Sunnyvale, California office is currently 160 employees strong and is led by artificial intelligence scientist Andrew Ng.

http://www.forbes.com/sites/georgeanders/2014/05/19/baidus-coup-ng-aims-to-build-silicon-valleys-new-brain-trust/#7692737c1845


http://venturebeat.com/2014/07/30/andrew-ng-baidu/

In a sense, then, Ng joined a company that had already built momentum in deep learning. He wasn’t starting from scratch.

Ng’s focus now might best be summed up by one word: accuracy.

“Here’s the thing. Sometimes changes in accuracy of a system will cause changes in the way you interact with the device,” Ng said.

But Ng’s strong points differ from those of his contemporaries. Whereas Bengio made strides in training neural networks, LeCun developed convolutional neural networks, and Hinton popularized restricted Boltzmann machines, Ng takes the best, implements it, and makes improvements.

https://www.technologyreview.com/s/544651/baidus-deep-learning-system-rivals-people-at-speech-recognition/

http://www.marketwired.com/press-release/deep-speech-from-baidus-silicon-valley-ai-lab-recognizes-both-english-mandarin-with-nasdaq-bidu-2080829.htm

https://www.technologyreview.com/s/545486/chinas-baidu-releases-its-ai-code/

알파고 인공지능 머신러닝 빅데이터 자료들

머신러닝에 대해 알아야 할 다섯 가지
http://www.itdaily.kr/news/articleView.html?idxno=73632

머신러닝은 모두에게 블랙박스와 같다 

기존의 전통적인 통계모델과 달리 머신러닝 알고리즘으로 개발한 모델은 비선형적인 경우가 많아, 모델을 정의하는 규칙이나 매개변수가 수천 개, 심지어 수십억 개까지 이를 수 있다. 따라서 A 더하기 B가 항상 C가 되지는 않는다. 즉 머신러닝의 정확한 처리경로는 데이터 사이언티스트에게도 해독하기 어려운 블랙박스인 셈이다.
예를 들어 어떤 사람이 특정 행동을 할 때까지는 사고과정이나 나름의 논리체계가 있지만, 우리가 그 체계를 한눈에 이해할 수는 없다. 그 사람의 복잡한 뇌 신경망에 들어가서 정확한 경로를 추적할 수는 없기 때문이다. 머신러닝도 마찬가지이므로, 정확한 처리경로보다는 알고리즘 또는 체계가 해당 문제의 예측에 적절하게 적용됐는지 여부가 중요하다.

- 요점 정리, 군더더기 없고 강력.



[2016-002] AlphaGo의 인공지능 알고리즘 분석
http://spri.kr/post/14725

[2016-001] AlphaGo의 인공지능 – 구글의 바둑인공지능 AlphaGo, 인간 챔피온을 꺾다.
http://spri.kr/post/13972

- 발표된 논문을 기반으로 알고리즘 상세 분석

- 알파고와 기존 바둑 프로그램에 대한 정리

구글포토로 알아보는 인공지능과 머신러닝
http://kcd2015.onoffmix.com/decks/Track2/Track2_Session5_%EC%9D%B4%EC%A0%95%EA%B7%BC_2016_KCD_ML_20160123.pdf

- 슬라이드 자료, 리퍼런스, 링크 포함



로보틱스와 머신 러닝/인공지능 무료 교재 추천 15권
http://slownews.kr/36701


인공지능(AI) 관련 유망산업 동향 및 시사점http://hri.co.kr/upload/publication/20149169391[1].pdf


구글은 왜 인공지능 엔진을 개방했을까
http://techholic.co.kr/archives/45326




http://dsp.hanyang.ac.kr/xe/index.php?document_srl=12209&mid=News

2000년대를 넘어서면서 딥러닝 방식은 이미지 인식과 음성인식에 큰 성과를 나타내기 시작했다. 특히 정보처리를 위한 빠른 프로세서의 값이 싸지면서 구성할 수 있는 노드 수가 늘어나고, 수많은 실제 데이터를 얻을 수 있는 상황이 만들어지면서 빅데이터를 통한 학습이 성과를 보이기 시작했다. 2009년에 들어와서는 지도학습 방식의 딥러닝 알고리즘이 대부분의 패턴인식 경쟁에서 기존 방식을 능가하기 시작했다. 1

딥러닝 시대에는 교사데이터만큼 일반 데이터의 양이 중요하다. 구글이나 마이크로소프트 같이 압도적인 데이터 양과 컴퓨팅 파워를 가진 업체들이 딥러닝 기술을 활용할 때 국내 업체들이 어떻게 경쟁력 우위를 확보할 수 있을지 고민해야 할 것이다. 2

딥러닝은 이런 다계층 인공신경망을 학습하는 알고리즘을 포괄적으로 일컫는 용어로, 최근 개발된 알고리즘들이 주목하고 있는 공통적인 내용은 표현력이 풍부한 다계층 구조에서 역전파법의 과잉적합을 피하면서 적절한 희소성 표현(Sparse Representation)을 찾는 것이다. 4

그럼 왜 ‘방향성 소실’을 야기할 만큼 깊은 신경망을 선호할까. 신경망의 계층이 깊어진다는 것은 의사결정에 있어서 고수준 특징(high-level feature)을 사용한다는 것이다. 저수준(low-level) 특징들의 결합으로 구성되는 고수준 특징은 더 강력한 정보를 제공하기 때문에 정확한 판단을 지원하고 변이에도 안정적이다. 예를 들어 얼굴 영상을 인식할 때 화소(pixel), 경계선, 얼룩 같은 저수준 특징보다 눈, 코, 입 등 고수준 특징으로 판단할 때 훨씬 정확하고 안정적인 판단을 할 수 있는 것이다. 5

“전통적인 알고리즘의 경우 투입되는 데이터의 양이 많아질수록 속도가 느려지고 결국 작동을 멈추게 되는 반면, 딥러닝 알고리즘은 데이터를 많이 넣을수록 잘 동작하는 것이 가장 큰 매력” 8

구글의 딥러닝 연구는 제프리 힌튼, 제프 딘, 딥마인드의 데미스 하사비스 3인방이 주요 역할을 맡고 있는 것으로 알려지고 있다. 제프리 힌튼(캐나다 토론토대) 교수는 인공지능 전문가로 2013년 구글의 최고기술책임자(CTO)가 됐다. 힌튼 교수는 정체가 알려지지 않은 15개 화학물질의 구조식 속에서 효과적인 약품이 될 수 있는 것을 딥러닝을 통해 정확하게 찾아내 다국적 제약사인 머크가 주최한 SW 경진대회에서 우승을 차지했다. 8-1

-인공지능과 딥러닝에 대한 머니 투데이의 특집기사 10여편 링크. 넓고 깊고 상세.




Artificial Intelligence and Intelligence Business
http://mlcenter.postech.ac.kr/files/attach/lectures/SKT_%EC%A0%95%EC%83%81%EA%B7%BC_%EB%B0%95%EC%82%AC.pdf

Deep Learning for NLP
http://web.donga.ac.kr/yjko/talks/DL-WordEmbedding(Youngjoong%20Ko).pdf




neural network NN
deep neural network DNN
deep learning
perceptron

multi-layer neural network
input layer
hidden layer
output layer
multi-layer perceptron MLP

training (weight optimization)
backpropagation algorithm
error propagation

problem of old NN
-initialization
-local minimum
-computation power
-data

deep learning
-pre-traning -SL
-distributed representation - not one-hot representation
-initialization techniques - random initialization
-activation fxn -
-big data -


machin learning
-supervised learning
-unsupervised learning - clustering, anomaly detection, dimension reduction
-semi-supervised learning
-reinforcement learning