레이블이 alphago인 게시물을 표시합니다. 모든 게시물 표시
레이블이 alphago인 게시물을 표시합니다. 모든 게시물 표시

2016년 6월 21일 화요일

tensor processing unit, TPU


http://seekingalpha.com/article/3983127-googles-tensor-processing-unit-ai-market-shifting#alt2

http://www.datacenterknowledge.com/archives/2016/05/18/google-alphago-powered-custom-ai-chip/

http://seekingalpha.com/article/3977796-tensor-googles-new-innovation-just-raised-bar

http://www.itnews.or.kr/?p=18513

"텐서플로(TensorFlow)는 구글의 딥러닝 소프트웨어 엔진으로 지난 이세돌 9단과 바둑 대결을 펼친 알파고에 적용해 1200개의 CPU와 600개의 GPU를 사용된 것으로 알고 있었지만 구글 CEO 피차이는 이번 I/O에서 이세돌 9단과 대국에서 알파고에 적용된 인공지능칩이 바로 TPU라고 밝힌 것이다."


알파고 인공지능 머신러닝 빅데이터 자료들http://runmoneyrun.blogspot.kr/2016/03/blog-post_16.html





2016년 3월 27일 일요일

tay, ai, human, leanrning



http://www.vox.com/2016/3/24/11299034/twitter-microsoft-tay-robot-hate-racist-sexist


https://www.tay.ai/

"The more you chat with Tay the smarter she gets, so the experience can be more personalized for you."

"Tay may use the data that you provide to search on your behalf. Tay may also use information you share with her to create a simple profile to personalize your experience. Data and conversations you provide to Tay are anonymized and may be retained for up to one year to help improve the service. Learn more about Microsoft privacy here."

대화를 나누는 상대의 정보가 테이에게 저장되고 개인화될 수 있다니, 익명으로 저장되더라도 비슷한 인간들이 비슷한 질문을 하면 비슷한 대답을 할 가능성이 높을 듯.


https://blogs.microsoft.com/blog/2016/03/25/learning-tays-introduction/

"As we developed Tay, we planned and implemented a lot of filtering and conducted extensive user studies with diverse user groups. We stress-tested Tay under a variety of conditions, specifically to make interacting with Tay a positive experience."

"It’s through increased interaction where we expected to learn more and for the AI to get better and better."

"The logical place for us to engage with a massive group of users was Twitter. Unfortunately, in the first 24 hours of coming online, a coordinated attack by a subset of people exploited a vulnerability in Tay."

"AI systems feed off of both positive and negative interactions with people. In that sense, the challenges are just as much social as they are technical."

"To do AI right, one needs to iterate with many people and often in public forums."


너무 어린 인공지능을 비정상인이 출몰하는 곳에 일찍 내보낸 듯.
인공지능이 사람과 상호작용하기 때문에 이 도전은 기술적일뿐 아니라 사회적이라고.

이세돌은 알파고를 3판의 대국으로 이해하고 빈틈을 찾아냈지만, 트위터의 병자들은 MS의 공지에서 바로 헛점을 파악한 듯. 

기계도 사람도 시행착오를 통해서 배울 수 밖에.
초기 경험과 학습의 중요성도 비슷.




2016년 3월 20일 일요일

The meaning of AlphaGo, the AI program that beat a Go champ - interview of Geoffrey Hinton


AI의 아버지 정도 되는 전문가의 인터뷰.

http://www.macleans.ca/society/science/the-meaning-of-alphago-the-ai-program-that-beat-a-go-champ/


Q: So, why is it important that AI triumphed in the game of Go?

A: It relies on a lot of intuition....The neural networks provides you with good intuitions, and that’s what the other programs were lacking, and that’s what people didn’t really understand computers could do.


바둑은 직관에 의존하고, 알파고는 훌륭한 직관을 제공하고, 그것은 다른 프로그램이 갖지 못한 것이고, 컴퓨터가 할 것이라고 사람들이 이해하지 못했던 것이었다.


Q: In 2014, experts said that Go might be something AI could one day win at, but the common thinking was that it would take at least a decade. Obviously, they undershot that estimate. Would you have guessed then that this was possible?


2014년(구글이 딥마인드를 인수하던 시절)에도 10년은 걸릴 것이라고 하던 일을 2년 만에 해낸 것이라고...



Q: How important is the power of computing to continued work in the deep learning field?

In deep learning, the algorithms we use now are versions of the algorithms we were developing in the 1980s, the 1990s. People were very optimistic about them, but it turns out they didn’t work too well. Now we know the reason is they didn’t work too well is that we didn’t have powerful enough computers, we didn’t have enough data sets to train them. If we want to approach the level of the human brain, we need much more computation, we need better hardware. We are much closer than we were 20 years ago, but we’re still a long way away. We’ll see something with proper common-sense reasoning.

지금 사용하는 딥 러닝의 알고리즘은 80년대, 90년대에 개발된 것이지만, 당시에는 잘 작동하지 않았다. 지금은 그 이유가 충분히 강력한 컴퓨터와 학습에 필요한 충분한 데이타가 없어서 그런 것이었다는 것을 안다.



Q: In the ’80s, scientists in the AI field dismissed deep learning and neural networks. What changed?

A: Mainly the fact that it worked. At the time, it didn’t solve big practical AI problems, it didn’t replace the existing technology. But in 2009, in Toronto, we developed a neural network for speech recognition that was slightly better than the existing technology, and that was important, because the existing technology had 30 years of a lot of people making it work very well, and a couple grad students in my lab developed something better in a few months. It became obvious to the smart people at that point that this technology was going to wipe out the existing one.

80년대의 인공지능과학자들은 딥러닝과 신경망을 무시했는데, 무엇이 바뀐 것인가?
무엇보다 그것이 작동을 한다는 것이다. 당시에 그것은 중요한 ai문제들을 풀지 못했고 기존의 기술을 대치하지 못했다. 그러나 2009년에 음성인식 신경망을 개발했고, 기존의 기술보다 조금 우수했는데 그것이 중요했다. 기존의 기술은 잘 작동하기 위해서 30년동안 많은 사람들이 필요했지만, 우리는 몇개월동안 두 명의 대학원생이 더 좋은 것을 개발했다.


  1) There’s life in old AI approaches: deep learning + tree search

  2) Polanyi’s paradox isn’t a problem: “We know more than we can tell.”
  http://www.nytimes.com/2016/03/16/opinion/where-computers-defeat-humans-and-where-they-cant.html?

  3) AlphaGo isn’t really AI:
  http://spectrum.ieee.org/automaton/robotics/artificial-intelligence/why-alphago-is-not-ai

  4) AlphaGo is pretty inefficient

  5) Commercialization isn’t obvious


http://www.goratings.org/


http://www.geekwire.com/2016/geek-trash-talk-facebook-ai-chief-dismisses-googles-alphago-victory-lee-sedol/

LeCun is apparently skeptical about whether AlphaGo is actually learning how to play, or is simply processing millions of potential Go moves that have been programmed into its memory.

















2016년 3월 18일 금요일

만분의 일, 알파고 리턴




http://runmoneyrun.blogspot.kr/2016/03/alphago-overfiffing-over-optimizing.html
http://www.wired.com/2016/03/go-grandmaster-lee-sedol-grabs-consolation-win-googles-ai/

http://www.wired.com/2016/03/two-moves-alphago-lee-sedol-redefined-future/


지난 번에 이어 와이어드의 기사는 딥마인드 관계자 쪽의 얘기를 좀 더 자세히 다룬다.
알파고에 대한 깊은 이해에서도, 대국의 함의에 대한 객관적인 시각에서도 두 기사 모두 내가 본 국내외의 기사 중에 가장 잘 쓰여진 것이었다.

이세돌과 알파고의 5국을 통털어 가장 아름다운 수였다고 생각되는 수라면 2국의 37번째 어깨 집는 수였을 것이다.
알파고에 따르면 이 수를 인간이 둘 확률은 1/10000이었다고 한다.
이세돌이 이긴 4국의 78번째 끼워넣는 수도 아마 바둑사에 오랫동안 남을 것 같은데, 이미 한국 언론을 통해서도 널리 알려진 것처럼 1/10000의 확률에 해당되는 수였다고 한다.

5국이 진행되는 동안 인상적인 수는 더 있지만, 대부분의 사람들에게 신의 한수라는 평을 받은 것은 위의 두 수였던 것으로 보인다.
알파고도 이세돌도 인간이 둘 가능성은 매우 낮지만, 이기기 위해 두어야 하는 최선의 수를 둔 것이고 그것은 인간의 눈에 신의 한수가 된다.

If Lee Sedol hadn’t played those first three games against AlphaGo, would he have found God’s Touch? The machine that defeated him had also helped him find the way.

인간과 인공지능이 합쳐서 새로운 세상을 만드는 그림이 멋진 것도 사실이다.
와이어드는 더 나가서 판후이가 알파고와의 대국 후에 '개안'을 하고 랭킹이 급상승한 것처럼, 이세돌이 알파고와의 바둑을 통해 봉인이 해제되었음을 암시하고 있다.
인공지능이 인간을 대신하는 수준을 넘어서, 인간의 능력을 넓히는 역할을 직접적으로 할 수 있다는 것이다.

그런데 나는 보통의 기사라면 몰라도 이세돌에게는 실례가 되는 표현이 아닌가 한다.
여러 인터뷰에서 이세돌이 말한 내용을 바탕으로 추측하자면, 대국에서 나타난 알파고의 놀라운 수들도 이세돌 수준의 천재에게는 생각해 볼 수 있고, 이해할 수 있는 수준에서 크게 벗어난 것은 아니었다는 것이다.
만약 알파고에 대해 사전 지식이 있고, 달라진 대국환경에 대한 적응이 된 후라면 이세돌이 더 좋은 성적을 낼 수 있었을 것이다.

커제와 알파고와의 시합이 성사될 모양이다.
알파고의 버전이 현재와 같다면 그 시합의 결과는 이세돌 때보다는 커제에게 좀 더 유리할 것이다. 다만 그도 적응이 필요할 수 있으니 이세돌과의 리턴 매치를 갖는 것과 비교하기가 쉽지는 않을 것이다.

그래도 시합이 기대된다.
또 이제는 알파고에 적응한 프로기사들이 그 난해한 수들을 인간의 언어로 해설할 수 있을지도 기대된다.









2016년 3월 16일 수요일

알파고 인공지능 머신러닝 빅데이터 자료들



머신러닝에 대해 알아야 할 다섯 가지
http://www.itdaily.kr/news/articleView.html?idxno=73632
머신러닝은 모두에게 블랙박스와 같다 
기존의 전통적인 통계모델과 달리 머신러닝 알고리즘으로 개발한 모델은 비선형적인 경우가 많아, 모델을 정의하는 규칙이나 매개변수가 수천 개, 심지어 수십억 개까지 이를 수 있다. 따라서 A 더하기 B가 항상 C가 되지는 않는다. 즉 머신러닝의 정확한 처리경로는 데이터 사이언티스트에게도 해독하기 어려운 블랙박스인 셈이다.
예를 들어 어떤 사람이 특정 행동을 할 때까지는 사고과정이나 나름의 논리체계가 있지만, 우리가 그 체계를 한눈에 이해할 수는 없다. 그 사람의 복잡한 뇌 신경망에 들어가서 정확한 경로를 추적할 수는 없기 때문이다. 머신러닝도 마찬가지이므로, 정확한 처리경로보다는 알고리즘 또는 체계가 해당 문제의 예측에 적절하게 적용됐는지 여부가 중요하다.

- 요점 정리, 군더더기 없고 강력.



[2016-002] AlphaGo의 인공지능 알고리즘 분석
http://spri.kr/post/14725

[2016-001] AlphaGo의 인공지능 – 구글의 바둑인공지능 AlphaGo, 인간 챔피온을 꺾다.
http://spri.kr/post/13972

- 발표된 논문을 기반으로 알고리즘 상세 분석
- 알파고와 기존 바둑 프로그램에 대한 정리



구글포토로 알아보는 인공지능과 머신러닝
http://kcd2015.onoffmix.com/decks/Track2/Track2_Session5_%EC%9D%B4%EC%A0%95%EA%B7%BC_2016_KCD_ML_20160123.pdf

- 슬라이드 자료, 리퍼런스, 링크 포함



로보틱스와 머신 러닝/인공지능 무료 교재 추천 15권
http://slownews.kr/36701


인공지능(AI) 관련 유망산업 동향 및 시사점http://hri.co.kr/upload/publication/20149169391[1].pdf


구글은 왜 인공지능 엔진을 개방했을까
http://techholic.co.kr/archives/45326




http://dsp.hanyang.ac.kr/xe/index.php?document_srl=12209&mid=News

2000년대를 넘어서면서 딥러닝 방식은 이미지 인식과 음성인식에 큰 성과를 나타내기 시작했다. 특히 정보처리를 위한 빠른 프로세서의 값이 싸지면서 구성할 수 있는 노드 수가 늘어나고, 수많은 실제 데이터를 얻을 수 있는 상황이 만들어지면서 빅데이터를 통한 학습이 성과를 보이기 시작했다. 2009년에 들어와서는 지도학습 방식의 딥러닝 알고리즘이 대부분의 패턴인식 경쟁에서 기존 방식을 능가하기 시작했다. 1
딥러닝 시대에는 교사데이터만큼 일반 데이터의 양이 중요하다. 구글이나 마이크로소프트 같이 압도적인 데이터 양과 컴퓨팅 파워를 가진 업체들이 딥러닝 기술을 활용할 때 국내 업체들이 어떻게 경쟁력 우위를 확보할 수 있을지 고민해야 할 것이다. 2
딥러닝은 이런 다계층 인공신경망을 학습하는 알고리즘을 포괄적으로 일컫는 용어로, 최근 개발된 알고리즘들이 주목하고 있는 공통적인 내용은 표현력이 풍부한 다계층 구조에서 역전파법의 과잉적합을 피하면서 적절한 희소성 표현(Sparse Representation)을 찾는 것이다. 4
그럼 왜 ‘방향성 소실’을 야기할 만큼 깊은 신경망을 선호할까. 신경망의 계층이 깊어진다는 것은 의사결정에 있어서 고수준 특징(high-level feature)을 사용한다는 것이다. 저수준(low-level) 특징들의 결합으로 구성되는 고수준 특징은 더 강력한 정보를 제공하기 때문에 정확한 판단을 지원하고 변이에도 안정적이다. 예를 들어 얼굴 영상을 인식할 때 화소(pixel), 경계선, 얼룩 같은 저수준 특징보다 눈, 코, 입 등 고수준 특징으로 판단할 때 훨씬 정확하고 안정적인 판단을 할 수 있는 것이다. 5
“전통적인 알고리즘의 경우 투입되는 데이터의 양이 많아질수록 속도가 느려지고 결국 작동을 멈추게 되는 반면, 딥러닝 알고리즘은 데이터를 많이 넣을수록 잘 동작하는 것이 가장 큰 매력” 8
구글의 딥러닝 연구는 제프리 힌튼, 제프 딘, 딥마인드의 데미스 하사비스 3인방이 주요 역할을 맡고 있는 것으로 알려지고 있다. 제프리 힌튼(캐나다 토론토대) 교수는 인공지능 전문가로 2013년 구글의 최고기술책임자(CTO)가 됐다. 힌튼 교수는 정체가 알려지지 않은 15개 화학물질의 구조식 속에서 효과적인 약품이 될 수 있는 것을 딥러닝을 통해 정확하게 찾아내 다국적 제약사인 머크가 주최한 SW 경진대회에서 우승을 차지했다. 8-1
-인공지능과 딥러닝에 대한 머니 투데이의 특집기사 10여편 링크. 넓고 깊고 상세.




Artificial Intelligence and Intelligence Business
http://mlcenter.postech.ac.kr/files/attach/lectures/SKT_%EC%A0%95%EC%83%81%EA%B7%BC_%EB%B0%95%EC%82%AC.pdf

Deep Learning for NLP
http://web.donga.ac.kr/yjko/talks/DL-WordEmbedding(Youngjoong%20Ko).pdf




neural network NN
deep neural network DNN
deep learning
perceptron

multi-layer neural network
input layer
hidden layer
output layer
multi-layer perceptron MLP

training (weight optimization)
backpropagation algorithm
error propagation

problem of old NN
-initialization
-local minimum
-computation power
-data

deep learning
-pre-traning -SL
-distributed representation - not one-hot representation
-initialization techniques - random initialization
-activation fxn -
-big data -


machin learning
-supervised learning
-unsupervised learning - clustering, anomaly detection, dimension reduction
-semi-supervised learning
-reinforcement learning

























2016년 3월 13일 일요일

alphago, overfitting? over-optimizing?


http://runmoneyrun.blogspot.kr/2016/03/alphago.html
http://runmoneyrun.blogspot.kr/2016/03/blog-post_12.html

Mastering the game of Go with deep neural networks and tree search
http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html

"The naive approach of predicting game outcomes from data consisting of complete games leads to overfitting. The problem is that successive positions are strongly correlated, differing by just one stone, but the regression target is shared for the entire game. When trained on the KGS data set in this way, the value network memorized the game outcomes rather than generalizing to new positions, achieving a minimum MSE of 0.37 on the test set, compared to 0.19 on the training set. To mitigate this problem, we generated a new self-play data set consisting of 30 million distinct positions, each sampled from a separate game. Each game was played between the RL policy network and itself until the game terminated. Training on this data set led to MSEs of 0.226 and 0.234 on the training and test set respectively, indicating minimal overfitting."


네이처 논문을 찾아보니 힌트가 될만한 내용이 있다.

제한된 데이타 셋에 대한 오버피팅을 막기위해 셀프경기를 하면서 3000만개의 서로 독립된 데이타를 쌓았음에도 불구하고 드물게 발생하는 상황에서는 오버피팅을 피할 수 없었다는 것.

4국에서 벌어진 오류(?)가 오버피팅(혹은 다이버전스)의 결과였다면 그렇다는 것이다.
보기에는 딱 그런 느낌이었지만 알 수는 없다.

이세돌은 4국만에 알파고의 약점을 찾아내 승리했고, 인간의 위대함을 보였다.
대신 구글은 원하는 정보를 얻었다.

안정적인 값을 내놓도록 알파고를 세팅해도 바둑의 신같은 실력을 보일 수 있었을까?
궁금하다.



-----------------------

[이세돌 vs 알파고]이세돌 9단 “알파고 2가지 약점 있다” 밝혀
http://www.dongascience.com/news/view/10864

알파고의 약점은 두 가지다. 백보다는 흑을 잡았을 때 더 어려워한다. 오늘 대국의 경우, 자신이 생각하지 못했던 수가 나왔을 때는 버그 형태로 수가 진행됐다. 이럴 경우 어려워하는 것 같다.


알파고 오버피팅?...완벽한 기계는 없었다
http://www.edaily.co.kr/news/NewsRead.edy?SCD=JE41&newsid=02397686612582992&DCD=A00504&OutLnkChk=Y

실제로 데미스 하사비스 CEO는 11일 카이스트 학생들을 대상으로 한 강연에서 “대국 전 불안했던 것은 많은 수의 훈련을 하면서 알파고의 오버피팅 가능성”이라고 말하기도 했다.


https://en.wikipedia.org/wiki/Overfitting




http://www.slideshare.net/fcollova/introduction-to-neural-network





http://www.wired.com/2016/03/go-grandmaster-lee-sedol-grabs-consolation-win-googles-ai/

Using what are called deep neural networks—networks of hardware and software that mimic the web of neurons in the human brain—AlphaGo first learned the game of Go by analyzing thousands upon thousands of moves made by real live human players. Thanks to another technology called reinforcement learning, it then climbed to an entirely different and higher level by playing game after game after game against itself. In essence, these games generated all sorts of new moves that the machine could use to retrain itself. By definition, these are inhuman moves.

http://www.etnews.com/20160311000260?mc=ns_004_00003

하사비스 강연



---------
추가

[반도체] 알파고는 어떻게 인간을 이겼는가가http://file.mk.co.kr/imss/write/20160314112337_mksvc01_00.pdf








2016년 3월 12일 토요일

알파고의 약점?


알파고에 연달아 2번을 패한 후 관계자들의 분석에 따르면 알파고의 약점이 패에 있을 가능성이 있다는 것이었다.
그런데 알파고 이전까지 프로와 4점을 깔고 이길 수 있던 최강의 컴퓨터바둑 프로그램이었다는  '돌바람'의 제작자는 이미 작년 12월에 패를 바둑프로그램의 약점을 공개하고 있었다. 알파고가 가장 강력하다고 하나 몬테카를로트리검색을 하는 기본 방식은 같고, 패가 트리를 늘리고 알파고의 시간과 자원을 충분히 소비한다면 효율이 떨어질 가능성은 마찬가지일 것이다.
만약 알파고의 실력이 어느 수준인지 제대로 알려졌고, 그것을 프로기사들이 받아들일 수 있었다면 미리 대응법을 충분히 준비해 볼 수는 있었을 것이다.

알파고가 패를 일부러 피하는 것처럼 보이는 것이 실제로 약점이라서 그런지 아니면 패없이도 충분히 유리한 수를 찾는데 문제가 없어서 그런 것인지, 만약 3패빅이나 기타 무승부를 만들어서 비길 수 있다면 그것이 최선일지, 그런 것을 일부러 만들 수 있는 것인지는 모르겠다.
일단은 내일의 시합이 매우 기대된다.


---------------

미림합배 세계컴퓨터바둑토너먼트 한국 ‘돌바람’ 우승 앞과 뒤
http://ilyo.co.kr/?ac=article_view&entry_id=155685

“내 기력은 7급 정도인데 전적으로 혼자 작업했다. 프로그램 개발과 기력은 전혀 관계가 없다.”
“단점은 사람과 달리 선택과 집중이 안 된다는 점이다. 사람은 필요한 부분만 떼어 생각하면 되는데 컴퓨터는 매번 바둑판 전체에 대한 경우의 수를 생각한다. 이렇듯 선택과 집중이 안 되니 실수가 나올 확률이 높다. 예를 들면 패가 동시에 여러 곳에서 발생할 경우 엉뚱한 수가 자주 나온다. 장점은 감정에 휘둘리지 않는다는 것이다. 실수를 해도 개의치 않고 최선의 수를 찾아 나간다.”


"이세돌 최후 승부수는 패(覇)싸움이다"
한 인공지능 전문가의 밤샘 분석

"단 한 가지 가능성은 패(覇) 싸움을 통해 최대한 복잡한 전투를 이끌어 알파고가 미처 계산을 할 수 없게 만드는 것 밖에 없다"


이세돌 2연패 후 '밤샘 복기'…호텔방서 칩거하며 '알파고 파기 비법' 연구
http://news.chosun.com/site/data/html_dir/2016/03/11/2016031102984.html

홍민표 / 프로바둑기사 9단
"(알파고가) 패싸움을 잘 안 하려는 듯한 인상을 받아서 그 부분에서 좀 승리 비법을 찾았으면 좋겠습니다."

-----------------
추가

전문가들 조언 “이세돌, 알파고에 패싸움으론 안돼…판을 쪼개야 한다”
http://sports.khan.co.kr/news/sk_index.html?cat=view&art_id=201603120818153&sec_id=530101&pt=nv

다른 의견도 있다.

그러나 알파고의 학습능력이 기존 프로그램과 차원을 달리한 것이 가치망의 존재이고, 이것이 인간이 이해할 수 없는 수의 기반이라면 판을 쪼개는 것만으로 유리해질 이유가 전혀 없다.
판에 존재하는 모든 위치에 대한 평가를 하지 못하는 것은 알파고가 아니라 사람의 약점이다.

다른 바둑 프로그램이 아마추어 수준에서 벗어나지 못할 때 바둑의 신으로 올라선 알파고의 장점이 있는 부분에서 싸우면 알파고의 진짜 능력을 보게 될 것이다. 대신 승부는 미리 포기해야 될 것이다.

이창호가 예전에 바둑의 신이 존재한다면 2점정도 깔고 둘 수 있다고 했던 기억이 있다. 프로기사들과 알파고와의 치수고치기 100번기 이런 것을 해보고 정말 알파고의 실력이 어디까지인지 확인해봤으면 좋겠다.













2016년 3월 9일 수요일

alphago



터미네이터나 진격의거인과 싸우는 인간의 모습이 떠오른다.
이세돌 화이팅.

-------------------

알파고의 2판 해설을 보면서 답답함을 금할 수 없다.

이 수가 알파고의 데이타베이스에 있는 수냐에 대한 반복적인 질문이 나온다는 것은 알파고의 알고리즘에 대한 기본적인 기사 검색도 해보지 않았기 때문이다.

알파고는 끊임없이 바둑판의 모든 위치에 대한 값을 다시 계산하고 있다.
제한 시간 내에 가장 높은 값을 보이는 수를 출력하는 것으로 끝이다.

공부 안 하는 바둑기사들을 보니 바둑의 미래가 보이는 것 같다.

-------------------


정책망 - 몬테카를로 트리검색을 사용해서 수를 검색. 기존의 게임용 ai도 동일.
밸류망 - 검색공간을 줄여서 트리검색의 효율을 증가. 최근의 성과. 판세를 읽는 능력.

- 셀프경기로 얻은 데이타를 트리검색에 사용하고, 밸류망의 가중치를 변화시켜서 스스로 실력을 늘릴 수 있을 듯. 인간이 따라잡기 어려운 부분.
- 상대와의 경기는 수준 평가와 경기 환경 적응 훈련일 듯.
- 제한 시간이 길면 길수록 인간이 기하급수적으로 불리할 듯. 제한시간을 팍팍 줄여야...


"The Monte-Carlo Revolution in Go".
http://www.remi-coulom.fr/JFFoS/JFFoS.pdf


Mastering the game of Go with deep neural networks and tree search
http://www.nature.com/nature/journal/v529/n7587/full/nature16961.html

The game of Go has long been viewed as the most challenging of classic games for artificial intelligence owing to its enormous search space and the difficulty of evaluating board positions and moves. Here we introduce a new approach to computer Go that uses ‘value networks’ to evaluate board positions and ‘policy networks’ to select moves. These deep neural networks are trained by a novel combination of supervised learning from human expert games, and reinforcement learning from games of self-play. Without any lookahead search, the neural networks play Go at the level of state-of-the-art Monte Carlo tree search programs that simulate thousands of random games of self-play. We also introduce a new search algorithm that combines Monte Carlo simulation with value and policy networks. Using this search algorithm, our program AlphaGo achieved a 99.8% winning rate against other Go programs, and defeated the human European Go champion by 5 games to 0. This is the first time that a computer program has defeated a human professional player in the full-sized game of Go, a feat previously thought to be at least a decade away.

How AlphaGo (black, to play) selected its move in an informal game against Fan Hui.


http://www.willamette.edu/~levenick/cs448/goNature.pdf

https://en.wikipedia.org/wiki/Monte_Carlo_tree_search

https://en.wikipedia.org/wiki/Deep_learning

https://en.wikipedia.org/wiki/AlphaGo

https://deepmind.com/alpha-go.html

https://googleblog.blogspot.kr/2016/01/alphago-machine-learning-game-go.html

"The first game mastered by a computer was noughts and crosses (also known as tic-tac-toe) in 1952. Then fell checkers in 1994. In 1997 Deep Blue famously beat Garry Kasparov at chess. It’s not limited to board games either—IBM's Watson [PDF] bested two champions at Jeopardy in 2011, and in 2014 our own algorithms learned to play dozens of Atari games just from the raw pixel inputs. But to date, Go has thwarted AI researchers; computers still only play Go as well as amateurs."
"Traditional AI methods—which construct a search tree over all possible positions—don’t have a chance in Go"

http://www.theverge.com/2016/3/9/11184362/google-alphago-go-deepmind-result

http://www.theguardian.com/technology/2016/mar/07/go-board-game-google-alphago-lee-se-dol
“The big jump was the discovery of the value network, which was last summer,” Hassabis says. That was the realisation that a finely tuned neural network could solve one of the problems previously thought impossible, and learn to predict the winner of a game by looking at the board.
From there, progress was rapid. The value network, paired with a second neural network, the policy network, would work to pick a few possible moves (based on similar plays seen in previous matches) and then estimate which of the resulting board states would be strongest for the AlphaGo player.

가디안 기사가 알파고의 특성을 이해하는데 가장 도움이 되는 듯.


http://www.theverge.com/2016/3/9/11185030/google-deepmind-alphago-go-artificial-intelligence-impact
There are certainly parts of Go that require very deep search but it’s more a game about intuition and evaluation of features and seeing how they interact. In chess there’s really no substitute for search, and modern programs — the best program I know is a program called Komodo — it’s incredibly efficient at searching through the many possible moves and searching incredibly deeply as well.
Hassabis makes a distinction between "narrow" AIs like Deep Blue and artificial "general" intelligence (AGI), the latter being more flexible and adaptive.

체스에서는 바둑과 달리 검색만 필요하고, 바둑보다 더 깊은 검색이 필요하다고.
대신 딥마인드의 ai가 더 유연하고, 적응력이 뛰어나다고.


----------
추가

http://www.economist.com/news/science-and-technology/21694540-win-or-lose-best-five-battle-contest-another-milestone

[특별기고] 감동근교수 “알파고, 선택의 문제로 치부하던 영역까지 정확하게 계산한 뒤 둬”
http://www.hankookilbo.com/v/a47e9dcb03854a2d9bc528b817c6c517

알파고의 바둑에 대해 내가 이해한 바와 가장 비슷한 내용.