머신러닝에 대해 알아야 할 다섯 가지
http://www.itdaily.kr/news/articleView.html?idxno=73632
머신러닝은 모두에게 블랙박스와 같다
기존의 전통적인 통계모델과 달리 머신러닝 알고리즘으로 개발한 모델은 비선형적인 경우가 많아, 모델을 정의하는 규칙이나 매개변수가 수천 개, 심지어 수십억 개까지 이를 수 있다. 따라서 A 더하기 B가 항상 C가 되지는 않는다. 즉 머신러닝의 정확한 처리경로는 데이터 사이언티스트에게도 해독하기 어려운 블랙박스인 셈이다.
예를 들어 어떤 사람이 특정 행동을 할 때까지는 사고과정이나 나름의 논리체계가 있지만, 우리가 그 체계를 한눈에 이해할 수는 없다. 그 사람의 복잡한 뇌 신경망에 들어가서 정확한 경로를 추적할 수는 없기 때문이다. 머신러닝도 마찬가지이므로, 정확한 처리경로보다는 알고리즘 또는 체계가 해당 문제의 예측에 적절하게 적용됐는지 여부가 중요하다.
- 요점 정리, 군더더기 없고 강력.
[2016-002] AlphaGo의 인공지능 알고리즘 분석
http://spri.kr/post/14725
[2016-001] AlphaGo의 인공지능 – 구글의 바둑인공지능 AlphaGo, 인간 챔피온을 꺾다.
http://spri.kr/post/13972
- 발표된 논문을 기반으로 알고리즘 상세 분석
- 알파고와 기존 바둑 프로그램에 대한 정리
구글포토로 알아보는 인공지능과 머신러닝
http://kcd2015.onoffmix.com/decks/Track2/Track2_Session5_%EC%9D%B4%EC%A0%95%EA%B7%BC_2016_KCD_ML_20160123.pdf
- 슬라이드 자료, 리퍼런스, 링크 포함
로보틱스와 머신 러닝/인공지능 무료 교재 추천 15권
http://slownews.kr/36701
인공지능(AI) 관련 유망산업 동향 및 시사점http://hri.co.kr/upload/publication/20149169391[1].pdf
구글은 왜 인공지능 엔진을 개방했을까
http://techholic.co.kr/archives/45326
http://dsp.hanyang.ac.kr/xe/index.php?document_srl=12209&mid=News
2000년대를 넘어서면서 딥러닝 방식은 이미지 인식과 음성인식에 큰 성과를 나타내기 시작했다. 특히 정보처리를 위한 빠른 프로세서의 값이 싸지면서 구성할 수 있는 노드 수가 늘어나고, 수많은 실제 데이터를 얻을 수 있는 상황이 만들어지면서 빅데이터를 통한 학습이 성과를 보이기 시작했다. 2009년에 들어와서는 지도학습 방식의 딥러닝 알고리즘이 대부분의 패턴인식 경쟁에서 기존 방식을 능가하기 시작했다. 1
딥러닝 시대에는 교사데이터만큼 일반 데이터의 양이 중요하다. 구글이나 마이크로소프트 같이 압도적인 데이터 양과 컴퓨팅 파워를 가진 업체들이 딥러닝 기술을 활용할 때 국내 업체들이 어떻게 경쟁력 우위를 확보할 수 있을지 고민해야 할 것이다. 2
딥러닝은 이런 다계층 인공신경망을 학습하는 알고리즘을 포괄적으로 일컫는 용어로, 최근 개발된 알고리즘들이 주목하고 있는 공통적인 내용은 표현력이 풍부한 다계층 구조에서 역전파법의 과잉적합을 피하면서 적절한 희소성 표현(Sparse Representation)을 찾는 것이다. 4
그럼 왜 ‘방향성 소실’을 야기할 만큼 깊은 신경망을 선호할까. 신경망의 계층이 깊어진다는 것은 의사결정에 있어서 고수준 특징(high-level feature)을 사용한다는 것이다. 저수준(low-level) 특징들의 결합으로 구성되는 고수준 특징은 더 강력한 정보를 제공하기 때문에 정확한 판단을 지원하고 변이에도 안정적이다. 예를 들어 얼굴 영상을 인식할 때 화소(pixel), 경계선, 얼룩 같은 저수준 특징보다 눈, 코, 입 등 고수준 특징으로 판단할 때 훨씬 정확하고 안정적인 판단을 할 수 있는 것이다. 5
“전통적인 알고리즘의 경우 투입되는 데이터의 양이 많아질수록 속도가 느려지고 결국 작동을 멈추게 되는 반면, 딥러닝 알고리즘은 데이터를 많이 넣을수록 잘 동작하는 것이 가장 큰 매력” 8
구글의 딥러닝 연구는 제프리 힌튼, 제프 딘, 딥마인드의 데미스 하사비스 3인방이 주요 역할을 맡고 있는 것으로 알려지고 있다. 제프리 힌튼(캐나다 토론토대) 교수는 인공지능 전문가로 2013년 구글의 최고기술책임자(CTO)가 됐다. 힌튼 교수는 정체가 알려지지 않은 15개 화학물질의 구조식 속에서 효과적인 약품이 될 수 있는 것을 딥러닝을 통해 정확하게 찾아내 다국적 제약사인 머크가 주최한 SW 경진대회에서 우승을 차지했다. 8-1-인공지능과 딥러닝에 대한 머니 투데이의 특집기사 10여편 링크. 넓고 깊고 상세.
Artificial Intelligence and Intelligence Business
http://mlcenter.postech.ac.kr/files/attach/lectures/SKT_%EC%A0%95%EC%83%81%EA%B7%BC_%EB%B0%95%EC%82%AC.pdf
Deep Learning for NLP
http://web.donga.ac.kr/yjko/talks/DL-WordEmbedding(Youngjoong%20Ko).pdf
neural network NN
deep neural network DNN
deep learning
perceptron
multi-layer neural network
input layer
hidden layer
output layer
multi-layer perceptron MLP
training (weight optimization)
backpropagation algorithm
error propagation
problem of old NN
-initialization
-local minimum
-computation power
-data
deep learning
-pre-traning -SL
-distributed representation - not one-hot representation
-initialization techniques - random initialization
-activation fxn -
-big data -
machin learning
-supervised learning
-unsupervised learning - clustering, anomaly detection, dimension reduction
-semi-supervised learning
-reinforcement learning