차가운 Jony의 BC생활

안녕하세요, 매우 오랜만에 공부 섹션에서 인사드립니다. 얼마전에 살짝 시간이 비어 웹서핑을 하다가 재밌는 주제를 발견했습니다. 바로, '성시경 vs. 장범준, 누가 더 나은가?' 라는 논란이었습니다. 상당히 격렬한 댓글이 오고가서 많이 놀랐는데요, (전 개인적으로 성시경 팬입니다만) 비록 제 전문분야는 아니지만, 언젠가 Naver에서 출시한 CLOVA Sentiment API에 관해 들은적이 있어서 이를 활용해보면 재밌지 않을까 싶어 글을 올려봅니다. (활용법은 https://www.ncloud.com/product/aiService/clovaSentiment 이곳을 참고하시기 바랍니다.) 네이버에서 어떠한 알고리즘으로 api를 만들었는지는 참고자료가 없어서 reference를 첨부하지 못하는 점 유감스..

난생 처음으로 맥북을 구입했다. 작년인가 제작년에 M1 맥북에어가 나왔을 때 뭔가 다음 모델은 디자인이 바뀔거같은 느낌적인 느낌이 들었었는데 역시나! 제품 공개를 라이브로 보면서 미드나잇을 보고 '어머, 저건 꼭 사야해!' 했었다. 하지만 잘 생각해보니 미드나잇이나 스타라이트 모두 좀 유행탈거같은 + 쉽게 질릴 것 같은 느낌이었다. 결국 선택은 맥북의 근본색인 '실버'! 이전까지 계속 윈도우만 써오다가 처음 맥OS를 써보려니 뭔가 신기하면서도 이질적으로 느껴졌다. 아직 키보드의 command, option, control 배치에도 적응이 덜 된 듯 하다. 오늘은 맥북에어에 R 환경을 세팅하는 방법을 기록으로 남겨보려 한다. 애플 실리콘이 설치된 맥 OS에만 해당함 R 설치 일..

3. Value Functions RL의 핵심은 agent가 어떤 MDP 문제를 해결하는데 가장 최적화된(i.e. return이 높은) policy를 찾는 것이다. 이를 위해서는 각각의 state에서 agent가 어떤 action을 선택할 수 있도록 수치화 된 기준을 제공할 필요가 있다. Value function은 agent가 처한 state, 혹은 해당 state에서 agent가 취한 action에 점수를 부여함으로써 action selection을 돕는다. 앞단원에서 잠시 등장했던 Q 또한 value function의 일종이다. State-value function $V_{\pi}(s)$ 어떤 action selection policy하에서 주어지는 state의 값을 의미한다. 이는 곧 agent가..

2. Multi-Armed Bandits Problem 처음에 들었을 때 bandits라고 해서 '도둑이라는 뜻 말고 다른게 있나?'하며 의아해 했던 기억이 있다. 알고보니 여기서 bandit은 슬롯머신을 말하는 것이었다. 즉, 여러개의 레버가 달린 슬롯머신을 떠올리면 될 것 같다. 여기서 문제는 슬롯머신에 달린 여러개의 레버 중에 어떤것을 당기는 것이 수익률이 가장 높을 것인가 하는 것이다. 이를 RL의 문제로 다시 풀어내면, 어떤 시점 t에 k 개의 action 중 하나를 선택할 수 있다. action을 선택하면 그에따른 reward를 받는다. Agent의 목표는 정해진 시간동안 받는 total reward를 maximize 하는 것이다. 일단 모든 레버를 당기기 전에는 어떤 레버가 얼..

1. Reinforcement Learning Overview & Terminology 뭘 배워도 뒤돌면 까먹는 30대 중반의 뇌를 가진 나. 최근에 학습한 Reinforcement Learning을 최대한 안까먹기 위해 복습 차원에서 이 글을 남긴다. 본 글의 내용은 도서 *'Reinforcement Learning (R. Sutton, A. Barto)'** 를 참고했습니다. 1.1 Overview Reinforcement Learning(강화학습): Agent가 인간의 지도 없이 스스로 Environment와 trial and error 방식으로 상호작용 함으로써 누적 reward 가 maximize 될 수 있도록 학습시키는 기법. 전통적으로 정의되어 온 Machine Learning..

발단 요즘 강화학습을 공부하느라 python으로 OpenAI의 gym 패키지를 이용해서 실습해보고 있었다. 그런데 Atari의 Pong 게임에 Deep Q-Network를 적용해보려고 했는데 gym이 제대로 import 되지 않는 것이었다. 알아보니 atari 모듈이 (공식적으로는) 윈도우에선 제대로 지원이 안되는 것이었다! 억지로라도 윈도우에서 쓰려면 다른사람이 customize한 atari 모듈을 설치하고, Visual Studio에서 약 4GB에 육박하는 c/c++관련 뭐시기를 깔아야 하고 등등... 뭔가 매우 귀찮아보였다. 그렇다고 멀쩡한 윈도우 노트북을 놔두고 맥을 살수도 없는 노릇. 결국 Windows Subsystem for Linux(이하 WSL)을 설치해서 써보기로 했다. 이를 위해 Li..