차가운 Jony의 BC생활

1. Reinforcement Learning Overview & Terminology 뭘 배워도 뒤돌면 까먹는 30대 중반의 뇌를 가진 나. 최근에 학습한 Reinforcement Learning을 최대한 안까먹기 위해 복습 차원에서 이 글을 남긴다. 본 글의 내용은 도서 *'Reinforcement Learning (R. Sutton, A. Barto)'** 를 참고했습니다. 1.1 Overview Reinforcement Learning(강화학습): Agent가 인간의 지도 없이 스스로 Environment와 trial and error 방식으로 상호작용 함으로써 누적 reward 가 maximize 될 수 있도록 학습시키는 기법. 전통적으로 정의되어 온 Machine Learning..

발단 요즘 강화학습을 공부하느라 python으로 OpenAI의 gym 패키지를 이용해서 실습해보고 있었다. 그런데 Atari의 Pong 게임에 Deep Q-Network를 적용해보려고 했는데 gym이 제대로 import 되지 않는 것이었다. 알아보니 atari 모듈이 (공식적으로는) 윈도우에선 제대로 지원이 안되는 것이었다! 억지로라도 윈도우에서 쓰려면 다른사람이 customize한 atari 모듈을 설치하고, Visual Studio에서 약 4GB에 육박하는 c/c++관련 뭐시기를 깔아야 하고 등등... 뭔가 매우 귀찮아보였다. 그렇다고 멀쩡한 윈도우 노트북을 놔두고 맥을 살수도 없는 노릇. 결국 Windows Subsystem for Linux(이하 WSL)을 설치해서 써보기로 했다. 이를 위해 Li..

드디어 오늘 내 첫 Coursera Specialization을 획득했다! 과정은 내 논문분야가 될(수도 있는) 강화학습! 알파고에 활용된 기술이라 이전부터 관심이 많았었다. 대학원 입학 지원서에도 연구 관심분야라고 적었었다. 하지만 그때는 그 기술이 강화학습인줄은 모르고 그냥 머신러닝이라고만 알았었지만 말이다. 작년 NeurIPS에서 꽤 화제가 되었던 주제였어서 배워보고 싶었지만 우리 학교에선 마땅한 과목이 없어 들을수가 없었다. 다행히 Coursera에서 이론 및 실습을 할 수 있는 강좌가 있어서 시간가는줄 모르고 공부했다. 원래는 audit만 하고 끝내려 했지만 뭔가 욕심이 생겨서 본격적으로 시작했었는데 이렇게 certi까지 받으니 매우 뿌듯하다. 이 Specialization의 가장 큰 장점은 바..

캐나다에서 석사공부를 시작한지도 이제 두학기가 지났다. 이제 슬슬 졸업논문 주제를 잡아야 할 때가 온 것 같기도 하다. 하지만 난 아직 뚜렷하게 연구하고싶은 주제가 없다. 많이들 '그냥 교수님이 주는거 하면 되는거 아니야?' 그러는데, 우리 교수님은 딱 '요거 해라'라며 주진 않더라. 그냥 '이쪽으로 한번 생각해봐라' 라며 큰 주제정도 제시해주시는 편. 들어보니 서양에서는 보통 이런다네? 그에반해 같은 과 친구는 자기네 지도교수님이 아예 학위과정 시작부터 뭐부터 해야하고 어떤 논문을 읽어야 하는지 리스트를 만들어서 줬다고 하더라. 뭐 그런방법이 딱 최고의 방법이라고 생각하진 않는다. 내 지도교수님은 학생의 자율성을 최대한 존중해주는 편이고, 다른 교수님은 그 학생이 어느부분을 연구했으면 좋겠다 하는 확고..

현재 상태 (16.May.2020 기준) BC주 학교는 아직까지 모두 폐쇄 상태. 수업과 미팅 등등 교내활동에 대한 모든 것들은 온라인으로 진행중. 교내 편의시설들(헬스장 등) 모두 폐쇄. Physical distancing을 준수하자는 포스터가 곳곳에 부착되어있음. 도시 내 생필품을 파는 마트들을 제외한 모든 가게들도 폐쇄. 식당들도 takeout외에는 운영하지 않음. 이제 조금씩 lockdown level을 완화할거라고 함. 내 생활에 미친 영향 머리 못자른지 세달 다되감. 긴머리 적응중. 지도교수님이 COVID19 관련 연구를 따내서 주중엔 풀타임으로 그거 도와주고있음. 내 졸업논문 주제도 이쪽으로 한번 고려해보라고 하심. 하지만 난 그쪽엔 그닥 관심없음... 틈틈히 내가 흥미있는 주제 따로 공부중..

# 왜 항상 시간이 부족할까? 요즘 부쩍 시간이 많이 부족하다고 느낀다. 몇달전만 해도 하루가 한달같이 길게 느껴지던 때가 종종 있었음을 생각하면 정말 큰 변화다. 대학원생의 삶이 원래 이런 것인지, 아니면 나만 이런 것인지 고민하게 된다. 내 일상을 차지하는 것들은 다음과 같다. 수업 수업내용 복습 조교활동 과제 연구관련 활동 (전공책 읽기, 논문 읽기, 연구실 미팅) 운동 식사 집안일 (청소, 빨래 등) 영어공부 인턴쉽 준비 자유시간 언뜻 보면 그리 많아보이진 않지만, 저 중 하루에 소화해야 하는게 대여섯개정도 되면 시간관리가 매우 힘들어진다. 대학원생이 되니 과제의 난이도도 너무나 높아지고, 특히 레포트 쓰기 같은건 현지애들은 서너시간이면 뚝딱 할 것을 영어가 부족한 나는 대여섯시간은 족히 걸리니 ..

이제 캐나다에 온지도 어느덧 두달이 다되어 간다. 벌써 다음주면 중간고사 기간이다. 과제에 치여 살다가 오랜만에 살짝 여유가 생긴 틈을 타 글을 남겨본다. # 역시 적막하고 고요하다. 가장 많이 느낀 부분이다. 거의 모든 상점이 오후 7시면 닫고, 큰 도시의 도심이 아니면 밤늦게까지 여는 식당을 찾기가 힘들다. 심지어 술집들도 1~2시가 안되어 거의 다 닫는다고 하더라. 특히 주말이면 더 빨리 닫는 상점들이 대부분. 이때문에 처음 몇주간은 너무 심심했다. 하지만 이젠 익숙해졌는지 크게 아쉽다고 느껴지지는 않는다. # 운동을 정말 많이한다. 물론 한국에도 열심히 운동하는 학생들이 많지만 여기 학생들이 운동하는 비율이 훨씬 높은 것 같다. 특히 우리나라 같으면 운동을 안하는 애들은 정말 그 어떠한 운동도 하..

현지시각 8월 28일 오후 6시. 드디어 밴쿠버 국제공항에 발을 디뎠다. 다음은 현지에 도착한 후 처리한 일들이다. 1. Study permit 수령 한국에서 신청해둔 Study permit을 받아야 하는데, 이는 수하물을 받는 곳에 위치한 immigration office에서 받을 수 있다. 줄이 상당히 길고, 처리가 오래걸리기 때문에 재빨리 줄을 서야 한다. 대략 순서는, 비행기에서 내려서 재빨리 수하물을 받고 -> 근처에 위치한 info센터에 큰짐을 맡기고 -> 작은짐+study permit을 위한 문서들(visa 승인레터+biometrics 승인레터+여권)을 챙기고 immigration office로 간다. 순서가 되어서 문서들을 건네면 번호표를 받고 잠시 앉아있게 된다. 나는 8월 말미에 들어와..

지원을 마치고 합격발표가 난 이후에도 준비할 것이 많았다. # 항공권 처음에는 좀 일찍 들어가서 적응기간을 좀 가져볼까 했지만, 캐나다 집값도 비싸고 적응은 학기초에 쉬엄쉬엄 하면 되겠다는 생각에 출국일을 8월 말로 잡았다. 주의해야 할 점은, 밴쿠버로 들어가는 항공권은 6월말~8월말 기간이 성수기라 티켓값이 확 오르고 표도 금방 매진된다. 따라서 좀 서둘러서 4월말~5월초에는 티켓을 구하는 것이 좋다. 나같은 경우 8월말에 출국하면 되니까 5~6월쯤 여유있게 표를 구입하면 되겠다고 생각했었는데, 5월말에 밴쿠버로 가는 직항 좌석이 이미 모두 없어져버렸다! 며칠을 기다려도 자리가 안나서 결국 직항을 포기하고 인천->시애틀->밴쿠버 루트를 이용하기로 했다. 하지만 이렇게 하니까 또 문제가 있었다. 일단 미..

# 역대 엑스맨 시리즈 중 가장 실망스러운 영화 엑스맨과 알라딘 중 한참을 고민하다가 히어로물 빠돌이 답게 엑스맨을 보러갔다. 하지만 진짜 너무나 후회스러운 결정이었다. 그래도 좋았던 점부터 말하자면, Good #1: 배우들의 연기력 제임스 맥어보이, 마이클 패스밴더, 제니퍼 로렌스 등 이미 검증된 배우들은 역시나 명연기를 보여줬다. 이 영화를 그나마 몰입해서 볼 수 있었던 이유였다. 왕좌의 게임에서 인상적인 모습을 보여줬던 소피 터너도 크게 나쁘진 않았으나 계속 산사가 보인건 기분탓인지... Good #2: 화려한 액션 히어로 영화, 그중에서도 다채로운 능력을 가진 뮤턴트들이 나오는 엑스맨답게 액션은 정말 화려하다. 스톰, 매그니토 등 원래부터 화려한 능력을 갖고있는 인물들은 물론이고, 이번 리부트에서..