Gaegul's devlog

최근에 내돈내산(?) 으로 책 두 권을 구매했다. 요즘은 딥러닝 공부와 연구로 시간을 보내고 있는데, 나름대로 시간을 잘 쓰고 있는 것 같으면서도 100프로 잘 보냈다고 생각이 안 들곤 했다. 오히려 하루를 되돌아 볼 때 더 효율적으로 시간을 보내고 싶은 아쉬운 마음이 많았다. 또한, 가끔 스스로 한계를 느끼며 자신감이 떨어질 때 기분이 다운된 적도 있었다. 그러다 문득, 이런 나태한 마음가짐으로 귀중한 시간들을 헛되게 보내면 안 되겠다는 생각이 들었고, 자기계발서 책을 좀 읽어야 겠다는 생각이 들었다. 그리고 인터넷 서점 ye*24에서 베스트셀러 목차를 보다가 책의 제목에서 내 고민에 딱 알맞은 해결책을 제시해 줄 만한 책을 발견했고 망설임 없이 구매했다. 오늘 소개할 마지막몰입 이라는 책은 빌 게이츠..

이번 논문은 GAN의 parameter finetuning과 discriminator feature loss를 이용하여 low level vision task를 보다 nature image(target image)에 가깝게 Restoration(복구)하고 다양한 이미지 Manipulation(조작)을 가능하게 하는 Deep Generative Prior에 관한 논문이다. 기존 방법의 한계점 기존의 연구인 DIP (Deep Image Prior) 는 low-level image statistics은 잘 캡쳐 했지만, rich image semantics(color, spatial coherence, textures, and high-level concepts)을 캡처하는 데에는 여전히 gap이 존재했다. ..

Self Attention의 시초 논문이자 Google Research, Brain Team 이 발행하여 2019년 NIPS에 어셉된 논문입니다. 처음 Attention 메커니즘은 자연어처리 분야에서 크게 이목을 끌었지만 요즘은 Vision 분야에서 더 핫하고 유용하게 쓰이고 있는 방법입니다. 처음 Attention을 이용할때 기존 비전 task에 적용하고자 할때 대부분 Query 와 Key를 곱해서 만든 global attention layer 를 만들어서 기존 CNN 구조에 쌓는 방식이나 encoder decoder 구조로 진행하였습니다. 이 방법은 Query 와 Key를 곱하는 과정에서모든 픽셀간의 관계(=상관성)을 구해야하기 때문에 이미지 픽셀 갯수 n개제곱 만큼의 computaion cost가 ..

논문을 읽기 앞서 CT image의 Dicom 파일과 뇌출혈 subtype에 관해 알아보겠습니다. 1. Dicom 파일이란? DICOM은 의학 분야의 Digital Imaging and Communications의 약자입니다. 초음파 및 MRI 이미지와 같은 의료 정보를 환자의 정보와 함께 하나의 Dicom 파일에 저장할 수 있습니다. dicom 파일 여는 법 pydicom libraray를 설치 후에 사용 할 수 있습니다. 데이터 안에는 다음과 같은 meta 정보가 포함되어 있습니다. meta 정보에는 이미지 사이즈, Window 사이즈, 환자 정보, Study Instance UID, Series Instance UID등이 포함되어 있습니다. data = pydicom.read_file('/conte..

이번 포스팅도 이어서 OOD Detection의 3탄!! OOD Detection를 위한 Autogressive Generative Model를 알아보고자 합니다. 함께 START ☞ PIXEL CNN ++ : IMPROVING THE PIXELCNN WITH DISCRETIZED LOGISTIC MIXTURE LIKELIHOOD AND OTHER MODIFICATIONS / Tim Salimans, Andrej Karpathy.. (ICLR 2017) PIXEL CNN++의 간략한 원리는 이미지 데이터 내의 픽셀이 다음에 올 픽셀과 밀접한 관계가 있다고 보고 그 다음 픽셀을 예측하여 생성하는 방법이라고 할 수 있다. 밀접한 지 알아 보는 지표는 Discretized Logistic Mixture Lik..

저번 게시글에 이어 OOD 논문 리뷰를 진행해 보려 합니다. START ☞ Transfer Representation-Learning for Anomaly Detection / Jerone T.A.Andrews, Thomas Tanay (ICML 2016) 논문을 들어가기 앞서 생소했던 Representation Learning에 관해 찾아보았다. *Representation Learning Feature Learning 이라고도 하며, 머신러닝은 Feature들로 인해 성능이 좌우된다. 이렇게 머신러닝이 가진 한계점을 극복하기 위해 데이터의 표현에서 출력 값을 찾아가는 과정 뿐만 아니라 데이터의 표현 자체도 같이 학습을 시키는 것이 Representation Learning 이다. 예를 들면, Auto..

이상 탐지(Out-Of-Distribution Detection)를 큰 토픽으로 세부적인 다양한 방법을 작은 토픽으로 분류하여 논문 리뷰를 해보도록 하겠다. 제가 가장 관심있는 분야인 만큼 상세히 논문 리뷰를 기록하기 위해 본 블로그에 글로 적게 되었다. ENHANCING THE RELIABILITY OF OUT-OF-DISTRIBUTION IMAGE DETECTION IN NEURAL NEWORKS. / Shiyu Liang, Yixuan Li, R.Srikant (ICLR 2018) 본 논문에서는 Softmax 로 나온 각 Class의 확률값들을 OOD(out of distribution)와 ID(in-distribution)으로 명확하게 분류하기 위해 몇가지 지표를 제시한다. 이미 학습이 끝난 ne..

같은 대학원생 친구의 적극 추천으로 읽게 되었다. 자신이 이 책을 대학원 진학 전에 읽었으면 얼마나 좋았을까 하면서.. 일단 이 책은 대학원생 또는 대학원을 준비하는 분들께 정말 도움이 될 것 같다. (대학원 재학중에 연구 주제를 정하기 어렵거나 대학원의 결정의 중요 순위를 결정하기에 도움이 될 듯하다.) 나 역시 석사 1기에 재학중이어서 첫 연구를 시작함에 어려움이 있지만 (사실 아직도 어려운것은 사실이다.) 이 책을 읽고 방향성에 도움을 받았다. 이 글을 읽는 분들도 한번 읽어보길 적극 추천한다. 글의 구성은 각 저자들의 스토리로 풀어 나간다. (e.g. 엄태웅 박사과정생편, 최윤섭 박사편, 권창현 교수편) 먼저, 가장 기억에 남는 최윤섭 박사편의 리뷰를 해보겠다. 세 박사님들과 KAIST학생들의 질..

본 개념은 Data Mining: Concepts and Techniques (Jiawei Han, ‎Jian Pei, ‎Micheline Kamber)서적을 바탕으로 합니다. 안녕하세요. 저번 포스팅에서는 닫힌 패턴과 최대 패턴에 관해 알아 보았습니다. 이번 포스팅에서는 빈발 패턴을 찾는 알고리즘을 조금 더 세부적으로 알아보겠습니다. 연관규칙 알고리즘을 효율적으로 탐색하기 위해서는 다양한 알고리즘이 적용될 수 있습니다. 효율적인 알고리즘이 왜 필요한가? 라는 질문엔 이렇게 답할 수 있겠습니다. 거래에서 나타나는 모든 항목들의 집합(item set)을 I 라고 할 때, 모든 가능한 부분집합의 개수는 공집합을 제외하고 M 개 입니다. 그리고 모든 가능한 연관규칙의 개수는 다음과 같습니다. 가능한 부분집합의..

본 개념은 Data Mining: Concepts and Techniques (Jiawei Han, ‎Jian Pei, ‎Micheline Kamber)서적을 바탕으로 합니다. 저번 포스팅에서 Apriori와 FP-Growth를 보았습니다. 이번 포스팅엔 빈발 패턴을 구할 때 계산량을 줄이기 위한 알고리즘인 MaxMiner 과 CLOSET에 관해 알아보도록 하겠습니다. 설명하기 이전에 Closed Pattern과 Max-Pattern의 기본 개념에 관해 잠깐 알아보도록 하겠습니다. 아래는 Closed Pattern과 Max-Pattern을 잘 설명하는 그림입니다. *Closed Pattern : An itemset X is closed if X is frequent and there exists no s..