목록Artificial Intelligence (43)
Gaegul's devlog
Case 1. pretrained CNN model layer 직접 수정 pretrained CNN model layer 직접 수정하여 input channel을 변경해 보도록 하겠습니다. Problem 일반적인 classification task를 위한 cnn 기반 모델의 인풋은 3 channel (RGB)로 들어가게 됩니다. 하지만 데이터를 가공시키고 원하는 input channel 이 3채널이 아닐때(4채널 or 그 이상 채널이 들어가야 할 때) pretrained cnn 모델을 가져와서 사용하고 싶을때 본 방법은 유용합니다. 저는 se_resnext101 네트워크에 ImageNet dataset이 pretrained 모델을 가져와서 사용하였습니다. 그리고 제가 가공한 이미지 데이터는 9*256*2..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/sZygV/btq9C8WMrO5/ACy71dqhuxNrWC6Tzyn9Mk/img.png)
이번 논문은 GAN의 parameter finetuning과 discriminator feature loss를 이용하여 low level vision task를 보다 nature image(target image)에 가깝게 Restoration(복구)하고 다양한 이미지 Manipulation(조작)을 가능하게 하는 Deep Generative Prior에 관한 논문이다. 기존 방법의 한계점 기존의 연구인 DIP (Deep Image Prior) 는 low-level image statistics은 잘 캡쳐 했지만, rich image semantics(color, spatial coherence, textures, and high-level concepts)을 캡처하는 데에는 여전히 gap이 존재했다. ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/eVMhW6/btq8lFgpYp8/pvJ0gTU31tBdajrWOgyC6K/img.png)
Self Attention의 시초 논문이자 Google Research, Brain Team 이 발행하여 2019년 NIPS에 어셉된 논문입니다. 처음 Attention 메커니즘은 자연어처리 분야에서 크게 이목을 끌었지만 요즘은 Vision 분야에서 더 핫하고 유용하게 쓰이고 있는 방법입니다. 처음 Attention을 이용할때 기존 비전 task에 적용하고자 할때 대부분 Query 와 Key를 곱해서 만든 global attention layer 를 만들어서 기존 CNN 구조에 쌓는 방식이나 encoder decoder 구조로 진행하였습니다. 이 방법은 Query 와 Key를 곱하는 과정에서모든 픽셀간의 관계(=상관성)을 구해야하기 때문에 이미지 픽셀 갯수 n개제곱 만큼의 computaion cost가 ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/NZX1F/btq7EAA7veE/jMMCsYGGihkRZOycz3uzD0/img.jpg)
논문을 읽기 앞서 CT image의 Dicom 파일과 뇌출혈 subtype에 관해 알아보겠습니다. 1. Dicom 파일이란? DICOM은 의학 분야의 Digital Imaging and Communications의 약자입니다. 초음파 및 MRI 이미지와 같은 의료 정보를 환자의 정보와 함께 하나의 Dicom 파일에 저장할 수 있습니다. dicom 파일 여는 법 pydicom libraray를 설치 후에 사용 할 수 있습니다. 데이터 안에는 다음과 같은 meta 정보가 포함되어 있습니다. meta 정보에는 이미지 사이즈, Window 사이즈, 환자 정보, Study Instance UID, Series Instance UID등이 포함되어 있습니다. data = pydicom.read_file('/conte..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/lmGwp/btqUk0kQl4O/2MagG6pNM0UvFBR2oySEsk/img.png)
이번 포스팅도 이어서 OOD Detection의 3탄!! OOD Detection를 위한 Autogressive Generative Model를 알아보고자 합니다. 함께 START ☞ PIXEL CNN ++ : IMPROVING THE PIXELCNN WITH DISCRETIZED LOGISTIC MIXTURE LIKELIHOOD AND OTHER MODIFICATIONS / Tim Salimans, Andrej Karpathy.. (ICLR 2017) PIXEL CNN++의 간략한 원리는 이미지 데이터 내의 픽셀이 다음에 올 픽셀과 밀접한 관계가 있다고 보고 그 다음 픽셀을 예측하여 생성하는 방법이라고 할 수 있다. 밀접한 지 알아 보는 지표는 Discretized Logistic Mixture Lik..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/c8JcYy/btqTcRwP5L0/u8CMjG9kFtbTfLikocDtOK/img.png)
저번 게시글에 이어 OOD 논문 리뷰를 진행해 보려 합니다. START ☞ Transfer Representation-Learning for Anomaly Detection / Jerone T.A.Andrews, Thomas Tanay (ICML 2016) 논문을 들어가기 앞서 생소했던 Representation Learning에 관해 찾아보았다. *Representation Learning Feature Learning 이라고도 하며, 머신러닝은 Feature들로 인해 성능이 좌우된다. 이렇게 머신러닝이 가진 한계점을 극복하기 위해 데이터의 표현에서 출력 값을 찾아가는 과정 뿐만 아니라 데이터의 표현 자체도 같이 학습을 시키는 것이 Representation Learning 이다. 예를 들면, Auto..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/F5QoP/btqSDvAoL0l/35jX6CSkZqakexvyoJRDs1/img.png)
이상 탐지(Out-Of-Distribution Detection)를 큰 토픽으로 세부적인 다양한 방법을 작은 토픽으로 분류하여 논문 리뷰를 해보도록 하겠다. 제가 가장 관심있는 분야인 만큼 상세히 논문 리뷰를 기록하기 위해 본 블로그에 글로 적게 되었다. ENHANCING THE RELIABILITY OF OUT-OF-DISTRIBUTION IMAGE DETECTION IN NEURAL NEWORKS. / Shiyu Liang, Yixuan Li, R.Srikant (ICLR 2018) 본 논문에서는 Softmax 로 나온 각 Class의 확률값들을 OOD(out of distribution)와 ID(in-distribution)으로 명확하게 분류하기 위해 몇가지 지표를 제시한다. 이미 학습이 끝난 ne..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/4QvYi/btqLOO0LMTg/wjwFU2wYY0bx6AkferD4J0/img.png)
본 개념은 Data Mining: Concepts and Techniques (Jiawei Han, Jian Pei, Micheline Kamber)서적을 바탕으로 합니다. 안녕하세요. 저번 포스팅에서는 닫힌 패턴과 최대 패턴에 관해 알아 보았습니다. 이번 포스팅에서는 빈발 패턴을 찾는 알고리즘을 조금 더 세부적으로 알아보겠습니다. 연관규칙 알고리즘을 효율적으로 탐색하기 위해서는 다양한 알고리즘이 적용될 수 있습니다. 효율적인 알고리즘이 왜 필요한가? 라는 질문엔 이렇게 답할 수 있겠습니다. 거래에서 나타나는 모든 항목들의 집합(item set)을 I 라고 할 때, 모든 가능한 부분집합의 개수는 공집합을 제외하고 M 개 입니다. 그리고 모든 가능한 연관규칙의 개수는 다음과 같습니다. 가능한 부분집합의..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/kQ7ad/btqLENBD3G7/iyKm6EbG33oCL4K3FKqCi1/img.jpg)
본 개념은 Data Mining: Concepts and Techniques (Jiawei Han, Jian Pei, Micheline Kamber)서적을 바탕으로 합니다. 저번 포스팅에서 Apriori와 FP-Growth를 보았습니다. 이번 포스팅엔 빈발 패턴을 구할 때 계산량을 줄이기 위한 알고리즘인 MaxMiner 과 CLOSET에 관해 알아보도록 하겠습니다. 설명하기 이전에 Closed Pattern과 Max-Pattern의 기본 개념에 관해 잠깐 알아보도록 하겠습니다. 아래는 Closed Pattern과 Max-Pattern을 잘 설명하는 그림입니다. *Closed Pattern : An itemset X is closed if X is frequent and there exists no s..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bsg2QL/btqJ92NPVbP/RYzOnzDuvW2ut0Rnt7dT90/img.png)
본 개념은 Data Mining: Concepts and Techniques (Jiawei Han, Jian Pei, Micheline Kamber)서적을 바탕으로 합니다. 안녕하세요. 컴공녀신 입니다. 오늘은 연관규칙 기법 중 유용하게 활용되는 Apriori 와 FP-Growth 알고리즘에 관해 알아보고자 합니다. # 1. Apriori Apriori 알고리즘 설명에 앞서 연관규칙에 관한 개념을 살~짝 짚고 넘어갈께요. 연관규칙이란 X->Y, X가 발생할 때 Y도 발생 할 경우를 의미합니다. 쉽게 설명하자면 {맥주}를 구매할 때 {기저귀}를 구매할 확률이 높습니다. 또한, {맥주, 기저귀, 땅콩 } 이 아이템 셋이 자주 발생한다면, {맥주, 기저귀} 또한 자주 발생합니다. 이렇게 어떤 두 아이템 집..