Data Science/Deep Learning (10) 썸네일형 리스트형 [딥러닝 환경설정] 0. 첫 ssh접속, 우분투 LTS 업그레이드 $ ssh 192.100.x.x The authenticity of host '192.100.x.x' can't be established. RSA key fingerprint is 3f:f1:a4:bd:e3:54:63:xx:xx:xx:xx:xx:xx:xx:xx:xx. Are you sure you want to continue connecting (yes/no)? 특정 호스트에 최초로 SSH 접속 시에 아래와 같이 RSA key fingerprint로 접속여부(yes/no)를 확인하는 차원에서 물어본다. yes를 입력 후, 해당 계정의 패스워드를 입력해 호스트에 접속할 수 있다. 아래와 같은 메세지가 뜨며 우분투 서버에 접속했음을 알려준다 만약, 우분투 시스템 재시작이 필요하다는 메세지가 뜬다면, su.. EfficientNet Pytorch 버전 사용 - feature extraction block의 weight가 변하지 않도록 freeze했을 때 def get_model(model_name='efficientnet-b0'): model = EfficientNet.from_pretrained(model_name) # In case you want to freeze the feature extraction blocks from EfficientNet, you need to add these two lines for param in model.parameters(): param.requires_grad = False del model._fc # # # use the same head as the baseline notebook. model._fc = nn.. [Pytorch] Learning Rate Scheduler Learning Rate Scheduler란? 처음부터 끝까지 같은 learning rate(ex) 0.001)를 사용할 수도 있지만, 학습과정에서 미리 정의된 schedule에 따라 learning rate를 조정하는 learning rate scheduler를 사용할 수도 있다. 처음엔 큰 learning rate(보폭)으로 빠르게 optimize를 하고 최적값에 가까워질수록 learning rate(보폭)를 줄여 미세조정을 하는 것이 학습이 잘된다고 알려져있다. learning rate을 줄이는 보편적인 schedule 방식에는 시간에 따라 줄이는 time-based decay, 특정 epoch마다 줄이는 step decay와 exponential decay , learning rate를 줄였다 늘.. [딥러닝/이미지 처리] EfficientNet 모델 개요 및 적용 EfficientNet 모델 개요 EfficientNet is deep learning architecture designed by Google(first introduced in Tan and Le, 2019) to tackle the problem of scaling Neural Networks (deciding how to best increase model size and increase accuracy). Given that there is a tradeoff between efficiency and accuracy in scaling CNNs, the idea by Google is to provide better accuracy and improve the efficiency of the m.. Transfer Learning(전이학습)이란? 실제로 충분한 크기의 데이터셋을 갖추기는 상대적으로 드물기 때문에, (무작위 초기화를 통해) 맨 처음부터 합성곱 신경망(Convolutional Network) 전체를 학습하는 사람은 매우 적다. 따라서, 대신, 매우 큰 데이터셋(예. 100가지 분류에 대해 120만개의 이미지가 포함된 ImageNet)에서 합성곱 신경망(ConvNet)을 미리 학습한 후, 이 합성곱 신경망을 관심있는 작업 을 위한 초기 설정 또는 고정된 특징 추출기(fixed feature extractor)로 사용한다. 이러한 전이학습 시나리오의 주요한 2가지는 다음과 같다: 합성곱 신경망의 미세조정(finetuning): 무작위 초기화 대신, 신경망을 ImageNet 1000 데이터셋 등으로 미리 학습한 신경망으로 초기화합니다. 학.. Chapter 2. 퍼셉트론(인공 뉴런)이란? 아래 내용은 책 '밑바닥부터 시작하는 딥러닝 1권의 내용을 바탕으로 작성된 글입니다 1. 퍼셉트론이란? 신경망의 기원이 되는 알고리즘 다수의 신호를 입력으로 받아 하나의 신호를 출력함 신호가 흐른다(1)/안흐른다(0)의 2가지 값을 가질 수 있음 입력신호가 다음 뉴런에 보내질때는 각각 고유한 가중치가 곱해짐 가중치: 각 신호가 결과에 영향력을 조절하는 요소로 작용함(가중치가 클수록 신호가 그만큼 더 중요함을 뜻함) 2. 논리 회로 1) AND 게이트 : 입력이 둘이고 출력은 하나 2) NAND 게이트 : AND 게이트를 구현하는 매개변수(가중치, 임계치)의 부호를 모두 반전시킴 3) OR게이트 : 입력 신호 중 하나 이상이 1이면 출력이 1이 되는 논리 회로 퍼셉트론의 구조는 AND, NAND, OR 게.. [Pytorch] torch summary 모델 내 레이어에 따른 output shape, parameter 개수에 대한 정보를 표로 쉽게 볼 수 있도록 하는 파이썬 패키지 설치 아래와 같이 pip을 통해 설치 할 수 있다 pip install torchsummary 사용법 from torchsummary import summary summary(model, input_size = (channels, H, W)) input_size의 차원 수는 2/3/4차원 모두 가능 model은 GPU(cuda)에 있어야 사용 가능 결과 각 Layer 별 Output Shape, Parameter 개수에 대한 정보가 출력되는 것을 볼 수 있다 ---------------------------------------------------------------- L.. [딥러닝 환경설정/ Linux] 1. 장착된 GPU 모델 확인 방법 (lspci -k 명령어로 모델명이 보이지 않을때 해결방법) 아래의 명령어를 이용하여 GPU 모델과 커널 모듈 정보를 확인 lspci -k 출력된 많은 코드 중에, 아래와 같이 VGA compatible controller: ~로 시작하는 코드가 보인다면 대괄호[ ] 안에 적혀 있는 것이 본인의 GPU 모델명이다. (예시 : GeForce RTX 3070) VGA compatible controller: NVIDIA Corporation GA104 [GeForce RTX 3070] (rev a1) 정확한 모델명이 안나오고 Device 2484등이 출력될 때, 다음 명령어 입력 후, 다시 확인 sudo update-pciids lspci -k 이전 1 2 다음
