딥러닝 실험 일지
오늘 테스트 해보아야 하는 것들
1. 레이어 개수 증가 8 -> 16
2. 배치사이즈 증가 8 -> 128 ( 안되면 16 부터 2씩 곱해가면서 시도)
3. clipping 조건 바꾸기 0.1 -> 0.01 또는 0.05로 바꿔보기
4. 에포크 수 증가 10 -> 50 ( 이거는 꼭 해야함 )
torch.nn.utils.clip_grad_norm is now deprecated in favor of torch.nn.utils.clip_grad_norm_.
torch.nn.utils.clip_grad_norm(dehaze_net.parameters(),config.grad_clip_norm)
이런 얘기가 나와서 코드를 조금 고쳐두었다
\https://stackoverflow.com/questions/54716377/how-to-do-gradient-clipping-in-pytorch
How to do gradient clipping in pytorch?
What is the correct way to perform gradient clipping in pytorch? I have an exploding gradients problem, and I need to program my way around it.
stackoverflow.com
이거 보고 이렇게 수정하였다.
#torch.nn.utils.clip_grad_norm(dehaze_net.parameters(),config.grad_clip_norm)
torch.nn.utils.clip_grad_norm(dehaze_net.parameters(),args.clip)
일단 에포크 50으로 하고, 배치 사이즈도 128로 했으니까 크롬 다 꺼두어야겠다.
아 근데 터진다.ㅠ
하 램이 쫌 딸리네 슬프다..
일단 배치 사이즈를 64로 줄여보아야겠다.
안되면 또 올릴테니 일단 인터넷들 끄고 생각하자.