'2022/02/17 글 목록

2022/02/17 (6)

[인공지능] 케라스 학습 기술 - 배치 정규화

인공지능 범범조조 2022. 2. 17. 23:00

참조 https://www.youtube.com/watch?v=E3HhuCjyZoA&list=PL7ZVZgsnLwEHGS6EId3B_AnRYSCi_35rj&index=7 https://ichi.pro/ko/silje-baechi-jeong-gyuhwa-keras-mich-tensorflow-2-0eul-sayonghan-yeje-195627853932911 배치 정규화란? 배치 정규화는 각 미니 배치의 레이어에 대한 입력을 표준화하는 매우 심층 신경망을 훈련하는 기술입니다. 이는 학습 프로세스를 안정화하고 딥 네트워크를 훈련하는 데 필요한 훈련 시대의 수를 극적으로 줄이는 효과가 있습니다. 배치 정규화 모델에 주입되는 샘플들을 균일하게 만드는 방법 학습 후 새로운 데이터에 잘 일반화 할 수 있도록 도와줌..

[인공지능] 케라스 학습 기술 - 규제화

인공지능 범범조조 2022. 2. 17. 21:58

참조 https://www.youtube.com/watch?v=E3HhuCjyZoA&list=PL7ZVZgsnLwEHGS6EId3B_AnRYSCi_35rj&index=7 https://ichi.pro/ko/silje-baechi-jeong-gyuhwa-keras-mich-tensorflow-2-0eul-sayonghan-yeje-195627853932911 규제화 복잡한 네트워크 일수록 네트워크의 복잡도에 제한을 두어 가중치가 작은 값을 가지도록 함 가중치의 분포가 더 균일하게 됨 네트워크 손심함수에 큰 가중치에 연관된 비용을 추가 L1 규제 : 가중치의 절댓값에 비례하는 비용이 추가 L2 규제 : 가중치의 제곱에 비례하는 비용이 추가(흔히 가중치 감쇠라고도 불림) 위 2 규제가 합쳐진 경우도 존재 fr..

[인공지능] 케라스 학습 기술 - 옵티마이저

인공지능 범범조조 2022. 2. 17. 20:56

참조 https://www.youtube.com/watch?v=E3HhuCjyZoA&list=PL7ZVZgsnLwEHGS6EId3B_AnRYSCi_35rj&index=7 모멘텀 최적화 import tensorflow as tf from tensorflow.keras.optimizers import SGD optimizer = SGD(learning_rate = 0.001, monentum=0.9) # 알파 값으로 들어간다. 네스테로프(Nesterov) 모멘텀의 방향으로 조금 앞선 곳에서 손실함수의 그라디언트를 구함 시간이 지날수록 조금 더 빨리 최솟값에 도달 import tensorflow as tf from tensorflow.keras.optimizers import SGD optimizer = SG..

[인공지능] 케라스 학습 기술 - 가중치 초기화

인공지능 범범조조 2022. 2. 17. 19:20

참조 https://www.youtube.com/watch?v=E3HhuCjyZoA&list=PL7ZVZgsnLwEHGS6EId3B_AnRYSCi_35rj&index=7 https://blog.naver.com/PostView.naver?blogId=handuelly&logNo=221831940317&parentCategoryNo=&categoryNo=31&viewDate=&isShowPopularPosts=true&from=search https://keras.io/api/layers/initializers/ 가중치 초기화의 중요성 머신러닝, 딥러닝 모델 학습에 있어서 초기 가중치 설정은 매우 중요합니다. 가중치의 설정에 따라 기울기 소실 문제 또는 표현력의 한계를 갖는 여러가지 문제가 발생하기도 하며..

[인공지능] 케라스 학습 기술 - 모델의 크기 축소

인공지능 범범조조 2022. 2. 17. 18:41

참조 https://www.youtube.com/watch?v=E3HhuCjyZoA&list=PL7ZVZgsnLwEHGS6EId3B_AnRYSCi_35rj&index=7 모델의 크기 축소 가장 단순한 방법 모델의 크기를 줄인다는 것은 학습 파라미터의 수를 줄이는 것 데이터 준비 import enum from tensorflow.keras.datasets import imdb import numpy as np (train_data, train_labels), (test_data, test_labels) = imdb.load_data(num_words=10000) def vectorize_seq(seqs, dim=10000): results = np.zeros((len(seqs), dim)) for i, s..

[인공지능] 케라스 기초 - 콜백

인공지능 범범조조 2022. 2. 17. 17:39

참조 https://www.youtube.com/watch?v=mzOpojTpliA&list=PL7ZVZgsnLwEHGS6EId3B_AnRYSCi_35rj&index=3 콜백 fit() 함수의 callbacks 매개변수를 사용하여 케라스가 훈련의 시작이나 끝에 호출할 객체 리스트를 지정할 수 있음 여러 개 사용 가능 ModelCheckpoint tf.keras.callbacks.ModelCheckpoint 정기적으로 모델의 체크포인트를 저장하고, 문제가 발생할 떄 복구하는데 사용 EarlyStopping tf.keras.callbacks.EarlyStopping 검증 성능이 한동안 개선되지 않을 경우 학습을 중단할 때 사용 LearningRateScheduler tf.keras.callbacks.Lear..

1

Sidebar

Copyright © BeomBeomJoJo All Rights Reserved

Designed by JB FACTORY

티스토리툴바