본문 바로가기

딥러닝34

[section_11] CNN(Convolutional Neural Networks) CNN(Convolutional Neural Networks)Covolution이란? 복잡함이란 의미이다.결론 부터 말을 한다면 CNN이란 CONV, ReLU, POOL, Drop-out을 번갈아 적용하여 하나의 Fully Connected Network를 만드는 것을 말한다. Conv Layer란?이미지에서 필터와 Activation Funtion(ReLU)를 사용하여 하나의 값을 추출하여 하나의 Layer을 만드는 것이다. 하나의 예시를 들면, 어떤 색이 있다면 R,G,B필터를 사용하여 3개의 layer로 만들 수 있다. 이를 Conv layer라고한다.이제 필터에 대해서 잠깐 알아보면 N은 이미지 크기(7*7)를 말하고, F는 필터의 크기(3*3)를 말한다, 여기서 stride라는 개념이 나오는데 .. 2018. 6. 1.
[section_9] ReLU and 초기값 정하기(1) (2006/2007 breakthrough) Sigmoid 보다 좋은 ReLU쉽게 이해하기에 앞서 머신러닝의 지나온 과정에서 가장 큰 2가지 문제가 있었다. - 첫 번째 : XOR 문제 - > Neural Network - 두 번째 : Backprogation의 문제 -> ReLU관련 내용 : [section_8] 딥러닝의 기본 개념과, 문제, 그리고 해결Backprogation을 할때 많은 Layer에 거치게 되면 좋지 않은 결과가 나오게 된다. 이유는 간단하다 Backprogation의 경우 나온 결과 값으로 이전 레이어의 w, b를 조절 해 줘야하는데 sigmoid의경우 0~1사이의 값만을 가지므로 곱하면 곱할 수록 0에 가까워지게 된다.따라서 많은 레이어를 거칠수록 w, b에 주는 영향은 줄어 들게된다.이를 해결 해주는 방법은 생각 보다 간.. 2018. 6. 1.
[section_9_lab] TensorBoard 사용하기 TensorBoard란? Tensorflow의 그래프를 시각적으로 표시해주는 툴이다.추가적인 여러 데이터들을 보여준다.훠얼씬 펼리하다.... 텐서보드를 사용하기 위한 5단계첫 번째, 로그를 찍고자하는 텐서를 결정한다.w2_hist = tf.summary.histogram("weights2", W2) cost_summ = tf.summary.scalar("cost", cost)두 번째, summary를 합친다.summary = tf.summary.merge_all() 세 번째, writer를 생성하고 그래프에 추가한다.# Create summary writer writer = tf.summary.FileWriter(‘./logs’) writer.add_graph(sess.graph) 네 번째, summar.. 2018. 6. 1.
[section_9_lab] Wide & Deep Network Basic Neural Network(NN) 실행코드import tensorflow as tf import numpy as np import os os.environ['TF_CPP_MIN_LOG_LEVEL'] = '2' x_data = np.array([[0, 0], [0, 1], [1, 0], [1, 1]], dtype=np.float32) y_data = np.array([[0], [1], [1], [0]], dtype=np.float32) X = tf.placeholder(tf.float32) Y = tf.placeholder(tf.float32) W1 = tf.Variable(tf.random_normal([2, 2]), name='weight1') b1 = tf.Variable(tf.random.. 2018. 6. 1.

티스토리툴바