반응형

딥러닝 10

Deep Learning for Time Series Forecasting (kaggle 코드 리뷰)

2021.05.24 - [통계 지식/시계열자료 분석] - 시계열 분해란?(Time Series Decomposition) :: 시계열 분석이란? 시계열 데이터란? 추세(Trend), 순환(Cycle), 계절성(Seasonal), 불규칙 요소(Random, Residual) 시계열 분해란?(Time Series Decomposition) :: 시계열 분석이란? 시계열 데이터란? 추세(Trend), 순환(Cycle), 시계열 데이터란? 시간에 순차적으로 관측한 값들의 집합이며, 예측 모델에서 시간을 변수로 사용하는 특징이 있다. 시계열 데이터 분석이란? 과거 데이터의 패턴을 분석하여 미래의 값을 예측 leedakyeong.tistory.com 2021.05.24 - [통계 지식/시계열자료 분석] - ARIM..

AI/시계열자료 분석 2021.05.27 (2)

[밑바닥부터 시작하는 딥러닝] 파이썬으로 신경망 순전파 구현하기 (Neural Network forward propagation in python)

지난 포스팅에서는 신경망과 활성화 함수에 대해 알아보았다. >> 신경망이란? 바로가기>> 활성화함수란? 바로가기 이번에는 파이썬에서 3층으로 이루어진 신경망의 순방향(입력부터 출력까지)을 구현하는 방법에 대해 알아보겠다. 파이썬으로 뉴럴 네트워크 Feed Forward 구현하기 다음과 같은 3층 신경망을 구현하겠다. input layer (0층)는 2개, 첫 번째 hidden layer (1층)는 3개, 두 번째 hidden layer (2층)는 2개, output layer (3층)는 2개의 노드로 구성된다. 1. 0층 -> 1층 입력층 (0층) 에서 첫 번째 은닉층 (1층) 으로 가는 신호는 다음과 같다.a1을 식으로 나타내면 다음과 같다.이를 다시 일반화 하면 다음과 같다. 즉, input laye..

[밑바닥부터 시작하는 딥러닝] 활성화함수란? 활성화 함수의 종류, 역할 및 구현 in python 파이썬 (What is activation function?)

지난 시간에 신경망이란? 에 대해 알아보았다. >> 신경망이란? 바로가기 이번에는 신경망의 특징 중 하나인 활성화 함수에 대해 알아보겠다. 활성화함수란? What is activation function? 활성화함수(Activation Function)란? 입력 신호의 총합을 출력 신호로 변환하는 함수로, 입력 받은 신호를 얼마나 출력할지 결정하고 Network에 층을 쌓아 비선형성을 표현 할 수 있도록 해준다. Activation Function을 자세히 설명하기에 앞서 퍼셉트론에 대해 복습해 보겠다. >> 퍼셉트론이란? 바로가기>> 퍼셉트론으로 논리회로 구현하기 바로가기>> XOR 게이트로 알아보는 퍼셉트론의 한계 바로가기>> 퍼셉트론으로 XOR 게이트 구현하기 바로가기 x1과 x2라는 두 신호를 입..

[밑바닥부터 시작하는 딥러닝] 퍼셉트론으로 XOR 게이트 구현하기 in python 파이썬

지난 시간에 퍼셉트론의 한계에 대해 공부했다. >> 퍼셉트론이란? 바로가기>> 퍼셉트론으로 논리회로 구현 바로가기>> 퍼셉트론의 한계 바로가기 이번에는 퍼셉트론으로 XOR 게이트를 구현하는 방법에 대해 알아보겠다. 파이썬에서 perceptron으로 XOR gate 구현하는 방법 퍼셉트론 하나로는 XOR 게이트를 구현 할 수 없었다. 그렇다면 퍼셉트론으로 XOR 게이트를 표현하는 방법은 무엇일까?바로 퍼셉트론을 여러 층 쌓아 다층 퍼셉트론(multi-layer perceptron)으로 비선형성을 만드는 것이다. 퍼셉트론을 쌓기에 앞서, XOR 게이트를 NAND, OR, AND 게이트로 쪼개보면 다음과 같다. input x1과 x2에 대해 NAND 게이트의 결과와 OR 게이트의 결과를 다시 AND 게이트에 ..

[밑바닥부터 시작하는 딥러닝] 퍼셉트론의 한계 - XOR 게이트 (limit of perceptron - XOR gate)

지난 포스팅에서 퍼셉트론과 퍼셉트론으로 논리회로 구현하는 방법에 대해 알아보았다. >> 퍼셉트론이란? 바로가기>> 퍼셉트론으로 논리회로 구현하기 바로가기 이번에는 퍼셉트론의 한계에 대해 알아보겠다. 퍼셉트론의 한계 - XOR 게이트 퍼셉트론은 직선으로 나뉜 두 영역을 만든다.AND, NAND, OR gate 같은 경우 나뉜 한 쪽 영역은 1을, 나머지 영역은 0을 출력한다. 예를들어 OR gate의 경우 다음과 같다. 입력이 (0,0) 일 때 0을, (0,1), (1,0), (1,1) 일 때 1을 출력한다. 그렇다면, XOR 게이트는 퍼셉트론으로 어떻게 구현할 수 있을까?즉, 하나의 직선으로 0과 1을 어떻게 나눌 수 있을까? 정답은 "하나의 직선만으로는 불가능"이다. 아래의 그림에서 하나의 직선만으로 ..

[밑바닥부터 시작하는 딥러닝] 파이썬으로 논리회로 구현하기 (AND, NAND, OR gate with perceptron in python)

지난 시간에는 퍼셉트론이란 무엇인가에 대해 알아보았다.이번에는 퍼셉트론으로 AND, NAND, OR 게이트 구현하는 방법에 대해 알아보겠다. >> 퍼셉트론이란? 바로가기 perceptron으로 AND, NAND, OR 게이트 구현하기 in python 1. AND 게이트 AND 게이트의 진리표는 다음과 같다. 이를 퍼셉트론으로 구현하기 위해서는 해당 input에 대한 output이 나오도록 w1, w2, θ 값을 정해야 한다.이를 만족하는 (w1, w2, θ)의 조합은 (0.5,0.5,0.7), (0.5,0.5,0.8), (1,1,1) 등 무수히 많다. 1.1 이를 파이썬에서 perceptron으로 구현하면 다음과 같다. 123456789101112def AND(x1,x2): w1,w2,theta=0.5..

[밑바닥부터 시작하는 딥러닝] 퍼셉트론이란? (What is perceptron?)

>> 퍼셉트론으로 논리회로 구현하기 바로가기 퍼셉트론(perceptron)이란? 퍼셉트론은 신경만(딥러닝)의 기원이 되되는 알고리즘으로 매우 중요한 알고리즘이다. 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력한다.즉, 하나 이상의 값들을 input으로 받아 어떠한 계산 후 output으로 출력한다.퍼셉트론 신호는 1 or 0의 두 가지 값을 가질 수 있다. 신호가 흐르면 1, 흐르지 않으면 0이라 생각하면 편하다. 예를 들어, input이 2개인 perceptron은 다음과 같다. x1과 x2는 입력 신호, y는 출력 신호, w1과 w2는 가중치를 의미한다. (w : weight) 입력 신호와 출력 신호를 담고있는 원은 노드 혹은 뉴런이라 부른다.입력 신호가 뉴런에 보내질 때는 각각 고유한 ..

[논문] GAN 리뷰 : Generative Adversarial Nets

Generative Adversarial Nets 논문 링크 : https://papers.nips.cc/paper/5423-generative-adversarial-nets.pdf Abstract 우리는 적대적인(adversarial) 과정을 통해 생성모델을 평가하는 새 프레임워크를 제안한다. 생성 모델 G : 데이터의 분포를 학습하는 모델감별 모델 D : 생성모델 G로부터가 아닌, 훈련 데이터로 부터 나왔을 확률을 추정하는 감별 모델G 모델 훈련 과정은 D가 실수할 확률을 최대화 하는 것이다.이 프레임워크는 minimax 2인 게임이다.임의의 함수 G와 D의 공간에서, G는 훈련 데이터의 분포를 복구하고, D는 항상 1/2이 되는 고유한 솔루션이 존재한다.즉, G는 훈련 데이터의 분포를 학습하여, 임..

AI/논문 2019.02.22

[논문] ADGAN 리뷰 : ANOMALY DETECTION WITH GENERATIVE ADVERSARIAL NETWORKS

ANOMALY DETECTION WITH GENERATIVE ADVERSARIAL NETWORK(ADGAN)ICLR 2018 논문 링크 : https://openreview.net/forum?id=S1EfylZ0Z Abstract low-dimensional problems에서는 좋은 anomaly detection 방법들이 존재하지만, 이미지와 같은 high-dimensional problem에는 효과적인 방법이 없다.본 논문에서 GAN을 이용한 anomaly detection에 대한 새로운 접근을 제안한다.우리의 방법은 고려중인 sample을 감안할 때, generator의 latent space안에서 good representation을 검색하는 것에 기반한다.만약, representation이 발..

AI/논문 2018.12.04 (1)

[논문] DEC 리뷰 : Unsupervised Deep Embedding for Clustering Analysis

Unsupervised Deep Embedding for Clustering Analysis(DEC) arXiv : 24 May 2016 논문 링크 : https://arxiv.org/pdf/1511.06335.pdf 깃 링크 : https://github.com/piiswrong/dec 1. Introduction - 데이터 분석과 visualization에서 핵심인 Clustering은 각기 다른 관점에서 unsupervised machine learning으로 널리 연구되어 왔다. * What defines a cluster? * What is the right distance metric? * How to efficiently group instances into cluster? * How to ..

AI/논문 2018.09.19 (2)
반응형