반응형

AI 86

Linear Regression :: Least Square Method(최소제곱법, 최소자승법) :: 회귀 계수 추정

선형 회귀분석에서 회귀 계수(모수) 추정하는 방법 : 최소제곱법, 최소자승법 Linear Regression은 x(독립변수)로 y(종속변수)를 가장 잘 설명할 수 있는 선형식을 찾아 y값을 예측할 수 있는 모델을 만드는 기법이다.x변수의 갯수가 n개라 할 때 추정되는 선형식은 다음과같다. $$\hat{y}=\beta_0+\beta_1x_1+\beta_2x_2+...+\beta_nx_n$$ 이 때 저 $\beta$들을 회귀 계수라 부르며, 이를 추정하는 방법을 최소제곱법(=최소자승법=Least Square Method)이라 한다.  최소제곱법의 기본 원리는 잔차(관측값과 예측값의 차이) 제곱 합을 최소화 하는 회귀계수를 찾는 것이다.  $x$변수가 1개인 단순 선형 회귀라 가정 할 때 아래 식을 최소화하는..

Linear Regression 기본 가정 네가지 :: 선형성, 다중공선성, 등분산성, 정규성

선형 회귀분석 기본 가정 네가지선형성, 다중공선성, 등분산성, 정규성  Linea Regression은 모수를 추정하는 방식이다. 즉, X(독립변수)로 Y(종속변수)를 예측하는 다음과 같은 식을 만드는데  $$y=w_0+w_1x_1+w_2x_2+...+w_nx_n$$ $w$ 를 모수라 하며, 이 모수를 추정하여 $x$로 $y$를 예측한다. 이때 추정한 모수들이 신뢰성이 있으려면 네 가지 가정을 만족해야 한다. 네 가지 가정에 대해 1. 가정의 의미2. 가정을 만족해야 하는 이유3. 가정을 확인하는 방법4. 만족하지 못할 시 해결방법에 대해 알아보겠다.  1. 선형성 선형 회귀분석은 이름에서도 알 수 있듯이 x와 y의 선형식을 구해서 x로 y를 예측하는 모델이기때문에 당연히 x와 y의 관계가 선형이어야 한..

AI(Artificial Intelligence) VS ML(Machine Learning) VS DL(Deep Learning)

인공지능, 머신러닝, 딥러닝 개념 및 차이점  결론부터 말하자면 세 가지는 서로 아예 다른 개념이 아니라 하위의 개념이다.인공지능 안에 머신러닝이 있고, 머신러닝의 여러 알고리즘들 중 하나가 딥러닝이다.  인공지능(AI - Artificial Intelligence)는 말 그대로 인간의 지능을 모방한 기계를 뜻한다.문제 해결, 추론, 학습, 자연어, 로봇 등등 인간이 수행할 수 있는 다양한 작업을 컴퓨터가 수행하도록 한 모든 분야를 의미한다. 그 중 데이터에 기반하여 학습하고 추론하고 분석하는 것들을 머신러닝이라 한다. 머신러닝에는 수많은 알고리즘들이 있는데, 그 중에서도 신경망(Neural Networks)에 관련된 알고리즘이 바로 딥러닝이다.   딥러닝이라는 분야가 워낙 핫하다보니 어떤 데이터든, 어..

AI/잡지식 2024.09.02

[강화학습] Reinforcement learning for Process Control (Python, torch)

강화학습으로 공정 운전 조건 자동 제어 실습 강화학습은 실제 상황을 environment로 정의하고, 정의한 environment에 따라 직접 episode를 만들어 학습하기 때문에 게임과 같은 상황에 많이 사용된다. 게임은 현재 상황이 성공이지 실패인지, 다음 action은 어떤걸 취할 수 있는지, ~상황에서 ~action을 취하면 다음은 어떤 상황이 될 지 등 모든 environment 정의를 개발자가 직접 하면된다. 즉, simulation 할 수 있는 모든 가상의 상황을 정의할 수 있다. 그러나, 화학공정과 같은 상황에서는 모든 random한 상황에 대해 결과가 어떨지 직접 실험해보기는 불가능에 가깝다. 따라서 본 포스팅은 이러한 공정 운전 조건 최적화에 강화학습을 어떻게 적용하는지 알아보고자 한..

AI/Optimization 2023.03.15

Isolation Forest (for Anomaly Detection)

Anormaly Detection 방법 중 하나인 Isolation Forest에 대해 알아보겠다. IF(= Isolation Forest)는 Unsupervised Anomaly Detection 중 하나이며, Novelty 보다는 Outlier Detection 방법이다. Anomaly Detection이 무엇인지, Label에 따라 Supervised, Unsupervised, Semi-Supervised Learing, Abnormal의 종류인 Novelty, Outlier 등 기본적인 것들은 이전 포스팅에 설명해놓았다. 2021.05.12 - [AI/Anomaly Detection] - Anomaly Detection by Auto Encoder Anomaly Detection by Auto E..

[Object Detection] YOLO Define Optimal Anchor Box :: YOLO v5, YOLO v6 autoanchor

YOLO에서 Optimal 한 Anchor Box 정의하는 방법(with k-means & GA) in YOLOv5, YOLO v6 YOLO 에서 Bounding Box를 예측하기 위해 Anchor Box를 사용하는데, 2-stage 기법에서는 COCO dataset이나 Pascal VOC dataset에 맞춘 Anchor Box를 그대로 사용한다면, YOLO에서는 학습하고자 하는 dataset에 맞는 Anchor Box를 k-means와 Genetic Altorithm으로 새로 정의하여 사용한다. 이번 포스팅에서는 YOLO v5, v6 개발자가 구현해놓은 코드를 기반으로 그 방법을 설명하고자 한다. 먼저 필요한 라이브러리들을 불러온다. 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1..

AI/Object Detection 2022.08.30

[Object Detection] YOLO v5, v6 Loss

지난시간에 Loss를 계산하기 위해 각 Grid 별로 Ground Truth를 정규화하는 과정을 알아보았다. 2022.08.04 - [AI/Object Detection] - [Object Detection] YOLOv5, YOLOv6 Loss 구하는 과정 중 build_targets() 이해하기 [Object Detection] YOLOv5, YOLOv6 Loss 구하는 과정 중 build_targets() 이해하기 YOLOv5와 YOLOv6는 같은 개발자가 개발한 버전으로, 두 버전 모두 여기에 구현되어 있다. 두 버전 모두 loss는 계산하는 과정은 같은데, loss를 계산하기 위해 label을 각 Grid에 맞게 build하는 과정을 파 leedakyeong.tistory.com 이제 그 결과와 ..

AI/Object Detection 2022.08.10

[Object Detection] YOLOv5, YOLOv6 Loss 구하는 과정 중 build_targets() 이해하기

YOLOv5와 YOLOv6는 같은 개발자가 개발한 버전으로, 두 버전 모두 여기에 구현되어 있다. 두 버전 모두 loss는 계산하는 과정은 같은데, loss를 계산하기 위해 label을 각 Grid에 맞게 build하는 과정을 파해쳐보려한다. YOLO v1 포스팅에 자세히 설명한 것 처럼 Ground Truth의 Center point가 위치하는 Grid를 표시하여 이로 Obj Loss를 구하고, GT의 Width, Height를 Grid에 맞게 Normalization 한걸로 Box Loss를 구한다. build_targets()는 이를 구현하는 과정이다. 이를 이해하려면 YOLO는 1. grid를 나누어 각 grid별로 classification과 BBox Regression을 하고, 따라서 각 gr..

AI/Object Detection 2022.08.04

[Object Detection] YOLO v1 ~ v6 비교(2)

YOLO Version별 비교 지난 포스팅에서 YOLO v1~v3를 비교&리뷰했다. 2022.06.23 - [AI/Object Detection] - [Object Detection] YOLO v1 ~ v6 비교(1) [Object Detection] YOLO v1 ~ v6 비교(1) YOLO Version별 비교 지난 포스팅에서 Object Detection 알고리즘 중 YOLO v1에 대해 자세히 알아보았다. 2022.04.04 - [AI/Object Detection] - [Object Detection(객체 검출)] YOLO v1 : You Only Look Once [Ob.. leedakyeong.tistory.com 이번에는 v4~v6에대해 리뷰하겠다. YOLO v4 :: Optimal Spe..

AI/Object Detection 2022.06.23

[Object Detection] YOLO v1 ~ v6 비교(1)

YOLO Version별 비교 지난 포스팅에서 Object Detection 알고리즘 중 YOLO v1에 대해 자세히 알아보았다. 2022.04.04 - [AI/Object Detection] - [Object Detection(객체 검출)] YOLO v1 : You Only Look Once [Object Detection(객체 검출)] YOLO v1 : You Only Look Once 지난시간에 Object Detection 이란 무엇인지 간단히 알아보고, 주요 용어들에 대해 알아보았다. 2022.03.31 - [AI/Object Detection] - Object Detection이란? Object Detection 용어정리 Object Detection이란? O.. leedakyeong.tist..

AI/Object Detection 2022.06.23
반응형