728x90

2024/07 3

[머신러닝] 결정트리

🟥결정트리(Decision Tree)의사결정트리, 의사결정나무라고도 하는 결정트리는 분류(Classification)와 회귀(Regression) 모두 가능한 지도 학습 모델의 한 종류이다. 결정트리는 트리 구조를 활용하여 entropy가 최소화 되는 방향으로 데이터를 예측한다. 쉽게 생각하면 스무고개와 비슷하다고 보면 된다. 이러한 결정트리는 1960년대에 처음 등장 하였음에도 XGBoost, LightBGM과 같이 현재까지 발전되어 많이 쓰이고 있다.• 발전과정- Concept Learning System(CLS)(1960년)결정트리는 처음에는 심리학에서 사용되다가 머신러닝에 사용되기 시작했다. 그 처음인 CLS는 얼 헌트에 의해 고안되었으며 처리 방법이 매우 간단하다. 모두 A의 요소이면 Posi..

[딥러닝]OpenCV Python의 Filter

OpenCV에서 제공하는 2D 이미지에 적용 가능한 선형, 비선형 필터링 함수들에 대해 알아보자. https://docs.opencv.org/4.x/d4/d86/group__imgproc__filter.html OpenCV: Image FilteringFunctions and classes described in this section are used to perform various linear or non-linear filtering operations on 2D images (represented as Mat's). It means that for each pixel location \((x,y)\) in the source image (normally, rectangular), its neigd..

[딥러닝]Positional Encoding (with Positional Embedding)

Transformer 기반의 모델들이 우수한 성능을 보여주면서 그 활용도가 점점 높아지고 있다. 그리고 Transformer 모델을 소개하는 논문 "Attention is All You Need"에서 Positional Encoding라는 방법 또한 처음 등장하게 되었다. 이후 Transformer 기반의 자연어 모델들이 우수한 성능을 보였고 BERT 모델에서는 Positional Embedding을 사용하였다. 그러나 요즘 Positional Encoding과 Positional Embedding에 차이가 있음에도 이를 혼용하여 사용하고 있는것 같아 이에 관해 자세히 정리해보려고 한다.🟥 Encoding / Embedding먼저 Encoding과 Embedding이 무엇인지 어떤 차이가 있는지부터 확..

728x90