인공지능 관련 잡부 라이프

이 글에서는 OpenAI의 유명 모델인 CLIP이 소개된 논문 Learning Transferable Visual Models From Natural Language Supervision에 관해 리뷰해보려 한다. 🟥 CLIP해당 논문에서 소개하는 모델이 CLIP이라고 불리는 이유는 논문에서 'which we call CLIP, for Contrastive Language-Image Pre-training' 라고 소개하고 있기 때문이다. 해당 모델은 나무위키에도 있을 정도로 유명 모델이라고 할 수 있다.https://namu.wiki/w/CLIP%20%EB%AA%A8%EB%8D%B8왜 그런고 하니 CLIP은 텍스트와 이미지를 함께 처리할 수 있는 방법을 제시하였고 그로 인해 AI 그림 생성과 같은 많은 ..

🟥결정트리(Decision Tree)의사결정트리, 의사결정나무라고도 하는 결정트리는 분류(Classification)와 회귀(Regression) 모두 가능한 지도 학습 모델의 한 종류이다. 결정트리는 트리 구조를 활용하여 entropy가 최소화 되는 방향으로 데이터를 예측한다. 쉽게 생각하면 스무고개와 비슷하다고 보면 된다. 이러한 결정트리는 1960년대에 처음 등장 하였음에도 XGBoost, LightBGM과 같이 현재까지 발전되어 많이 쓰이고 있다.• 발전과정- Concept Learning System(CLS)(1960년)결정트리는 처음에는 심리학에서 사용되다가 머신러닝에 사용되기 시작했다. 그 처음인 CLS는 얼 헌트에 의해 고안되었으며 처리 방법이 매우 간단하다. 모두 A의 요소이면 Posi..

OpenCV에서 제공하는 2D 이미지에 적용 가능한 선형, 비선형 필터링 함수들에 대해 알아보자. https://docs.opencv.org/4.x/d4/d86/group__imgproc__filter.html OpenCV: Image FilteringFunctions and classes described in this section are used to perform various linear or non-linear filtering operations on 2D images (represented as Mat's). It means that for each pixel location \((x,y)\) in the source image (normally, rectangular), its neigd..

Transformer 기반의 모델들이 우수한 성능을 보여주면서 그 활용도가 점점 높아지고 있다. 그리고 Transformer 모델을 소개하는 논문 "Attention is All You Need"에서 Positional Encoding라는 방법 또한 처음 등장하게 되었다. 이후 Transformer 기반의 자연어 모델들이 우수한 성능을 보였고 BERT 모델에서는 Positional Embedding을 사용하였다. 그러나 요즘 Positional Encoding과 Positional Embedding에 차이가 있음에도 이를 혼용하여 사용하고 있는것 같아 이에 관해 자세히 정리해보려고 한다.🟥 Encoding / Embedding먼저 Encoding과 Embedding이 무엇인지 어떤 차이가 있는지부터 확..

본격적으로 컴퓨터비전 영역에 대해 공부하기에 앞서 이미지 분류 알고리즘이 어떤 종류가 있는지 알아두면 좋을거 같아 이미지 분류와 관련된 논문 top10을 읽어보고 리뷰해보려고 한다. 새로운 알고리즘이 등장할 때마다 정확도를 높이기 위해 도입한 새로운 방법들이 소개되고 있다. 어떻게 이런 방법들이 생겨났고 어떤 효과로 인해 분류 알고리즘의 정확도를 높일 수 있었는지 각각의 논문들을 리뷰해보면서 알아보도록 하겠다. 1. LeCun, Yann, et al. "Gradient-based Learning Applied to Document Recognition." Proceedings of the IEEE 86.11 (1998): 2278-2324. -LeNet LeCun이 만든 CNN 초기 모형으로 Poolin..

딥러닝에 관해 공부를 시작할때 가장 먼저 접하는 분야가 이미지 분류일 것이다. 가장 흔하게 연구에 사용하는 데이터셋인 MNIST나 CIFAR-10 같은 경우도 모두 이미지 분류에 속하는 것을 알 것이다. 이런 이미지 인식(Visual Recognition) 영역에 대해서 이야기 해보려 한다. 이미지 인식(Visual Recognition) 이전 글에서 인공지능의 시작과 발전에 대해 설명했었다. https://bigsong.tistory.com/43?category=986883 [인공지능] 인공지능, 머신러닝, 딥러닝에 대하여(역사) 인공지능이란 인공지능의 등장 인공지능이란 용어을 처음 사용한 존 맥카시(John McCarthy)는 인공지능을 'Intelligence한 기계를 만드는 과학, 공학'이라고 정..

인공지능이란 인공지능의 등장 인공지능이란 용어을 처음 사용한 존 맥카시(John McCarthy)는 인공지능을 'Intelligence한 기계를 만드는 과학, 공학'이라고 정의하였다. 순수하게 그 의미를 해석해보자면 인간의 지능과 유사한 능력을 가지는 기계를 만들어 내는 것이 초기 인공지능의 개념이었다고 할 수 있겠다. 그러나 여기서 인간의 지능과 유사한 능력을 가지는 즉, Intelligence한 기계를 어떻게 정의할 것인지 그 기준이 없기 때문에 모호해 질 수 밖에 없다. 이러한 상황 속에서 앨런 튜링은 인공지능의 기준선을 정하는 것보다는, 인간이 보기에 인간에 준하는 지능이 있는지에 초점을 두기로 하였다. 즉 앨런 튜링은 "마음과 지능, 인간다움의 본질에 대한 논의는 그만두고, 일단 이 시험을 통과..

베이지안 확률 이전 글에서 베이즈 정리에 대해서 정리해 보았다. https://bigsong.tistory.com/40?category=986892 [확률과 통계] 베이즈 정리 베이즈 정리 베이즈 정리는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리로 사전 확률로부터 사후 확률을 구할 수 있는 방법을 제시한다. P(A) - 사전 확률: 결과가 나타나 bigsong.tistory.com 베이즈 정리는 베이지안 확률을 계산하기 위해 두 확률 변수의 사전 확률과 사후 확률 간의 관계를 정리한 것이다. 쉽게 말해 확률 변수 A와 B 그리고 사전 확률을 알고 있을 때, 우도 확률을 계산해내기 위해 서로의 관계를 수식화 한 것이다. 이런 베이지안 확률은 18세기 토마스 베이즈에 의해 고안된 것..

베이즈 정리 베이즈 정리는 두 확률 변수의 사전 확률과 사후 확률 사이의 관계를 나타내는 정리로 사전 확률로부터 사후 확률을 구할 수 있는 방법을 제시한다. P(A) - 사전 확률: 결과가 나타나기 이전에 정해져 있는 사건 A의 확률(원인) P(B|A) - 우도 확률: 사건 A가 발생했다는 전제 하에 사건 B가 발생할 확률 P(A|B) - 사후 확률: 사건 B가 발생했다는 전제 하에 사건 A가 발생했을 확률 결국 베이즈 정리는 조건부 확률(사후 확률)을 구하기 위한 정리로 이미 발생한 사건의 확률을 이용해 앞으로 발생하게 될 사건의 가능성을 구할 수 있다. 베이즈 정리 역확률 문제 본래 베이즈 정리는 역확률 문제를 해경하기 위한 방법이었다. 조건부 확률을 알고 있을때, 사전 확률을 이용하여 조건부 확률(..

퍼널 분석이란 https://blog.adobe.com/ko/publish/2017/05/02/funnels-analysis#gs.hi23cm 떠난 고객도 다시 보자 – 퍼널 분석 고객이 제품을 구매하는 프로세스는 여러 단계로 이루어 집니다. 제품을 인지하고 관심을 가지게된 후 구매하기 적합한 제품인지 고민을 거쳐 실제로 제품을 구매하기까지의 여정에서 고객은 blog.adobe.com 이번엔 해당 자료를 가지고 사용자들에 대해 view → cart → purchase로 이어지는 funnel 수치를 구해보고자 한다. ◆ Funnel 분석 funnel은 깔때기란 뜻으로 funnel 분석은 깔때기의 원리와 유사하다 깔때기가 단계가 진행될 수록 좁아지면서 걸러지듯이 funnel 분석에서도 funnel 스탭에 따..