쿼카의 개발자 성장기

Transformer공부를 하며 여러 글을 읽고 유튜브를 찾아보던 중, Seq2Seq 모델의 한계점 : 병목(bottleNeck)이 발생하여 성능 하락의 원인이 된다.라는 문장을 보게 되었습니다. 이 문장에서 이해하지 못한 것이 총 두 가지 였습니다. 1. 병목현상이 무엇인가?2. 병목현상이 왜 성능하락의 원인이 되는가? 차근차근 용어부터 공부해보자는 마음으로 이 게시글을 작성하게 되었습니다.1. 병목현상이란?병목현상은 말 그대로 병의 목처럼 좁아지는 구간때문에 발생하는 성능하락을 말합니다. 딥러닝에서 병목현상은 주로 정보를 압축하는 구간에서 발생합니다.  보통 Seq2Seq처럼 context vector의 크기가 정해져 있어 모델이 추출한 정보를 압축해야 한다거나, GPU 메모리가 부족해서 정보의 크기..

딥러닝에서 미분은 굉장히 중요한 역할을 합니다. 딥러닝 내 gradient를 구하는 것이 미분을 사용하기 때문입니다. 고등학교 시절 다들 배우셨겠지만, 미분은 순간 기울기를 구하는데 사용됩니다. 딥러닝은 해당 시점에 낮은 값으로 움직일 수 있는 값을 찾는 것이기 때문에, 미분을 사용하여 해당 위치에서의 내려가는 곳을 찾아 gradient를 구합니다. 그렇다면, 간단하게 많이 사용되는 미분에 대해 알아보도록 하겠습니다! 1. 미분계수 가장 기초적인 것부터 알아보겠습니다. 위 그래프에서, x1 과 x2사이 순간 기울기를 구해보겠습니다. 이 도함수를 바탕으로 여러 함수들의 미분법에 대해 알아보겠습니다! 2. 곱의 미분법 {f(x)g(x)}' = f'(x)g(x) + f(x)g'(x) 곱의 미분법 증명은 다음과..

본격적인 딥러닝 공부에 앞서, 딥러닝에 가장 중요한 배열의 계산에 대해 알아보겠습니다. 앞으로 나오는 모든 딥러닝은 파이썬을 사용하여 구현할 것이기 때문에 numpy 를 사용하여 배열 계산을 진행하겠습니다! 배열 다차원 배열은 숫자의 집합입니다. 숫자가 한 줄로 늘어서거나, 직사각형으로 늘어선 형태, 혹은 3차원으로 늘어선 형태를 배열이라고 합니다. 간단하게 1차원 배열부터 예제로 살펴보겠습니다. import numpy as np #1d array a = np.array([1,2,3,4]) print("-"*5, "a info", "*"*5) print(np.ndim(a))#a의 dimension 출력 print(a.shape) #a의 모양 출력 print(a.shape[0]) np.ndim() 함수를 ..

최근 classification 논문을 읽다가 결과 부분에서 AUC를 다루며 95%CI라는 단어를 많이 보게 되었습니다. CI에 대해 딥러닝 결과 추출에서 필요한 만큼만 공부를 해보도록 하겠습니다. 혼자 공부하면서 올리는 포스팅인만큼 내용이 틀릴수도 있습니다. 혹시 틀린 부분이 있다면 댓글로 알려주시면 감사하겠습니다:) CI는 confidence interval, 즉 신뢰구간을 의미합니다. 사실 신뢰구간이라는 말은 고등학교 통계 시간에도 꽤 듣는 말입니다. 신뢰구간은 모집단이 큰 경우에 많이 사용되는 개념입니다. 모집단은 우리가 통계를 내고자 하는 집단의 전체를 말합니다. 그렇기 때문에 대부분의 모집단은 구하기 힘들 수 밖에 없죠. 예를 들어, 우리나라의 난소암 발병 통계를 내본다고 가정해봅시다. 그렇다..

해당 카테고리에 올라오는 포스팅들은 딥러닝호형님의 「실전 인공지능으로 이어지는 딥러닝 개념 잡기」 인프런 강의와, 「밑바닥부터 시작하는 딥러닝」을 공부하며 작성하였음을 알려드립니다. 활성화함수 활성화 함수는 입력신호의 총 합을 출력신호로 바꿔주는 함수를 말합니다. 활성화 함수 없이, 퍼셉트론들의 연결로만 이루어진 인공 신경망은 오직 선형으로만 나타낼 수 있습니다. 그러나, 대부분의 사회 현상들은 모두 비선형적으로 이루어집니다. 현실에 접목할 수 있는 인공 신경망을 만들기 위해선 비선형으로 이루어져 있어야 했고, 이를 위해 도입된 것이 바로 활성화 함수입니다. 우선, 활성화함수가 없는 인공신경망이 왜 선형으로 이루어지는지부터 알아보겠습니다. 이 부분은 바로 앞 포스팅인 인공 신경망 부분을 보면 이해가 빠른..

논문을 읽다보니, 딥러닝 기초가 많이 부족하다는 생각이 들어서 기초를 다시 공부하게 되었습니다. 해당 카테고리에 올라올 포스팅들은 딥러닝호형님의 「실전 인공지능으로 이어지는 딥러닝 개념 잡기」 인프런 강의와, 「밑바닥부터 시작하는 딥러닝」을 공부하며 작성하였음을 알려드립니다. 딥러닝은 모두 인공 신경망으로 이루어져 있습니다. 인공 신경망은 인간의 신경망을 본따 만든 신경망입니다. 인간의 신경망은 이렇게 뉴런들이 이어져 있습니다. 인공신경망도 이러한 뉴런들의 모임에서 영감을 받아 만들어졌습니다. 사람의 뇌처럼 이렇게 층을 구성하여 '인공신경망'을 구성합니다. 이 인공신경망은 수식으로도 나타낼 수 있습니다. 인공신경망은 여기에 중요한 개념이 하나 더 추가됩니다. 바로 편향(bias)인데요, 편향은 정보 전달..