인공 신경망 이론신경망 더 깊게 이해하기신경망의 비선형성

Q

신경망의 비선형성 강의 내부에서 설명의 상충이 있는 것 같아 질문 드립니다. (시그모이드함수와 로지스틱회귀와 비선형결정경계간의 관계)

조회 513

좋아요 0

2023년 8월 3일




댓글 4

2023년 8월 3일
재밌는 질문입니다! 관련한 내용이 잘 정리되어 있는 링크를 공유드립니다
2023년 8월 3일
2023년 8월 3일
헷갈리신 부분을 이해할 것도 같아서 추가설명이 필요하면 말씀해주세요!!!
2023년 8월 3일
저녁에 정리해서 올려보겠습니다 ㅎㅎ
A
2개의 답변이 있어요
질문자 채택



2023년 8월 4일 ()

댓글 3

2023년 8월 6일
항상 같이 고민해주시는 포샷아아님 감사합니다! ㅎㅎ
2023년 8월 6일
항상 같이 고민해주시는 포샷아아님 감사합니다! ㅎㅎ 음 그러면 혹시 단순 로지스틱 회귀 (한번의 시그모이드 함수만 거친) 의 경우는 : 선형 결정경계를 갖고 , 뉴럴넷에 활성화함수로 사용되는 시그모이드 함수는 비선형 이며 : 비선형 결정경계 를 갖는다. 이렇게 이해해도 될까요? 또한 위와 같은 논리라면... 다른 활성화 함수인 tanh, ReLU,.. 등등도 아래와 같이 단순히 사용할때는, 선형 결정경계를 가지며 h(x) = e^(theta.transpose * x) - e^-(theata.transpose * x) / e^(theta.transpose * x) + e^-(theata.transpose * x) 뉴럴넷의 활성화 함수로 사용될때, 비선형 결정경계를 갖는다고 이해해도 될까요? tanh function 의 shape 만 놓고 보면.. sigmoid 와 크게 다를바가 없어서... 그런 생각이 문득 들어서요! ㅎㅎㅎ
2023년 8월 6일
위에 띄어 쓰기가 잘 안되어서 아래 답변에 다시 정리해 두었습니다! ㅎㅎ



2023년 8월 6일

댓글 6

2023년 8월 6일
단순 로지스틱 회귀 (한번의 시그모이드 함수만 거친) 의 경우는 : 선형 결정경계를 갖고 → 이 것은 그럴 수도, 아닐 수도 있습니다. 만약 예시로 캡쳐해주신 이미지 중 첫 번째와 같이 z가 정의될 경우(x_i간 고차항이 없을 때)에는 선형 결정 경계를 갖습니다.
2023년 8월 6일
뉴럴넷에 활성화함수로 사용되는 시그모이드 함수는 비선형 이며 : → 함수의 꼴이 비선형입니다. 그러므로 맞는 표현입니다.
2023년 8월 6일
뉴럴넷은 비선형 결정경계 를 갖는다. → 일반적으로 그렇습니다!
2023년 8월 6일
작성해드린 정의를 기반으로 x의 값에 따라 y에 대한 예측 라벨이 달라지는 경계의 꼴을 생각해보시면 될 것 같습니다!
2023년 8월 8일
네 답변감사합니다!
2023년 8월 8일
도움이 되었다니 다행입니다!

(주) 코드잇

대표강영훈

개인정보보호책임자강영훈

이메일support@codeit.kr

사업자 번호313-86-00797

통신판매업제 2019-서울중구-1034 호

주소서울특별시 중구 청계천로 100 시그니쳐타워 동관 10층 코드잇