표현이 이상하네요 시그모이드 함수에 합성되는 함수가 선형적 함수가 아닌 다항 함수라는 말씀인가요?
+0
2024년 5월 5일
저 그리고 로지스틱 회귀에 대해서 질문이 하나 더 있는데... 제가 이해 한 게 맞는지 잘 모르겠어요. 선형 회귀에서 손실 함수는 항상 아래로 볼록함이 전제된다고 했잖아요. 그렇기 때문에 가중치를 항상 양수로 설정할 수 있다 라고 했는데, 이 부분은 이해가 됩니다. 그런데 혹시 항상 아래로 볼록인 이유가, 선형 회귀에서의 손실 함수를 단일 변수에 대한 함수로 (예를 들어 세타1,2,3....등등의 변수들이 있을 때 세타1의 제외한 다른 변수들을 상수로 보고 편미분) 본다면 이는 이차함수 꼴의 형태가 되기 때문에 그런건가요? 그렇다면 로지스틱 회귀에서 손실 함수도 항상 아래로 볼록함이 전제된 건가요?
+0
2024년 5월 5일
1개의 모형에서도 선형모형이 될 것 같네요. 제가 드리고 싶은 말씀은, 1개의 픽셀에서의 정보는 해당 픽셀이 칠해져있는 지 아닌 지(1/0) 수준의 적은 정보량을 가진 데이터 밖에 없기 때문에, 따로 모델링을 하는 것이 불필요하다는 것이었어요
+0
2024년 5월 5일
시그모이드에 합성되는 함수는 1차의 다항함수(선형결합꼴)가 되겠습니다ㅡ
+0
2024년 5월 5일
로지스틱 회귀의 로스의 볼록성 관련해서 말씀해주신 내용도 맞습니다. 2차 도함수가 음수가 아니게 되어서 그런 것으로 기억하네요 ㅎㅎ
+0
2024년 5월 5일
답변해주셔서 감사합니다. 질문이 하나 더 있는데, 제가 선형함수가 아닌 다항식이 합성되는지 왜 궁금했냐면, 답변자님이 픽셀들에 관해 상관관계를 따지는게 중요하다고 말씀해 주셨는데, 제가 이해한 내용대로라면 각 픽셀들에 적용되는 가중치(일련의 세타값) 들이 독립적인 관계라고 알고 있어서 그랬습니다. 추가적으로 전 강의들에서 세타값들이 다항식으로 합성되는 경우에는 상관관계를 따질 수 있다고 배운 것 같아서요. 강의에 해당하는 층이 두 개 밖에 없는 인공신경망 모델에서는 세타값들 사이에 종속적인 관계가 존재하지 않는 것 아닌가요...??
+0
2024년 5월 5일
말씀해주신 내용이 맞습니다! 다만, 해당 수업이 인공신경망인 만큼 뒤이어 나올 강의에서는 이런 종속성을 반영할 수 있는 모형들이 나올 거에요. 그런 부분을 고려해서 말씀드린 부분인데, 도리어 헷갈리게 해 드렸네요
+0
2024년 5월 5일
좀 더 구체적으로 말씀드리면, Input과 output layer 사이에 hidden layer가 나오면 이러한 종속성을 반영할 수 있겠네요
댓글 10개