인공 신경망 이론인공 신경망이란MNIST 데이터와 로지스틱 회귀 I

Q

MNIST 로지스틱 회귀에 대해 질문이 있습니다.

조회 141

좋아요 0

2024년 5월 4일

A
1개의 답변이 있어요
질문자 채택
2024년 5월 4일

댓글 10

2024년 5월 5일
그러면 1개의 모형에서는 선형 회귀가 아닌 다항 회귀를 하게 될 것이라는 말씀이신가요??
2024년 5월 5일
표현이 이상하네요 시그모이드 함수에 합성되는 함수가 선형적 함수가 아닌 다항 함수라는 말씀인가요?
2024년 5월 5일
저 그리고 로지스틱 회귀에 대해서 질문이 하나 더 있는데... 제가 이해 한 게 맞는지 잘 모르겠어요. 선형 회귀에서 손실 함수는 항상 아래로 볼록함이 전제된다고 했잖아요. 그렇기 때문에 가중치를 항상 양수로 설정할 수 있다 라고 했는데, 이 부분은 이해가 됩니다. 그런데 혹시 항상 아래로 볼록인 이유가, 선형 회귀에서의 손실 함수를 단일 변수에 대한 함수로 (예를 들어 세타1,2,3....등등의 변수들이 있을 때 세타1의 제외한 다른 변수들을 상수로 보고 편미분) 본다면 이는 이차함수 꼴의 형태가 되기 때문에 그런건가요? 그렇다면 로지스틱 회귀에서 손실 함수도 항상 아래로 볼록함이 전제된 건가요?
2024년 5월 5일
1개의 모형에서도 선형모형이 될 것 같네요. 제가 드리고 싶은 말씀은, 1개의 픽셀에서의 정보는 해당 픽셀이 칠해져있는 지 아닌 지(1/0) 수준의 적은 정보량을 가진 데이터 밖에 없기 때문에, 따로 모델링을 하는 것이 불필요하다는 것이었어요
2024년 5월 5일
시그모이드에 합성되는 함수는 1차의 다항함수(선형결합꼴)가 되겠습니다ㅡ
2024년 5월 5일
로지스틱 회귀의 로스의 볼록성 관련해서 말씀해주신 내용도 맞습니다. 2차 도함수가 음수가 아니게 되어서 그런 것으로 기억하네요 ㅎㅎ
2024년 5월 5일
답변해주셔서 감사합니다. 질문이 하나 더 있는데, 제가 선형함수가 아닌 다항식이 합성되는지 왜 궁금했냐면, 답변자님이 픽셀들에 관해 상관관계를 따지는게 중요하다고 말씀해 주셨는데, 제가 이해한 내용대로라면 각 픽셀들에 적용되는 가중치(일련의 세타값) 들이 독립적인 관계라고 알고 있어서 그랬습니다. 추가적으로 전 강의들에서 세타값들이 다항식으로 합성되는 경우에는 상관관계를 따질 수 있다고 배운 것 같아서요. 강의에 해당하는 층이 두 개 밖에 없는 인공신경망 모델에서는 세타값들 사이에 종속적인 관계가 존재하지 않는 것 아닌가요...??
2024년 5월 5일
말씀해주신 내용이 맞습니다! 다만, 해당 수업이 인공신경망인 만큼 뒤이어 나올 강의에서는 이런 종속성을 반영할 수 있는 모형들이 나올 거에요. 그런 부분을 고려해서 말씀드린 부분인데, 도리어 헷갈리게 해 드렸네요
2024년 5월 5일
좀 더 구체적으로 말씀드리면, Input과 output layer 사이에 hidden layer가 나오면 이러한 종속성을 반영할 수 있겠네요
2024년 5월 6일
답변주셔서 감사합니다 좋은 하루 되세요

(주) 코드잇

대표강영훈

개인정보보호책임자강영훈

이메일support@codeit.kr

사업자 번호313-86-00797

통신판매업제 2019-서울중구-1034 호

주소서울특별시 중구 청계천로 100 시그니쳐타워 동관 10층 코드잇