Adagrad 와 RMSProp 가중치 업데이트 수식

활성화 함수에 대해 궁금한 점이 있습니다.

MGD 방식은 결정 트리의 앙상블 기법의 개념과 동일하네요.

편미분 과정에 대한 질문

평균제곱오차에서예측값 - 아웃풋값의 절대값을 씌우는 방법은 선택하지 않을 이유가 있을까요?