즉, 종속 변수의 예측값(ŷ)은 독립 변수(x)들에 각각 계수(coefficient, β)를 곱하고 절편(intercept, β₀)을 더한 형태로 표현됩니다. 가장 간단한 형태인 단순 선형 회귀(독립 변수가 하나인 경우)는 다음과 같습니다. ŷ = β₀ + β₁x₁ 독립 변수가 여러 개인 다중 선형 회귀는 다음과 같습니다. ŷ = β₀ + β₁x₁ + β₂x₂ + ... + βₚxₚ 여기서 ŷ는 예측값, x₁, x₂, ..., xₚ는 독립 변수, β₀는 절편, β₁, β₂, ..., βₚ는 각 독립 변수의 계수입니다. 더 정확히 말하면, 모델이 추정하려는 미지의 계수(β₀, β₁, ..., βₚ)들에 대해 선형입니다.
이 점이 중요합니다. 독립 변수(x) 자체는 선형이 아니어도 됩니다. 예를 들어, 독립 변수를 제곱하거나(x²) 혹은 두 독립 변수를 곱한 항(x₁ * x₂)을 모델에 포함시켜도 여전히 '선형 회귀'라고 부릅니다. 예시: ŷ = β₀ + β₁x₁ + β₂x₁² 이 모델은 x₁의 제곱 항을 포함하므로 x₁과 ŷ의 관계는 곡선 형태가 될 수 있습니다. 하지만 모델의 미지수인 계수들(β₀, β₁, β₂)은 여전히 선형적으로 결합되어 있으므로, 이 모델은 계수에 대해 선형(linear in the parameters)인 선형 회귀 모델로 간주됩니다. 결론적으로, 선형 회귀에서 '선형'이라는 용어는 예측 모델의 형태가 독립 변수들의 단순한 선형 결합으로 표현되거나, 더 나아가 모델이 추정하고자 하는 계수(파라미터)들에 대해 선형적인 관계를 갖는다는 것을 의미합니다. 이는 데이터 공간에서 데이터 포인트를 가장 잘 나타내는 직선(2차원) 또는 평면/초평면(고차원)을 찾는 과정과 관련이 있습니다.
댓글 1개
먼저 , 모델의 형태가 독립 변수들의 선형 결합으로 표현된다는 의미입니다.
즉, 종속 변수의 예측값(ŷ)은 독립 변수(x)들에 각각 계수(coefficient, β)를 곱하고 절편(intercept, β₀)을 더한 형태로 표현됩니다.
가장 간단한 형태인 단순 선형 회귀(독립 변수가 하나인 경우)는 다음과 같습니다. ŷ = β₀ + β₁x₁
독립 변수가 여러 개인 다중 선형 회귀는 다음과 같습니다. ŷ = β₀ + β₁x₁ + β₂x₂ + ... + βₚxₚ
여기서 ŷ는 예측값, x₁, x₂, ..., xₚ는 독립 변수, β₀는 절편, β₁, β₂, ..., βₚ는 각 독립 변수의 계수입니다.
더 정확히 말하면, 모델이 추정하려는 미지의 계수(β₀, β₁, ..., βₚ)들에 대해 선형입니다.
이 점이 중요합니다. 독립 변수(x) 자체는 선형이 아니어도 됩니다. 예를 들어, 독립 변수를 제곱하거나(x²) 혹은 두 독립 변수를 곱한 항(x₁ * x₂)을 모델에 포함시켜도 여전히 '선형 회귀'라고 부릅니다.
예시: ŷ = β₀ + β₁x₁ + β₂x₁²
이 모델은 x₁의 제곱 항을 포함하므로 x₁과 ŷ의 관계는 곡선 형태가 될 수 있습니다. 하지만 모델의 미지수인 계수들(β₀, β₁, β₂)은 여전히 선형적으로 결합되어 있으므로, 이 모델은 계수에 대해 선형(linear in the parameters)인 선형 회귀 모델로 간주됩니다.
결론적으로, 선형 회귀에서 '선형'이라는 용어는 예측 모델의 형태가 독립 변수들의 단순한 선형 결합으로 표현되거나, 더 나아가 모델이 추정하고자 하는 계수(파라미터)들에 대해 선형적인 관계를 갖는다는 것을 의미합니다. 이는 데이터 공간에서 데이터 포인트를 가장 잘 나타내는 직선(2차원) 또는 평면/초평면(고차원)을 찾는 과정과 관련이 있습니다.