线性回归作为统计学的基础算法，其理论推导主要涉及到模型假设、损失函数、参数估计等方面。以下是线性回归理论的详细推导：

1. 模型假设

线性回归模型假设因变量 \(Y\) 与自变量 \(X_1, X_2, \ldots, X_n\) 之间存在线性关系，即：

其中， 是模型参数， 是误差项。线性回归模型通常还假设误差项服从均值为0的正态分布，即 ，且各误差项之间相互独立。

2. 损失函数

为了估计模型参数，我们需要定义一个损失函数来衡量模型预测值与实际观测值之间的差异。在线性回归中，常用的损失函数是均方误差（Mean Squared Error, MSE），其数学表达式为：

其中，m 是样本数量， 是第 i 个样本的实际观测值， 是第 i 个样本的模型预测值，即：

损失函数  表示了模型在所有样本上的平均预测误差的平方和。

 3. 参数估计

参数估计的目标是找到一组参数值   ，使得损失函数  最小化。这通常通过最小化损失函数来实现。

首先，我们把损失函数$J(\beta)$的具体表达式写出来。损失函数是均方误差（Mean Squared Error, MSE），其数学表达式为：

其中 

为了简化表示，我们可以引入向量和矩阵符号。令：

则模型预测值可以表示为：

损失函数可以重写为：

X被称为设计矩阵（Design Matrix），其每一行代表一个样本的自变量值，y 是实际观测值向量。

接下来，我们求损失函数的梯度。对于二次函数，梯度等于0的点就是最小值点。因此，我们对$J(\beta)$求梯度并令其为0：

从而，我们得到：

这就是正规方程（Normal Equation）。如果$X^T X$是可逆的（即满秩的），那么我们可以直接求解$\beta$：

这样，我们就找到了使得损失函数$J(\beta)$最小化的参数值$\beta^*$。这个方法就被乘坐 最小二乘法。 在我们使用最小二乘法的时候， 根本没有考虑误差项  . 如果考虑的话，则往往是统计课上讲线性回归时讨论的内容。

在线性回归模型中，假设因变量 $Y$ 与自变量 $X_1, X_2, \ldots, X_n$ 之间存在线性关系，

并且误差项 $\epsilon_i$ 是独立同分布且服从均值为0、方差为 的正态分布。下面，我将展示在正态分布和独立同分布的假设下，最小二乘法与最大似然估计法（MLE）的等价性。

似然函数  是模型参数（在这里是  和 ）的函数，它表示在给定参数下，观测到实际数据（即 $m$ 个观测值）的概率。由于误差项  是独立同分布的正态随机变量，因此每个观测值  的概率密度函数可以表示为：

似然函数则是所有这些概率密度函数的乘积，即：

将每个  的表达式代入上式，我们得到：

这个乘积通常很难直接最大化，因此在实际操作中，我们通常会取似然函数的对数（即对数似然函数），并尝试最大化它对参数 $\beta$ 和 $\sigma^2$ 的值。

对数似然函数为：

注意到上式中的第二项就是最小二乘损失函数（乘以一个常数因子 ）。因此，在正态分布和独立同分布的假设下，最大化似然函数（或对数似然函数）等价于最小化最小二乘损失函数。这就是最小二乘法与最大似然估计法（MLE）在线性回归模型中的等价性。

由于最小二乘法既简单又有效，并且在正态分布和独立同分布的假设下与最大似然估计法等价，因此在线性回归中通常使用最小二乘法来估计参数。

4. 模型假设的验证

在实际应用中，我们还需要验证线性回归模型的假设是否成立。例如，我们可以使用残差分析来检查误差项是否服从正态分布、是否存在异方差性或自相关性等问题。如果假设不成立，可能需要采取相应的措施进行模型改进。

综上所述，线性回归的理论推导主要涉及到模型假设、损失函数、参数估计等方面。通过最小化损失函数，我们可以得到模型参数的估计值，从而实现对因变量的预测和解释。

北太天元可以用polyfit 函数来实现最小二乘法， polyfit 是用多项式来拟合数据， 使用一次多项式即可， 大家可以用北太天元自己编程来实现。 

X= rand(10,2);
beta_true = [ 1 ; 1 ;  1 ] ; 
y = [ ones(10,1) X] *beta_true + 0.1*randn(10,1); 
[beta  ~] = my_fitlm(X,y);
beta_true
beta

function [beta, stats] = my_fitlm(X, y)
    % 检查输入参数的有效性
    if nargin < 2
        error('需要两个输入参数：设计矩阵 X 和响应向量 y');
    end

    % 确保 X 是矩阵，y 是向量
    if ~ismatrix(X) || ~isvector(y)
        error('X 必须是矩阵，y 必须是向量');
    end

    % 确保 X 和 y 的行数匹配
    if size(X, 1) ~= length(y)
        error('X 和 y 的行数必须匹配');
    end

    % 检查 X 是否已经包含截距列（即第一列是否全为1）
    if size(X, 2) > 0 && all(X(:, 1) == 1)
        % X 已经包含截距列，不做操作
    else
        % 添加截距列（一列全1的值）
        X = [ones(size(X, 1), 1) X];
    end

    % 最小二乘法估计系数
    beta = (X' * X) \ (X' * y);

    % 计算拟合统计量
    y_fit = X * beta;
    residuals = y - y_fit;

    % 样本数、预测变量数（不包括截距）
    n = length(y);
    p = length(beta) - 1;  % 减去截距项

    % 总平方和 (Total Sum of Squares, TSS)
    TSS = sum((y - mean(y)).^2);

    % 回归平方和 (Regression Sum of Squares, RSS)
    RSS = sum(residuals.^2);

    % 决定系数 (R-squared)
    R2 = 1 - RSS / TSS;

    % 调整后的决定系数 (Adjusted R-squared)
    R2_adj = 1 - ((RSS / (n - p - 1)) / (TSS / (n - 1)));  % 注意自由度是 n - p - 1

    % 残差标准差 (Residual Standard Error)
    RSE = sqrt(RSS / (n - p - 1));

    % 组装统计量
    stats = struct();
    stats.Rsquared = R2;
    stats.AdjRsquared = R2_adj;
    stats.RMSE = RSE;
    stats.DFE = n - p - 1;  % 误差的自由度

    % 输出结果
    fprintf('系数:\n');
    disp(beta);
    fprintf('统计量:\n');
    disp(stats);
end