怎样理解最小二乘法等价于欧式距离之和最小？
什么叫最小二乘法
学过统计学的应该都了解最小二乘法。
1801年，天文学家朱赛普·皮亚齐发现了小行星谷神星。经过40天的跟踪观测后，由于它运行至太阳后面，皮亚齐无法继续观测。随后全世界的科学家利用皮亚齐的观测数据开始寻找这颗小行星，但大多数人都失败了。时年24岁的高斯也计算了谷神星的轨道，天文学家根据高斯的计算重新发现了谷神星，高斯使用的方法就是最小二乘法。
下面我举一个例子来简单说一下最小二乘法问题。就好比下面这张图，有七组观测数据，X与Y之间似乎存在某种关系。通过画散点图，我们可以大致的确定这七个数据应该是一次函数（直线）的关系。问题是应该如何拟合这条直线，也就是使预计值与观测值的误差的平方和最小（这也是最小二乘的命名原因）。
直观理解
关于最小二乘问题，有多种解决方法，下面我给大家介绍一种比较直观的方法，这也是我上大学时候高等代数教材上的方法。教材上用的是数学符号的方式，由于条件有限，打数学符号也不太方便，所以我用自己语言描述一下。
1、欧氏空间。欧氏空间也就是我们平常所能理解的空间，这个空间是平的、直的，而且具有一个统一的测度，这个测度在各个方向上是一致的，也就是这个空间不会发生扭曲。
2、子空间。比如平面是二维空间，平面上的一条直线就是平面的子空间；再比如说立体（也就是三维空间），平面就是立体的子空间，当然了三维空间中的直线也是它的一个子空间；发挥想象力进行扩展四维空间的子空间就是三维空间，当然也可以是二维空间，甚至是一维空间。
3、空间任意一点到子空间的距离。我们知道，平面上任意一点到已知直线的距离(最短)是垂线，三维空间中任意点到己知平面的距离也要做垂线。同理，n维空间中已知点到子空间的距离也是要求一条垂线，这就是解决最小二乘问题的理论依据所在。
4、结合矩阵与方程，可以知道最小二乘法所满足的代数条件。
本题的做法
求两直线间距离的公式是什么？
两平行线分别为L1：Ax+By+C1=0，L2：Ax+By+C2=0 在L2上任取一点P（x0，y0) 则Ax0+By0+C2=0,Ax0+By0=-C2 根据点到直线距离公式： P到L1距离为： |Ax0+By0+C1|/√（A2+B2） =|-C2+C1|/√（A2+B2） =|C1-C2|/√（A2+B2）
k近邻算法常用的距离包括？
1 欧式距离(Euclidean Distance)：
欧式距离也称欧几里得距离，是最常见的距离度量，衡量的是多维空间中两个点之间的绝对距离。
2 曼哈顿距离(Manhattan Distance)：
在曼哈顿街区要从一个十字路口开车到另一个十字路口，驾驶距离显然不是两点间的直线距离。这个实际驾驶距离就是“曼哈顿距离”。
3 切比雪夫距离 (Chebyshev Distance)：
国际象棋中，国王可以直行、横行、斜行，所以国王走一步可以移动到相邻8个方格中的任意一个。
4 闵可夫斯基距离(Minkowski Distance)：
闵氏距离不是一种距离，而是一组距离的定义，是对多个距离度量公式的概括性的表述
欧几里得距离公式？
以下是欧几里得距离公式：
欧几里得距离二维的公式是
d = sqrt((x1-x2)^+(y1-y2)^)
欧几里得距离三维的公式是
d=sqrt(x1-x2)^+(y1-y2)^+(z1-z2)^)
推广到n维空间，欧式距离的公式是
d=sqrt( ∑(xi1-xi2)^ ) 这里i=1,2..n
xi1表示第一个点的第i维坐标,xi2表示第二个点的第i维坐标
n维欧氏空间是一个点集,它的每个点可以表示为(x(1),x(2),...x(n)),其中x(i)(i=1,2...n)是实数,称为x的第i个坐标,两个点x和y=(y(1),y(2)...y(n))之间的距离d(x,y)定义为上面的公式.
欧几里德距离（又名：欧几里得度量）是欧几里得空间中两点间“普通”（即直线）距离，使用这个距离，欧氏空间成为度量空间，相关联的范数称为欧几里得范数，较早的文献称之为毕达哥拉斯度量。
计算公式
二维空间的公式
0ρ = √( (x1-x2)2+(y1-y2)2 ) || = √( x2 + y2 )
三维空间的公式
0ρ = √( (x1-x2)2+(y1-y2)2+(z1-z2)2 ) || = √( x2 + y2 + z2 )
n维空间的公式
n维欧氏空间是一个点集,它的每个点 X 或向量 可以表示为 (x，x，…，x[n]) ，其中 x[i](i = 1，2，…，n) 是实数，称为 X 的第i个坐标。
两个点 A = (a，a，…，a[n]) 和 B = (b，b，…，b[n]) 之间的距离 ρ(A，B) 定义为下面的公式：
ρ(A，B) =√ [ ∑( a[i] - b[i] )2 ] (i = 1，2，…，n)
向量 = (x，x，…，x[n]) 的自然长度 || 定义为下面的公式：
|| = √( x2 + x2 + … + x[n]2 )
欧氏距离变换
所谓欧氏距离变换，是指对于一张二值图像（再次我们***定白色为前景色，黑色为背景色），将前景中的像素的值转化为该点到达最近的背景点的距离。
欧氏距离变换在数字图像处理中的应用范围很广泛，尤其对于图像的骨架提取，是一个很好的参照。
明氏距离
又叫做明可夫斯基距离,是欧氏空间中的一种测度，被看做是欧氏距离的一种推广。
定义式：ρ(A，B) = [ ∑( a[i] - b[i] )^p ]^(1/p) (i = 1，2，…，n)
