My Blogs
Posts tagged with "算法"
数学分析笔记
Published 2017年11月01日 23:00 by james
$\ln x$ 导数的推导
$$ \frac{d}{dx}\ln x = \lim_{h \to 0} \frac{\ln(x + h) - \ln(x)}{h} = \lim_{h \to 0} \frac{\ln\left(\frac{x + h}{x}\right)}{h} = \lim_{h \to 0} \frac{\ln\left(1 + \frac{h}{x}\right)}{h} $$ …
梯度下降从放弃到入门
Published 2017年10月22日 23:00 by james
梯度
在向量微积分中，标量场的梯度是一个向量场。标量场中某一点上的梯度指向标量场增长最快的方向，梯度的长度是这个最大的变化率。
在三维直角坐标系中表示为：
$$ \nabla \varphi = \left( \frac{\partial \varphi}{\partial x}, \frac{\partial \varphi}{\partial y}, \frac{\partial \varphi}{\partial z}\right) = \frac{\partial \varphi}{\partial x}\vec{i} + \frac{\partial \varphi}{\partial y}\vec{j} + \frac{\partial \varphi}{\partial z}\vec{k} $$ …
牛顿法从放弃到入门
Published 2017年09月17日 23:00 by james
问题
科学或工程问题的求解和模拟最终往往都要解决求根或优化问题，前一种情形要求出方程或方程组的解；后一种情形则要找出使函数取极大或极小值的点，即使是对实验数据进行拟合或数值求解微分方程，也总是将问题简化成上述两类问题。
第一类问题本质是求出$f(x) = 0$的解，第二类问题则可以转化为求$g(x) = f^{'}(x) = 0$的解，其实本质我们都可以转化为求解方程根的问题。
对分法
在解方程的问题上，我们最容易会想到就是通过对分法迭代逐步逼近方程的根，最终达到求解方程的根的目的。他的基本思想如下：
如果$f$在所考虑的区间上连续，且$[x_0, x_1]$是有根区间，即$f(x_0) \cdot f(x_1) < 0$，则取
$$ x_2 = \frac{x_0 + x_1}{2} $$
并计算$f(x_2)$，如果$f(x_2) = 0$则结束，否则或者$f(x_2)$与$f(x_0)$符号相反，此时$[x_0, x_2]$是新的有根区间，长度为原来的一半，或者$f(x_2)$与$f(x_1)$符号相反，此时$[x_2, x_1]$是新的有根区间，长度也为原来的一半，不管哪种情形，都通过计算一个新的函数值（$f(x_2)$的计算）将零点$x^*$的不确定性降低了50%，接下来在新的区间上重复这一过程，直到有根区间的长度充分小。
算法描述如下： …
不动点迭代及其收敛性
Published 2017年09月16日 23:00 by james
什么是不动点迭代法
函数$f$的不动点是一个值$x$使得$f(x) = x$。例如，0和1是函数$f(x) = x^2$的不动点，因为$0^2 = 0$而$1^2 = 1$，即曲线$y = f(x)$与直线$y = x$存在交点$P(x^{\ast}, x^{\ast})$。
对于某些函数，通过某些初始猜测出发，反复地应用$f$，
$$ f(x), f(f(x)), f(f(f(x))),\cdots $$
直到值的变化不大时，就可以找到它的一个不动点。
算法描述如下：
def solve(f, guess, …泰勒级数从放弃到入门
Published 2017年09月16日 21:00 by james
知识准备
极限
设函数$f(x)$在点$x_0$的某一去心邻域内有定义，如果存在常数$a$，对于任意给定的正数$\epsilon$，总存在正数$\delta$，使得当$x$满足不等式$0 < |x - x_0| < \delta$时，对应的函数值$f(x)$都满足不等式$|f(x) - a| < \epsilon$，那么常数$a$就叫做函数$f(x)$当$x \to x_0$时的极限，记作：
$$ \lim_{x \to x_0} f(x) = a $$
导数
设函数$y = f(x)$在点$x_)$的某个邻域内有定义，当自变量$x$在$x_0$处取得增量$\Delta x$（点$x_0 + \Delta …