Posted on Categories:CS代写, Machine Learning, 数据分析信号处理和机器学习中的矩阵方法, 机器学习, 计算机代写

# 计算机代写|数据分析信号处理和机器学习中的矩阵方法代写Matrix Methods In Data Analysis, Signal Processing, And Machine Learning代考|Math104 Exact line search

avatest™

## avatest™帮您通过考试

avatest™的各个学科专家已帮了学生顺利通过达上千场考试。我们保证您快速准时完成各时长和类型的考试，包括in class、take home、online、proctor。写手整理各样的资源来或按照您学校的资料教您，创造模拟试题，提供所有的问题例子，以保证您在真实考试中取得的通过率是85%以上。如果您有即将到来的每周、季考、期中或期末考试，我们都能帮助您！

•最快12小时交付

•200+ 英语母语导师

•70分以下全额退款

## 计算机代写|数据分析信号处理和机器学习中的矩阵方法代写Matrix Methods In Data Analysis, Signal Processing, And Machine Learning代考|Exact line search

We could also choose step to do the best we can along direction of negative gradient, called exact line search:
$$t=\underset{s \geq 0}{\operatorname{argmin}} f(x-s \nabla f(x))$$
Usually not possible to do this minimization exactly
Approximations to exact line search are typically not as efficient as backtracking, and it’s typically not worth it

Convergence analysis
Assume that $f$ convex and differentiable, with $\operatorname{dom}(f)=\mathbb{R}^n$, and additionally that $\nabla f$ is Lipschitz continuous with constant $L>0$,
$$|\nabla f(x)-\nabla f(y)|_2 \leq L|x-y|_2 \text { for any } x, y$$
(Or when twice differentiable: $\nabla^2 f(x) \preceq L I$ )
Theorem: Gradient descent with fixed step size $t \leq 1 / L$ satisfies
$$f\left(x^{(k)}\right)-f^{\star} \leq \frac{\left|x^{(0)}-x^{\star}\right|_2^2}{2 t k}$$
and same result holds for backtracking, with $t$ replaced by $\beta / L$
We say gradient descent has convergence rate $O(1 / k)$. That is, it finds $\epsilon$-suboptimal point in $O(1 / \epsilon)$ iterations

## 计算机代写|数据分析信号处理和机器学习中的矩阵方法代写Matrix Methods In Data Analysis, Signal Processing, And Machine Learning代考|Analysis for strong convexity

Reminder: strong convexity of $f$ means $f(x)-\frac{m}{2}|x|_2^2$ is convex for some $m>0$ (when twice differentiable: $\nabla^2 f(x) \succeq m I$ )

Assuming Lipschitz gradient as before, and also strong convexity:
Theorem: Gradient descent with fixed step size $t \leq 2 /(m+L)$ or with backtracking line search search satisfies
$$f\left(x^{(k)}\right)-f^{\star} \leq \gamma^k \frac{L}{2}\left|x^{(0)}-x^{\star}\right|_2^2$$
where $0<\gamma<1$
Rate under strong convexity is $O\left(\gamma^k\right)$, exponentially fast! That is, it finds $\epsilon$-suboptimal point in $O(\log (1 / \epsilon))$ iterations

Called linear convergence
Objective versus iteration curve looks linear on semilog plot

Important note: $\gamma=O(1-m / L)$. Thus we can write convergence rate as
$$O\left(\frac{L}{m} \log (1 / \epsilon)\right)$$
Higher condition number $L / m \Rightarrow$ slower rate. This is not only true of in theory … very apparent in practice too

## 计算机代写|数据分析信号处理和机器学习中的矩阵方法代写Matrix Methods In Data Analysis, Signal Processing, And Machine Learning代考|Exact line search

$$t=\underset{s \geq 0}{\operatorname{argmin}} f(x-s \nabla f(x))$$

$$|\nabla f(x)-\nabla f(y)|_2 \leq L|x-y|_2 \text { for any } x, y$$
(或者当两次可微时: $\nabla^2 f(x) \preceq L I$ )

$$f\left(x^{(k)}\right)-f^{\star} \leq \frac{\left|x^{(0)}-x^{\star}\right|_2^2}{2 t k}$$

## 计算机代写|数据分析信号处理和机器学习中的矩阵方法代写Matrix Methods In Data Analysis, Signal Processing, And Machine Learning代 考|Analysis for strong convexity

$$f\left(x^{(k)}\right)-f^{\star} \leq \gamma^k \frac{L}{2}\left|x^{(0)}-x^{\star}\right|_2^2$$

$$O\left(\frac{L}{m} \log (1 / \epsilon)\right)$$

## MATLAB代写

MATLAB 是一种用于技术计算的高性能语言。它将计算、可视化和编程集成在一个易于使用的环境中，其中问题和解决方案以熟悉的数学符号表示。典型用途包括：数学和计算算法开发建模、仿真和原型制作数据分析、探索和可视化科学和工程图形应用程序开发，包括图形用户界面构建MATLAB 是一个交互式系统，其基本数据元素是一个不需要维度的数组。这使您可以解决许多技术计算问题，尤其是那些具有矩阵和向量公式的问题，而只需用 C 或 Fortran 等标量非交互式语言编写程序所需的时间的一小部分。MATLAB 名称代表矩阵实验室。MATLAB 最初的编写目的是提供对由 LINPACK 和 EISPACK 项目开发的矩阵软件的轻松访问，这两个项目共同代表了矩阵计算软件的最新技术。MATLAB 经过多年的发展，得到了许多用户的投入。在大学环境中，它是数学、工程和科学入门和高级课程的标准教学工具。在工业领域，MATLAB 是高效研究、开发和分析的首选工具。MATLAB 具有一系列称为工具箱的特定于应用程序的解决方案。对于大多数 MATLAB 用户来说非常重要，工具箱允许您学习应用专业技术。工具箱是 MATLAB 函数（M 文件）的综合集合，可扩展 MATLAB 环境以解决特定类别的问题。可用工具箱的领域包括信号处理、控制系统、神经网络、模糊逻辑、小波、仿真等。