Posted on Categories:CS代写, Machine Learning, 机器学习, 计算机代写

# 计算机代写|机器学习代写Machine Learning代考|COMP5328 Alternating Direction Method of Multipliers

avatest™

## avatest™帮您通过考试

avatest™的各个学科专家已帮了学生顺利通过达上千场考试。我们保证您快速准时完成各时长和类型的考试，包括in class、take home、online、proctor。写手整理各样的资源来或按照您学校的资料教您，创造模拟试题，提供所有的问题例子，以保证您在真实考试中取得的通过率是85%以上。如果您有即将到来的每周、季考、期中或期末考试，我们都能帮助您！

•最快12小时交付

•200+ 英语母语导师

•70分以下全额退款

## 计算机代写|机器学习代写Machine Learning代考|Alternating Direction Method of Multipliers

Model (2.1) covers many problems in real applications. Consider a special case of Problem (2.1), which has the following separable structure and arises from diverse applications in machine learning, image processing, and computer vision:
$$\min {\mathbf{x}, \mathbf{y}}(f(\mathbf{x})+g(\mathbf{y})), \quad \text { s.t. } \quad \mathbf{A x}+\mathbf{B y}=\mathbf{b} .$$ Introduce the augmented Lagrangian function $$L\beta(\mathbf{x}, \mathbf{y}, \lambda)=f(\mathbf{x})+g(\mathbf{y})+\langle\mathbf{A x}+\mathbf{B} \mathbf{y}-\mathbf{b}, \lambda\rangle+\frac{\beta}{2}|\mathbf{A} \mathbf{x}+\mathbf{B y}-\mathbf{b}|^2 .$$
When we use the augmented Lagrangian method to solve Problem (2.13), we need to solve the following subproblem
\begin{aligned} \left(\mathbf{x}^{k+1}, \mathbf{y}^{k+1}\right)= & \underset{\mathbf{x}, \mathbf{y}}{\operatorname{argmin}}\left(f(\mathbf{x})+g(\mathbf{y})+\left\langle\mathbf{A x}+\mathbf{B} \mathbf{y}-\mathbf{b}, \lambda^k\right\rangle\right. \ & \left.+\frac{\beta}{2}|\mathbf{A x}+\mathbf{B y}-\mathbf{b}|^2\right), \end{aligned}
which is minimized jointly with respect to $\mathbf{x}$ and $\mathbf{y}$. Sometimes, it is much simpler when we solve (2.14) for $\mathbf{x}$ and $\mathbf{y}$ separately, which motivates the ADMM [3, 4]. Different from the augmented Lagrangian method, ADMM updates $\mathbf{x}$ and $\mathbf{y}$ in an alternating (or called sequential) fashion. ADMM consists of the following iterations:
\begin{aligned} & \mathbf{x}^{k+1}=\underset{\mathbf{x}}{\operatorname{argmin}}\left(f(\mathbf{x})+g\left(\mathbf{y}^k\right)+\left\langle\lambda^k, \mathbf{A x}+\mathbf{B} \mathbf{y}^k-\mathbf{b}\right\rangle\right. \ & \left.+\frac{\beta}{2}\left|\mathbf{A} \mathbf{x}+\mathbf{B} \mathbf{y}^k-\mathbf{b}\right|^2\right) \text {, } \ & \mathbf{y}^{k+1}=\underset{\mathbf{y}}{\operatorname{argmin}}\left(f\left(\mathbf{x}^{k+1}\right)+g(\mathbf{y})+\left\langle\lambda^k, \mathbf{A} \mathbf{x}^{k+1}+\mathbf{B y}-\mathbf{b}\right\rangle\right. \ & \left.+\frac{\beta}{2}\left|\mathbf{A} \mathbf{x}^{k+1}+\mathbf{B y}-\mathbf{b}\right|^2\right), \ & \lambda^{k+1}=\lambda^k+\beta\left(\mathbf{A x} \mathbf{x}^{k+1}+\mathbf{B} \mathbf{y}^{k+1}-\mathbf{b}\right) . \ & \end{aligned}

## 计算机代写|机器学习代写Machine Learning代考|Relation to the Split Bregman Method

The split Bregman method was proposed by Goldstein and Osher [5] and has been widely used in image processing. Recall the Bregman distance (Definition A.15):
$$D_\phi^{\mathbf{v}}(\mathbf{y}, \mathbf{x})=\phi(\mathbf{y})-\phi(\mathbf{x})-\langle\mathbf{v}, \mathbf{y}-\mathbf{x}\rangle,$$
where $\phi$ is convex but may not be differentiable and $\mathbf{v} \in \partial \phi(\mathbf{x})$. Consider Problem (2.1) and let
$$h(\mathbf{x})=\frac{1}{2}|\mathbf{A} \mathbf{x}-\mathbf{b}|^2 .$$
We can use the following Bregman method to solve Problem (2.1):
\begin{aligned} & \mathbf{x}^{k+1}=\underset{\mathbf{x}}{\operatorname{argmin}}\left(D_f^{\mathbf{v}^k}\left(\mathbf{x}, \mathbf{x}^k\right)+\beta h(\mathbf{x})\right), \ & \mathbf{v}^{k+1}=\mathbf{v}^k-\beta \nabla h\left(\mathbf{x}^{k+1}\right) \end{aligned}
where $\mathbf{v}^0 \in \partial f\left(\mathbf{x}^0\right) \cap \operatorname{Span}\left(\mathbf{A}^T\right) .^2$ From $\nabla h(\mathbf{x})=\mathbf{A}^T(\mathbf{A x}-\mathbf{b})$ and (2.17), we know that
$$\mathbf{v}^k \in \operatorname{Span}\left(\mathbf{A}^T\right), \quad \forall k \geq 0 .$$
The optimality condition of step (2.16) ensures
$$0 \in \partial f\left(\mathbf{x}^{k+1}\right)-\mathbf{v}^k+\beta \nabla h\left(\mathbf{x}^{k+1}\right) .$$
Combining with step (2.17), we have
$$\mathbf{v}^{k+1} \in \partial f\left(\mathbf{x}^{k+1}\right), \quad \forall k \geq 0 .$$

## 计算机代写|机器学习代写|机器学习代考|乘法的换向方法

$$Min\min\mathbf{x}, \mathbf{y}(f(\mathbf{x})+g(\mathbf{y})), \quad\text { s.t. }. \夸张的是，Mathbf[A]和[B]是两个不同的概念。\mathbf{x}+\mathbf{B} \mathbf{y}=\mathbf{b}$$

$$L\beta(\mathbf{x}, \mathbf{y}, \lambda)=f(\mathbf{x})+g(\mathbf{y})+\langle\mathbf{A}。\mathbf{x}+\mathbf{B} \mathbf{y}-\mathbf{b}, \lambda\rangle+\frac{\beta}{2}|\mathbf{A} \mathbf{x}+\mathbf{B} \mathbf{y}-\mathbf{b}|^2$$

$$\left(\mathbf{x}^{k+1}, \mathbf{y}^{k+1}\right)=\underset{mathbf{x}, \mathbf{y}}{operatorname{argmin}}\left(f(\mathbf{x})+g(\mathbf{y})+left\langle\mathbf{A}) \mathbf{x}+\mathbf{B y}-\mathbf{b}, \lambda^k\right\rangle \quad+\frac{\beta}{2}|\mathbf{A} \mathbf{x}+\mathbf{B} \mathbf{y}-\mathbf{b}|^2\right)$$

$$\mathbf{x}^{k+1}=\underset{\mathbf{x}}{operatorname{argmin}}\left(f(\mathbf{x})+g\left(\mathbf{y}^k\right)+left\langle\lambda^k, \mathbf{A} \mathbf{x}+\mathbf{B} \mathbf{y}^k-\mathbf{b}\rightrangle \quad+\frac{beta}{2}\left|\mathbf{A x}+\mathbf{B y}^k-\mathbf{b}\right|^2\right）。\mathbf{y}^{k+1}==underset{mathbf{y}}{operatorname{argmin}}{left(f\left(\mathbf{x}^{k+1}\right)+g(\mathbf{y})+left\langle\lambda^k, \mathbf{A}. \mathbf{x}^{k+1}+\mathbf{B} mathbf{y}-mathbf{b}\right\ranglequad+right.$$

## 计算机代寻|机器学习代写Machine Learning代考|与Split Bregman的关系 方法的关系

$$D_\phi^{\mathbf{v}}(\mathbf{y}, \mathbf{x})=\phi(\mathbf{y})-\phi(\mathbf{x})-\langle\mathbf{v}, \mathbf{y}-\mathbf{x}\rangle,$$

$$h(\mathbf{x})=\frac{1}{2}|\mathbf{A} mathbf{x}-\mathbf{b}|^2 。$$

$$\mathbf{x}^{k+1}=\underset{\mathbf{x}}{\operatorname{argmin}}\left(D_f^{\mathbf{v}^k}\left(\mathbf{x}, \mathbf{x}^k\right）+\beta h（\mathbf{x}）\right），\quad \mathbf{v}^{k+1}=\mathbf{v}^k-beta \nabla h\left（\mathbf{x}^{k+1}\right)$$
where $mathbf{v}^0 \in \partial f\left(\mathbf{x}^0\right) \cap \operatorname{Span}\left(\mathbf{A}^T\right) 。 { }^2$ 从$nabla h(\mathbf{x})=\mathbf{A}^T(\mathbf{A} \mathbf{x}-\mathbf{b})$和(2.17)，我们知道，
$$\in operatorname{Span}\left(mathbf{A}^T\right),quad forall kgeq 0 。$$

$$0 in \partial f\left(\mathbf{x}^{k+1}\right)-\mathbf{v}^k+\beta \nabla h\left(\mathbf{x}^{k+1}\right) 。$$

$$mathbf{v}^{k+1}. \in \partial f\left(\mathbf{x}^{k+1}\right), \quad \forall k \geq 0$$

## MATLAB代写

MATLAB 是一种用于技术计算的高性能语言。它将计算、可视化和编程集成在一个易于使用的环境中，其中问题和解决方案以熟悉的数学符号表示。典型用途包括：数学和计算算法开发建模、仿真和原型制作数据分析、探索和可视化科学和工程图形应用程序开发，包括图形用户界面构建MATLAB 是一个交互式系统，其基本数据元素是一个不需要维度的数组。这使您可以解决许多技术计算问题，尤其是那些具有矩阵和向量公式的问题，而只需用 C 或 Fortran 等标量非交互式语言编写程序所需的时间的一小部分。MATLAB 名称代表矩阵实验室。MATLAB 最初的编写目的是提供对由 LINPACK 和 EISPACK 项目开发的矩阵软件的轻松访问，这两个项目共同代表了矩阵计算软件的最新技术。MATLAB 经过多年的发展，得到了许多用户的投入。在大学环境中，它是数学、工程和科学入门和高级课程的标准教学工具。在工业领域，MATLAB 是高效研究、开发和分析的首选工具。MATLAB 具有一系列称为工具箱的特定于应用程序的解决方案。对于大多数 MATLAB 用户来说非常重要，工具箱允许您学习应用专业技术。工具箱是 MATLAB 函数（M 文件）的综合集合，可扩展 MATLAB 环境以解决特定类别的问题。可用工具箱的领域包括信号处理、控制系统、神经网络、模糊逻辑、小波、仿真等。