Posted on Categories:CS代写, Machine Learning, 机器学习, 计算机代写

# 计算机代写|机器学习代写Machine Learning代考|CITS5508 Binary logistic regression

avatest™

## avatest™帮您通过考试

avatest™的各个学科专家已帮了学生顺利通过达上千场考试。我们保证您快速准时完成各时长和类型的考试，包括in class、take home、online、proctor。写手整理各样的资源来或按照您学校的资料教您，创造模拟试题，提供所有的问题例子，以保证您在真实考试中取得的通过率是85%以上。如果您有即将到来的每周、季考、期中或期末考试，我们都能帮助您！

•最快12小时交付

•200+ 英语母语导师

•70分以下全额退款

## 计算机代写|机器学习代写Machine Learning代考|Binary logistic regression

In this section, we discuss VI for binary logistic regression. Our presentation follows [Bis06, Sec $10.6]$.
Let us first rewrite the likelihood for a single observation as follows:
\begin{aligned} p\left(y_n \mid \boldsymbol{x}_n, \boldsymbol{w}\right) & =\boldsymbol{\sigma}\left(\eta_n\right)^{y_n}\left(1-\boldsymbol{\sigma}\left(\eta_n\right)\right)^{1-\eta_n} \ & =\left(\frac{1}{1+e^{-\eta_n}}\right)^{y_n}\left(1-\frac{1}{1+e^{-\eta_n}}\right)^{1-y_n} \ & =e^{-\eta_n y_n} \frac{e^{-\eta_n}}{1+e^{-\eta_n}}=e^{-\eta_n y_n} \boldsymbol{\sigma}\left(-\eta_n\right) \end{aligned}
where $\eta_n=\boldsymbol{w}^{\top} \boldsymbol{x}_n$ are the logits. This is not conjugate to the Gaussian prior. So we will use the following “Gaussian-like” variational lower bound to the sigmoid function, proposed in [JJ96; JJ00]:
$$\boldsymbol{\sigma}\left(\eta_n\right) \geq \boldsymbol{\sigma}\left(\boldsymbol{\psi}_n\right) \exp \left[\left(\eta_n-\boldsymbol{\psi}_n\right) / 2-\lambda\left(\boldsymbol{\psi}_n\right)\left(\eta_n^2-\boldsymbol{\psi}_n^2\right)\right]$$
where $\psi_n$ is the variational parameter for datapoint $n$, and
$$\lambda(\boldsymbol{\psi}) \triangleq \frac{1}{4 \boldsymbol{\psi}} \tanh (\boldsymbol{\psi} / 2)=\frac{1}{2 \boldsymbol{\psi}}\left[\boldsymbol{\sigma}(\boldsymbol{\psi})-\frac{1}{2}\right]$$
We shall refer to this as the JJ bound, after its inventors, Jaakkola and Jordan. See Figure 15.1(a) for a plot, and see Section $6.5 .4 .2$ for a derivation.

## 计算机代写|机器学习代写Machine Learning代考|Multinomial logistic regression

In this section we discuss how to approximate the posterior $p(\boldsymbol{w} \mid \mathcal{D})$ for multinomial logistic regression using variational inference, extending the approach of Section $15.1$ to the multi-class case. The key idea is to create a “Gaussian-like” lower bound on the multi-class logistic regression likelihood due to [Boh92]. We can then compute the variational posterior in closed form. This will let us deterministically optimize the ELBO.
Let $\boldsymbol{y}i \in{0,1}^C$ be a one-hot label vector, and define the logits for example $i$ to be $$\boldsymbol{\eta}{\boldsymbol{i}}=\left[\boldsymbol{x}_i^{\top} \boldsymbol{w}_1, \ldots, \boldsymbol{x}_i^{\top} \boldsymbol{w}_C\right]$$

If we define $\mathbf{X}i=\mathbf{I} \otimes \boldsymbol{x}_i$, where $\otimes$ is the kronecker product, and $\mathbf{I}$ is $C \times C$ identity matrix, then we can write the logits as $\boldsymbol{\eta}_i=\mathbf{X}_i \boldsymbol{w}$. (For example, if $C=2$ and $\boldsymbol{x}_i=[1,2,3]$, we have $\mathbf{X}_i=[1,2,3,0,0,0 ; 0,0,0,1,2,3]$.) Then the likelihood is given by $$p(\boldsymbol{y} \mid \mathbf{X}, \boldsymbol{w})=\prod{i=1}^N \exp \left[\boldsymbol{y}i^{\top} \boldsymbol{\eta}_i-\operatorname{lse}\left(\boldsymbol{\eta}_i\right)\right]$$ where lse() is the log-sum-exp function $$\operatorname{lse}\left(\boldsymbol{\eta}_i\right) \triangleq \log \left(\sum{c=1}^C \exp \left(\eta_{i c}\right)\right)$$
For identifiability, we can set $\boldsymbol{w}C=\mathbf{0}$, so $$\operatorname{lse}\left(\boldsymbol{\eta}_i\right)=\log \left(1+\sum{m=1}^M \exp \left(\eta_{i m}\right)\right)$$
where $M=C-1$. (We subtract 1 so that in the binary case, $M=1$.)

## 计算机代写|机器学习代写Machine Learning代考|Binary logistic regression

$$p\left(y_n \mid \boldsymbol{x}n, \boldsymbol{w}\right)=\boldsymbol{\sigma}\left(\eta_n\right)^{y_n}\left(1-\boldsymbol{\sigma}\left(\eta_n\right)\right)^{1-\eta_n}=\left(\frac{1}{1+e^{-\eta_n}}\right)^{y_n}\left(1-\frac{1}{1+e^{-\eta_n}}\right)^{1-y_n}=e^{-\eta_n y_n} \frac{e^{-\eta_n}}{1+e^{-\eta_n}}=e^{-\eta_n y_n} \boldsymbol{\sigma}\left(-\eta_n\right)$$ 在哪里 $\eta_n=\boldsymbol{w}^{\top} \boldsymbol{x}_n$ 是对数。这与高斯先验不共浬。因此，我们将在 [JJ96; 中提出的 sigmoid 函数中使用以下”类高斯”变分下 界。JJ00]: $$\boldsymbol{\sigma}\left(\eta_n\right) \geq \boldsymbol{\sigma}\left(\psi_n\right) \exp \left[\left(\eta_n-\psi_n\right) / 2-\lambda\left(\psi_n\right)\left(\eta_n^2-\psi_n^2\right)\right]$$ 在哪里 $\psi_n$ 是数据点的变分参数 $n$ ，和 $$\lambda(\boldsymbol{\psi}) \triangleq \frac{1}{4 \boldsymbol{\psi}} \tanh (\psi / 2)=\frac{1}{2 \psi}\left[\boldsymbol{\sigma}(\boldsymbol{\psi})-\frac{1}{2}\right]$$ 我们将此称为 $J J$ 绑定，以其发明者 Jaakkola 和 Jordan 的名字伶名。见图 15.1(a) 的情节，见第6.5.4.2为推导。

## 计算机代写|机器学习代写Machine Learning代考|Multinomial logistic regression

$$\boldsymbol{\eta} \boldsymbol{i}=\left[\boldsymbol{x}i^{\top} \boldsymbol{w}_1, \ldots, \boldsymbol{x}_i^{\top} \boldsymbol{w}_C\right]$$ 如果我们定义 $\mathbf{X} i=\mathbf{I} \otimes \boldsymbol{x}_i$ ，在哪里 $\otimes$ 是克罗内克积，并且 $\mathbf{I}$ 是 $C \times C$ 单位矩阵，那么我们可以将 logits 写为 $\boldsymbol{\eta}_i=\mathbf{X}_i \boldsymbol{w}$. 如，如畢 $C=2$ 和 $x_i=[1,2,3]$ ， 我们有 $\mathbf{X}_i=[1,2,3,0,0,0 ; 0,0,0,1,2,3]$.) 那么可能性由下式後出 $$p(\boldsymbol{y} \mid \mathbf{X}, \boldsymbol{w})=\prod i=1^N \exp \left[\boldsymbol{y}^{\top} \boldsymbol{\eta}_i-\operatorname{lse}\left(\boldsymbol{\eta}_i\right)\right]$$ 其中 Ise() 是 $\log -$ sum-exp 函数 $$\operatorname{lse}\left(\boldsymbol{\eta}_i\right) \triangleq \log \left(\sum c=1^C \exp \left(\eta{i c}\right)\right)$$

$$\operatorname{lse}\left(\boldsymbol{\eta}i\right)=\log \left(1+\sum m=1^M \exp \left(\eta{i m}\right)\right)$$

## MATLAB代写

MATLAB 是一种用于技术计算的高性能语言。它将计算、可视化和编程集成在一个易于使用的环境中，其中问题和解决方案以熟悉的数学符号表示。典型用途包括：数学和计算算法开发建模、仿真和原型制作数据分析、探索和可视化科学和工程图形应用程序开发，包括图形用户界面构建MATLAB 是一个交互式系统，其基本数据元素是一个不需要维度的数组。这使您可以解决许多技术计算问题，尤其是那些具有矩阵和向量公式的问题，而只需用 C 或 Fortran 等标量非交互式语言编写程序所需的时间的一小部分。MATLAB 名称代表矩阵实验室。MATLAB 最初的编写目的是提供对由 LINPACK 和 EISPACK 项目开发的矩阵软件的轻松访问，这两个项目共同代表了矩阵计算软件的最新技术。MATLAB 经过多年的发展，得到了许多用户的投入。在大学环境中，它是数学、工程和科学入门和高级课程的标准教学工具。在工业领域，MATLAB 是高效研究、开发和分析的首选工具。MATLAB 具有一系列称为工具箱的特定于应用程序的解决方案。对于大多数 MATLAB 用户来说非常重要，工具箱允许您学习应用专业技术。工具箱是 MATLAB 函数（M 文件）的综合集合，可扩展 MATLAB 环境以解决特定类别的问题。可用工具箱的领域包括信号处理、控制系统、神经网络、模糊逻辑、小波、仿真等。