Posted on Categories:CS代写, Machine Learning, 机器学习, 计算机代写

# 计算机代写|机器学习代写Machine Learning代考|COMP5328 Bounds for the logistic (sigmoid) function

avatest™

## avatest™帮您通过考试

avatest™的各个学科专家已帮了学生顺利通过达上千场考试。我们保证您快速准时完成各时长和类型的考试，包括in class、take home、online、proctor。写手整理各样的资源来或按照您学校的资料教您，创造模拟试题，提供所有的问题例子，以保证您在真实考试中取得的通过率是85%以上。如果您有即将到来的每周、季考、期中或期末考试，我们都能帮助您！

•最快12小时交付

•200+ 英语母语导师

•70分以下全额退款

## 计算机代写|机器学习代写Machine Learning代考|Bounds for the logistic (sigmoid) function

In this section, we use the results on conjugate duality to derive upper and lower bounds to the logistic function, $\boldsymbol{\sigma}(x)=\frac{1}{1+e^{-x}}$.
6.5.4.1 Exponential upper bound
The sigmoid function is neither convex nor concave. However, it is easy to show that $f(x)=\log \boldsymbol{\sigma}(x)=$ $-\log \left(1+e^{-x}\right)$ is concave, by showing that its second derivative is negative. Now, any convex function $f(x)$ can be represented by
$$f(x)=\min _\eta \eta x-f^{\dagger}(\eta)$$
where
$$f^{\dagger}(\eta)=\min _x \eta x-f(x)$$
One can show that if $f(x)=\log \boldsymbol{\sigma}(x)$, then
$$f^{\dagger}(\eta)=-\eta \ln \eta-(1-\eta) \ln (1-\eta)$$
which is the binary entropy function. Hence
\begin{aligned} \log \boldsymbol{\sigma}(x) & \leq \eta x-f^{\dagger}(\eta) \ \boldsymbol{\sigma}(x) & \leq \exp \left(\eta x-f^{\dagger}(\eta)\right) \end{aligned}
This exponential upper bound on $\boldsymbol{\sigma}(x)$ is illustrated in Figure 6.13(a).

## 计算机代写|机器学习代写Machine Learning代考|Quadratic lower bound

It is also useful to compute a lower bound on $\boldsymbol{\sigma}(x)$. If we make this a quadratic lower bound, it will “play nicely” with Gaussian priors, which simplifies the analysis of several models. This approach was first suggested in [JJ96].
First we write
\begin{aligned} \log \boldsymbol{\sigma}(x) &=-\log \left(+e^{-x}\right)=-\log \left(e^{-x / 2}\left(e^{x / 2}+e^{-x / 2}\right)\right) \ &=x / 2-\log \left(e^{x / 2}+e^{-x / 2}\right) \end{aligned}
The function $f(x)=-\log \left(e^{x / 2}+e^{-x / 2}\right)$ is a convex function of $y=x^2$, as can be verified by showing $\frac{d}{d x^2} f(x)>0$. Hence we can create a linear lower bound on $f$, using the conjugate function
$$f^{\dagger}(\eta)=\max _{x^2} \eta x^2-f\left(\sqrt{x^2}\right)$$
We have
$$0=\eta-\frac{d x}{d x^2} \frac{d}{d x} f(x)=\eta+\frac{1}{4 x} \tanh \left(\frac{x}{2}\right)$$

## 计算机代写|机器学习代写Machine Learning代考|Bounds for the logistic (sigmoid) function

6.5.4.1 指数上限
Sigmoid 函数既不是凸函数也不是凹函数。然而，很容易证明 $f(x)=\log \boldsymbol{\sigma}(x)=-\log \left(1+e^{-x}\right)$ 是凹的，通过证明它的二 阶导数是尔的。现在，任何凸函数 $f(x)$ 可以表示为
$$f(x)=\min \eta \eta x-f^{\dagger}(\eta)$$ 在哪里 $$f^{\dagger}(\eta)=\min _x \eta x-f(x)$$ 可以证明，如果 $f(x)=\log \sigma(x)$ ，然后 $$f^{\dagger}(\eta)=-\eta \ln \eta-(1-\eta) \ln (1-\eta)$$ 这是二二元商函数。因此 $$\log \boldsymbol{\sigma}(x) \leq \eta x-f^{\dagger}(\eta) \boldsymbol{\sigma}(x) \quad \leq \exp \left(\eta x-f^{\dagger}(\eta)\right)$$ 这个指数上限 $\boldsymbol{\sigma}(x)$ 如图 6.13(a) 所示。

## 计算机代写|机器学习代写Machine Learning代考|Quadratic lower bound

$$0=\eta-\frac{d x}{d x^2} \frac{d}{d x} f(x)=\eta+\frac{1}{4 x} \tanh \left(\frac{x}{2}\right)$$

## MATLAB代写

MATLAB 是一种用于技术计算的高性能语言。它将计算、可视化和编程集成在一个易于使用的环境中，其中问题和解决方案以熟悉的数学符号表示。典型用途包括：数学和计算算法开发建模、仿真和原型制作数据分析、探索和可视化科学和工程图形应用程序开发，包括图形用户界面构建MATLAB 是一个交互式系统，其基本数据元素是一个不需要维度的数组。这使您可以解决许多技术计算问题，尤其是那些具有矩阵和向量公式的问题，而只需用 C 或 Fortran 等标量非交互式语言编写程序所需的时间的一小部分。MATLAB 名称代表矩阵实验室。MATLAB 最初的编写目的是提供对由 LINPACK 和 EISPACK 项目开发的矩阵软件的轻松访问，这两个项目共同代表了矩阵计算软件的最新技术。MATLAB 经过多年的发展，得到了许多用户的投入。在大学环境中，它是数学、工程和科学入门和高级课程的标准教学工具。在工业领域，MATLAB 是高效研究、开发和分析的首选工具。MATLAB 具有一系列称为工具箱的特定于应用程序的解决方案。对于大多数 MATLAB 用户来说非常重要，工具箱允许您学习应用专业技术。工具箱是 MATLAB 函数（M 文件）的综合集合，可扩展 MATLAB 环境以解决特定类别的问题。可用工具箱的领域包括信号处理、控制系统、神经网络、模糊逻辑、小波、仿真等。