特黄一级黄色高清大片 机器学习必知：激活函数与代价函数详解

特黄一级黄色高清大片 机器学习必知：激活函数与代价函数详解

引言

在机器学习和人工智能领域，激活函数和代价函数是两个至关重要的概念。它们在模型的训练和优化过程中扮演着关键角色。本文将详细介绍这两者的定义、作用及常见类型，并通过示例帮助读者深入理解。

一、激活函数

1.1 什么是激活函数

激活函数是神经网络中用于引入非线性特性的函数，它决定了神经元是否被激活，从而影响模型的输出。

1.2 常见的激活函数

• Sigmoid函数 $$ \sigma(x) = \frac{1}{1 + e^{-x}} $$ Sigmoid函数的输出范围在(0, 1)之间，常用于二分类问题。

• ReLU函数 $$ f(x) = \max(0, x) $$ ReLU函数简单且计算效率高，常用于深度学习中。

• Tanh函数 $$ \tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}} $$ Tanh函数的输出范围在(-1, 1)之间，适用于处理归一化数据。

1.3 示例代码

import numpy as np

## Sigmoid函数
def sigmoid(x):
    return 1 / (1 + np.exp(-x))

## ReLU函数
def relu(x):
    return np.maximum(0, x)

## Tanh函数
def tanh(x):
    return np.tanh(x)

x = np.array([-2, -1, 0, 1, 2])
print("Sigmoid:", sigmoid(x))
print("ReLU:", relu(x))
print("Tanh:", tanh(x))

二、代价函数

2.1 什么是代价函数

代价函数（损失函数）用于衡量模型预测值与真实值之间的差异，是模型优化的目标。

2.2 常见的代价函数

• 均方误差（MSE） $$ MSE = \frac{1}{n} \sum_{i=1}^{n} (y_i - \hat{y}_i)^2 $$ MSE适用于回归问题。

• 交叉熵损失（Cross-Entropy Loss） $$ CE = -\frac{1}{n} \sum_{i=1}^{n} [y_i \log(\hat{y}_i) + (1 - y_i) \log(1 - \hat{y}_i)] $$ 交叉熵损失常用于分类问题。

2.3 示例代码

import numpy as np

## 均方误差
def mse(y_true, y_pred):
    return np.mean((y_true - y_pred) ** 2)

## 交叉熵损失
def cross_entropy(y_true, y_pred):
    return -np.mean(y_true * np.log(y_pred) + (1 - y_true) * np.log(1 - y_pred))

y_true = np.array([1, 0, 1, 1, 0])
y_pred = np.array([0.9, 0.1, 0.8, 0.7, 0.2])
print("MSE:", mse(y_true, y_pred))
print("Cross-Entropy:", cross_entropy(y_true, y_pred))

结论

激活函数和代价函数是机器学习和人工智能中的核心概念，理解并掌握它们对于构建高效模型至关重要。希望通过本文的介绍和示例，读者能够更好地应用这些知识，提升编程技能和解决实际问题的能力。

参考资料

• 深度学习入门

• 机器学习基础