前言：因为研究工作的需要，要更改激活函数以适应自己的网络模型，但是单纯的函数替换会训练导致不能收敛。这里还有些不清楚为什么，希望有人可以给出解释。查了一些博客，发现了解决之道。下面将解决过程贴出来供大家指正。
1.背景
之前听某位老师提到说tensorflow可以在不给梯度函数的基础上做梯度下降，所以尝试了替换。我的例子时将ReLU改为平方。即原来的激活函数是 
现在换成 
单纯替换激活函数并不能较好的效果，在我的实验中，迭代到一定批次，准确率就会下降，最终降为10%左右保持稳定。而事实上，这中间最好的训练精度为92%。资源有限，问了对神经网络颇有研究的同学，说是激活函数的问题，然而某篇很厉害的论文中提到其精度在99%，着实有意思。之后开始研究自己些梯度函数以完成训练。
2.大概流程
首先要确定梯度函数，之后将其处理为tf能接受的类型。
2.1定义自己的激活函数
def square(x): return pow(x, 2)
2.2 定义该激活函数的一次梯度函数
def square_grad(x): return 2 * x
2.3 让numpy数组每一个元素都能应用该函数（全局）
square_np = np.vectorize(square) square_grad_np = np.vectorize(square_grad)
2.4 转为tf可用的32位float型，numpy默认是64位（全局）
square_np_32 = lambda x: square_np(x).astype(np.float32) square_grad_np_32 = lambda x: square_grad_np(x).astype(np.float32)
2.5 定义tf版的梯度函数
def square_grad_tf(x, name=None): with ops.name_scope(name, "square_grad_tf", [x]) as name: y = tf.py_func(square_grad_np_32, [x], [tf.float32], name=name, stateful=False) return y[0]
2.6 定义函数
def my_py_func(func, inp, Tout, stateful=False, name=None, my_grad_func=None):
# need to generate a unique name to avoid duplicates:
random_name = "PyFuncGrad" + str(np.random.randint(0, 1E+8))
tf.RegisterGradient(random_name)(my_grad_func)
g = tf.get_default_graph()
with g.gradient_override_map({"PyFunc": random_name, "PyFuncStateless": random_name}):
return tf.py_func(func, inp, Tout, stateful=stateful, name=name)
2.7 定义梯度，该函数依靠上一个函数my_py_func计算并传播
def _square_grad(op, pred_grad): x = op.inputs[0] cur_grad = square_grad(x) next_grad = pred_grad * cur_grad return next_grad
2.8 定义tf版的square函数
def square_tf(x, name=None): with ops.name_scope(name, "square_tf", [x]) as name: y = my_py_func(square_np_32, [x], [tf.float32], stateful=False, name=name, my_grad_func=_square_grad) return y[0]
3.使用
跟用其他激活函数一样，直接用就行了。input_data：输入数据。
h = square_tf(input_data)
over. 学艺不精，多多指教！
以上这篇tensorflow自定义激活函数实例就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持。
免责声明：本站资源来自互联网收集,仅供用于学习和交流,请遵循相关法律法规,本站一切资源不代表本站立场,如有侵权、后门、不妥请联系本站删除！
这一波大模型产业落地浪潮里，不少企业其实处在 “干瞪眼“的状态。
一种情况是，很多大模型产品看得见却摸不着，在台上一个个遥遥领先——今天Sora技精四座，明天英伟达的机器人又赢得满堂彩，可是到了台下一问：啥时候能用上啊？答曰：遥遥无期。
另一种情况是，企业想用上大模型，却又难免瞻前顾后——既要考虑场景融合，又得兼顾安全性，还要考虑打通现有系统，再加上各种部署成本和繁琐的采购流程……最后只能拂袖：罢了，再等等吧。
稳了！魔兽国服回归的3条重磅消息！官宣时间再确认！
昨天有一位朋友在大神群里分享，自己亚服账号被封号之后居然弹出了国服的封号信息对话框。
这里面让他访问的是一个国服的战网网址，com.cn和后面的zh都非常明白地表明这就是国服战网。
而他在复制这个网址并且进行登录之后，确实是网易的网址，也就是我们熟悉的停服之后国服发布的暴雪游戏产品运营到期开放退款的说明。这是一件比较奇怪的事情，因为以前都没有出现这样的情况，现在突然提示跳转到国服战网的网址，是不是说明了简体中文客户端已经开始进行更新了呢？