天才一秒记住【长江书屋】地址:https://www.cjshuwu.com
应用场景:常用于需要输出值在-1和1之间的情况,比如在回归问题里,还有循环神经网络的隐藏层等地方常常会用到它作为激活函数,以帮助网络更好地进行学习和对数据特征进行提取等。
tanh优缺点总结。
优点。
1原点对称,故比sigid收敛速度快。
2相比sigid,梯度消失问题有所缓解。
缺点。
1梯度消失问题并未解决。
2计算指数exp比较耗时。
3.re露(rectified
linear
unit,修正线性单元)是一种常用的激活函数,具有以下特点:
表达式:f(x)=max(0,x),也就是当xgeq0时,f(x)=x;当x<0时,f(x)=0。
优势:
-
计算效率高:计算过程简单,相较于如sigid函数等涉及复杂指数运算的激活函数,re露只需简单的比较和线性运算,能加快神经网络的训练和运算速度。
-
一定程度缓解梯度消失:在正区间其导数为1,这使得在反向传播时不会出现像sigid函数那样随着网络加深梯度趋近于0的情况,有助于深层网络的有效训练。
-
稀疏性:它会使得部分神经元输出为0,让网络具有一定的稀疏性,可减少参数间的相互依存关系,提升模型的泛化能力。
缺点:
-
神经元死亡问题:如果在训练过程中,某个神经元的输入始终是负数,那它对应的re露单元的输出就一直为0,后续其权重就没办法再更新了,这个神经元就相当于“死亡”
了,可能影响网络性能。
re露激活函数在深度学习的诸多领域,像卷积神经网络(cnn)用于图像识别等任务中被广泛应用。
....
分布阶信息组合举例:x,逆时针向外盘旋对数螺线,径向角度90,b参数为12,一周外弧弧长与一周内弧弧长比值为e^(-π4),a为1。
大脑存在着不同的功能区:形象思维、空间感知、图像识别、语言、逻辑分析、数学运算等作用。
分解螺线一般用于图像分解,声音分解,价值分解,词汇分解,记忆分解等特异性的信息的分解。
在人工智能中这些都是卷积神经网络干的话。
分解螺线是顺时针螺线与逆时针螺线是同时产生。
组合螺线的顺时针螺线与逆时针螺线是同时产生,组合途中个别难共溶信息体会产生信息体分解螺线,他们经过平移,旋转,折叠,镜相对称处理后,是能完美重合叠加的。
在逻辑上信息内容和信息情愫底层运动结构(含有相同时间戳及同一个绪控流进度结构)一一对应的且完全映射的关系,只不过两者作用及功能不同。
真实运行时不是二维的对数螺线,是旋绕z轴三维对数螺旋体。
记录原话
【时间尺度】分布阶时间长度.一代:0.5至1秒、
二代:20-40秒左右、三代
:一两天左右、四代:二十天至一个月、五代:半年多至一年、六代
本章未完,请点击下一章继续阅读!若浏览器显示没有新章节了,请尝试点击右上角↗️或右下角↘️的菜单,退出阅读模式即可,谢谢!