在Tensorflow中实现leakyRelu操作详解(高效)_python

来源:脚本之家  责任编辑:小易  

www.zgxue.com防采集请勿采集本网。

从github上转来,实在是厉害的想法,什么时候自己也能写出这种精妙的代码就好了

原地址:简易高效的LeakyReLu实现

代码如下:

我做了些改进,因为实在tensorflow中使用,就将原来的abs()函数替换成了tf.abs()

import tensorflow as tfdef LeakyRelu(x, leak=0.2, name="LeakyRelu"): with tf.variable_scope(name): f1 = 0.5 * (1 + leak) f2 = 0.5 * (1 - leak) return f1 * x + f2 * tf.abs(x) # 这里和原文有不一样的,我没试验过原文的代码,但tf.abs()肯定是对的

补充知识:激活函数ReLU、Leaky ReLU、PReLU和RReLU

“激活函数”能分成两类——“饱和激活函数”和“非饱和激活函数”。

sigmoid和tanh是“饱和激活函数”,而ReLU及其变体则是“非饱和激活函数”。使用“非饱和激活函数”的优势在于两点:

1.首先,“非饱和激活函数”能解决所谓的“梯度消失”问题。

2.其次,它能加快收敛速度。

Sigmoid函数需要一个实值输入压缩至[0,1]的范围

σ(x) = 1 / (1 + exp(−x))

tanh函数需要讲一个实值输入压缩至 [-1, 1]的范围

tanh(x) = 2σ(2x) − 1

ReLU

ReLU函数代表的的是“修正线性单元”,它是带有卷积图像的输入x的最大函数(x,o)。ReLU函数将矩阵x内所有负值都设为零,其余的值不变。ReLU函数的计算是在卷积之后进行的,因此它与tanh函数和sigmoid函数一样,同属于“非线性激活函数”。这一内容是由Geoff Hinton首次提出的。

ELUs

ELUs是“指数线性单元”,它试图将激活函数的平均值接近零,从而加快学习的速度。同时,它还能通过正值的标识来避免梯度消失的问题。根据一些研究,ELUs分类精确度是高于ReLUs的。下面是关于ELU细节信息的详细介绍:

Leaky ReLUs

ReLU是将所有的负值都设为零,相反,Leaky ReLU是给所有负值赋予一个非零斜率。Leaky ReLU激活函数是在声学模型(2013)中首次提出的。以数学的方式我们可以表示为:

ai是(1,+∞)区间内的固定参数。

参数化修正线性单元(PReLU)

PReLU可以看作是Leaky ReLU的一个变体。在PReLU中,负值部分的斜率是根据数据来定的,而非预先定义的。作者称,在ImageNet分类(2015,Russakovsky等)上,PReLU是超越人类分类水平的关键所在。

随机纠正线性单元(RReLU)

“随机纠正线性单元”RReLU也是Leaky ReLU的一个变体。在RReLU中,负值的斜率在训练中是随机的,在之后的测试中就变成了固定的了。RReLU的亮点在于,在训练环节中,aji是从一个均匀的分布U(I,u)中随机抽取的数值。形式上来说,我们能得到以下结果:

总结

下图是ReLU、Leaky ReLU、PReLU和RReLU的比较:

PReLU中的ai是根据数据变化的;

Leaky ReLU中的ai是固定的;

RReLU中的aji是一个在一个给定的范围内随机抽取的值,这个值在测试环节就会固定下来。

以上这篇在Tensorflow中实现leakyRelu操作详解(高效)就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持真格学网。

nvidia显卡有两个个系列,分2113别为:GeForce(简5261称GF系列4102)、Legacy(简称LG系列,这个系列的显卡比1653较少见)。GF系列中又分成笔记本显卡和桌面显卡,其中笔记本显卡系列有GF 900M、GF 800M 、GF 700M 、GF 600M、 GF 500M、 GF 400M、 GF 300M 、GF 200M、 GF 100M、 GF 8M、 GF GO 7M。桌面显卡系列有GF 900、GF 700 、GF 600、 GF 500、 GF 400、 GF 300 、GF 200、 GF 100、 GF 8、GF GO 7、GF 6、GF 5FX。1、GeForce中文名称精视,这个类型的显卡,是面对大众家庭用户,主要娱乐用途,主要是3D游戏,这也是销量最高的类型,到现在为止到了第16代,GTX10xx相对于专业卡,GeForce相当的便宜,由于支持CUDA,现在机器学习一般都是用GTX1080Ti2、QuadroQ系列的是专业图形设计卡,比如制图方面,价格比GeForce贵不少3、Tesla服务器专用卡,用于大规模并行计算,非常适合用于机器学习,但是由于价格太贵,一般的企业都是选择用GeForce,比如GTX10804、GeForce系列通俗的来说,就是第几代比如最新一代是GT 1000,上一代是GT 900,再上一代是GT 700,(800没有桌面卡,只有比较本)目前除了900和1000,其他都没有全新的了5、GeForce型号GeForce每个系列都有不同型号,最新的系列有GT1030,GTX1050/Ti,GTX1060,GTX1070,GTX1080/Ti扩展资料NVIDIA(纳斯达克股票代码:NVDA)是一家人工智能计算公司 。公司创立于 1993 年,总部位于美国加利福尼亚州圣克拉拉市。Jensen Huang (黄仁勋) 是创始人兼首席执行官。 1999 年,NVIDIA 发明了 GPU,这极大地推动了 PC 游戏市场的发展,重新定义了现代计算机图形技术,并彻底改变了并行计算。 太平洋时间2018年2月8日 ,英伟达公布第四季度以及全年财报。财报显示英伟达去年全年收入创下历史新高,达到97.1亿美元,同比增长41%,利润增长83%。英伟达全年GAAP每股盈利高达4.82美元,同比增长88%。在过去的第四季度,英伟达收入达到29.1亿美元,同比增长34%。GPU收入同比增长33%至24.6亿美元。参考资料来源:百度百科:NVIDIA本回答被网友采纳,NVIDIA显卡21135261型号有:一、核芯显卡核芯显卡是Intel产品新一代图形处理4102核心,和以往1653的显卡设计不同,Intel凭借其在处理器制程上的先进工艺以及新的架构设计,将图形核心与处理核心整合在同一块基板上,构成一颗完整的处理器。智能处理器架构这种设计上的整合大大缩减了处理核心、图形核心、内存及内存控制器间的数据周转时间,有效提升处理效能并大幅降低芯片组整体功耗,有助于缩小了核心组件的尺寸,为笔记本、一体机等产品的设计提供了更大选择空间。需要注意的是,核芯显卡和传统意义上的集成显卡并不相同。笔记本平台采用的图形解决方案主要有“独立”和“集成”两种,前者拥有单独的图形核心和独立的显存,能够满足复杂庞大的图形处理需求,并提供高效的视频编码应用。集成显卡则将图形核心以单独芯片的方式集成在主板上,并且动态共享部分系统内存作为显存使用,因此能够提供简单的图形处理能力,以及较为流畅的编码应用。核芯显卡的优点:低功耗是核芯显卡的最主要优势,由于新的精简架构及整合设计,核芯显卡对整体能耗的控制更加优异,高效的处理性能大幅缩短了运算时间,进一步缩减了系统平台的能耗。高性能也是它的主要优势:核芯显卡拥有诸多优势技术,可以带来充足的图形处理能力,相较前一代产品其性能的进步十分明显。核芯显卡可支持DX10/DX11、SM4.0、OpenGL2.0、以及全高清Full HD MPEG2/H.264/VC-1格式解码等技术,即将加入的性能动态调节更可大幅提升核芯显卡的处理能力,令其完全满足于普通用户的需求。核芯显卡的缺点:配置核芯显卡的CPU通常价格不高,同时低端核显难以胜任大型游戏。二、集成显卡集成显卡是将显示芯片、显存及其相关电路都集成在主板上,与其融为一体的元件;集成显卡的显示芯片有单独的,但大部分都集成在主板的北桥芯片中。一些主板集成的显卡也在主板上单独安装了显存,但其容量较小,集成显卡的显示效果与处理性能相对较弱,不能对显卡进行硬件升级,但可以通过CMOS调节频率或刷入新BIOS文件实现软件升级来挖掘显示芯片的潜能。集成显卡的优点:是功耗低、发热量小、部分集成显卡的性能已经可以媲美入门级的独立显卡,所以不用花费额外的资金购买独立显卡。集成显卡的缺点:性能相对略低,且固化在主板或CPU上,本身无法更换,如果必须换,就只能换主板。三、独立显卡独立显卡是指将显示芯片、显存及其相关电路单独做在一块电路板上,自成一体而作为一块独立的板卡存在,它需占用主板的扩展插槽(ISA、PCI、AGP或PCI-E)。独立显卡的优点:单独安装有显存,一般不占用系统内存,在技术上也较集成显卡先进得多,但性能肯定不差于集成显卡,容易进行显卡的硬件升级。独立显卡的缺点:系统功耗有所加大,发热量也较大,需额外花费购买显卡的资金,同时(特别是对笔记本电脑)占用更多空间。由于显卡性能的不同对于显卡要求也不一样,独立显卡实际分为两类,一类专门为游戏设计的娱乐显卡,一类则是用于绘图和3D渲染的专业显卡。扩展资料NVIDIA为了更好的抵制“狗牙”,又推出了全新的抗锯齿技术即TXAA,TXAA分为TXAA1、TXAA2两个级别。全新的TXAA抗锯齿技术是通过硬件来实现的,在NVIDIA全新的304.79驱动中首次得到真正应用,当然由于这项抗锯齿技术还未度过婴儿期,所以支持TXAA的游戏只有《The Secret World》。NVIDIA 全新的TXAA抗锯齿技是一款类等同于在动画、电影、游戏CG中所采用复杂的高画质过滤器,从而减少因为锯齿导致画面出现的撕裂和闪动等非常态显示。参考资料:百度百科--显卡本回答被网友采纳,nvidia显卡有2113两个个系列,分别为:GeForce(简称5261GF系列)、Legacy(简称LG系列4102,这个系列的显卡比较1653少见)。GF系列中又分成笔记本显卡和桌面显卡,其中笔记本显卡系列有GF 900M、GF 800M 、GF 700M 、GF 600M、 GF 500M、 GF 400M、 GF 300M 、GF 200M、 GF 100M、 GF 8M、 GF GO 7M。桌面显卡系列有GF 900、GF 700 、GF 600、 GF 500、 GF 400、 GF 300 、GF 200、 GF 100、 GF 8、GF GO 7、GF 6、GF 5FX。NVIDIA(纳斯达克股票代码:NVDA)是一家人工智能计算公司。公司创立于 1993 年,总部位于美国加利福尼亚州圣克拉拉市。Jensen Huang (黄仁勋) 是创始人兼首席执行官。1999 年,NVIDIA 发明了 GPU,这极大地推动了 PC 游戏市场的发展,重新定义了现代计算机图形技术,并彻底改变了并行计算。2017年6月,入选《麻省理工科技评论》2017 年度全球 50 大最聪明公司”榜单。扩展资料作为一家无芯片IC半导体设计公司,NVIDIA有自己的实验室研发芯片,但将芯片制造工序分包给其他厂商。以往,NVIDIA从其他厂商。例如 IBM,意法半导体,台积电(NVIDIA目前最重要的代工合作伙伴)和联华电子获得硅芯片生产能力。芯片的供应链需涉及数间第三厂:薄片制造厂,test-house测试核心并根据效能将之分类,和将芯片封装的厂商。依据存货清单,NVIDIA必须提早数月订购芯片,并将之存储起来等待使用。这偶尔会引起供应补给的不稳定。在最终产品上(指显卡、主板等),NVIDIA会推出所谓原厂“公版”(Reference)产品(称为参考样卡或参考样板)供展示及测试之用,早期产品是由台湾微星,美国威竣(VisionTek)及德国艾尔莎代工。由新加坡伟创力与台湾鸿海(富士康)、捷波代工生产。在零售市场上,NVIDIA会把顶级型号的“原厂”公版产品给各个第三方厂商贴牌。如GeForce 7950 GX2、Quadro FX 5600、nForce 680i SLI等等,这些厂商的产品设计用料完全相同,均由一家厂商代工。在OEM市场上,亦有部分“原厂”公版产品存在。2008年后NVIDIA允许了旗舰级产品的“非公版”(Non-Reference)设计,但只有极少数有实力的厂商(如华硕、影驰等)会推出自己设计的产品。2010年10月初,NVIDIA曾通过BestBuy少量销售由富士康厂商代工的NVIDIA品牌“原厂”产品。参考资料来源:百度百科-nvidia的产品制造本回答被网友采纳,显卡两大厂2113商ATI 和 NVIDIA,最近出产的显卡分别对应5261HD GT开头4102 ATI HD5 开头为最新一代的显卡,4开头的是去年出产,第一位数只1653代表代数,不代表性能,比如HD4870和HD5650相比,前者虽老但性能比后者强。5650 5后的6则基本可以代表性能,比如5650 > 5470 > 5165(限于同一带内比较)可以说数字越大越好。 NVIDIA 以前几代产品7000,8000,9000,比如7700,8800,9500。9000前年改名GT100,200系列,比如GT130 GT220,虽改名但核心用的仍是9000系列核心,但频率,显存等方面有所加强。也是第一位数代表代数,后面数字大小可以代表性能大小GT240 >GT 210. CF对显卡要求不是非常高,有个独显就差不多够了。主流低端显卡都能基本满足。 给你个独立显卡排名榜http://blog.sina.com.cn/s/blog_463648970100h7br.html本回答被提问者采纳内容来自www.zgxue.com请勿采集。


  • 本文相关:
  • tensorflow实现批量归一化操作的示例
  • tensorflow设置日志级别的几种方式小结
  • tensorflow损失函数专题详解
  • tensorflow自定义激活函数实例
  • python迭代用法实例教程
  • 基于python实现文件加密功能
  • python找出完数的方法
  • 详解python调用cmd命令三种方法
  • python中三元表达式的几种写法介绍
  • python3发送邮件需要经过代理服务器的示例代码
  • django框架模板语言使用方法详解
  • python二进制文件读取并转换为浮点数详解
  • python爬虫之urllib基础用法教程
  • 彻底理解python list切片原理
  • NVIDIA显卡都有什么型号
  • 网站首页网页制作脚本下载服务器操作系统网站运营平面设计媒体动画电脑基础硬件教程网络安全vbsdos/bathtahtcpythonperl游戏相关vba远程脚本coldfusionruby专题autoitseraphzonepowershelllinux shellluagolangerlang其它首页pythontensorflow实现批量归一化操作的示例tensorflow设置日志级别的几种方式小结tensorflow损失函数专题详解tensorflow自定义激活函数实例python迭代用法实例教程基于python实现文件加密功能python找出完数的方法详解python调用cmd命令三种方法python中三元表达式的几种写法介绍python3发送邮件需要经过代理服务器的示例代码django框架模板语言使用方法详解python二进制文件读取并转换为浮点数详解python爬虫之urllib基础用法教程彻底理解python list切片原理python入门教程 超详细1小时学会python 列表(list)操作方法详解python 元组(tuple)操作详解python 字典(dictionary)操作详解pycharm 使用心得(一)安装和首python strip()函数 介绍pycharm 2020最新永久激活码(附python 中文乱码问题深入分析python中使用xlrd、xlwt操作excepython科学计算环境推荐——anacpython实现excel读写数据python实现获取域名所用服务器的真实ip详解tensorflow训练自己的数据集实现cnn图python实现的删除重复文件或图片功能示例python3视频转字符动画的实例代码使用python计算玩彩票赢钱概率python实现扫雷游戏python字符编码与函数的基本使用方法python读取当前目录下的csv文件数据python结合selenium获取xx省交通违章数据
    免责声明 - 关于我们 - 联系我们 - 广告联系 - 友情链接 - 帮助中心 - 频道导航
    Copyright © 2017 www.zgxue.com All Rights Reserved