由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 如何使神经网络输出为正,或始终有一个下界
相关主题
神经网络有没有什么数学基础上的研究?关于shell script的一个问题
ms百度识图也蛮厉害的蔡鸟C++ 类型问题
简单说说这几年机器学习的形势 (转载)[合集] can C++ constructor be private? the answer is YES!
对人的训练就像训练神经网络 UML(统一建模语言)死亡的13个理由zz
问一道算法分析的题目关于network connection 出错
Big O的表示问题 (转载)c# 3 很强大
c++ rand() 一问急问:VS2008里如何调用DLL
再次请教关于AIX中线程以及优先级的问题a question about std::stack
相关话题的讨论汇总
话题: 输出话题: 神经网络话题: 下界话题: 分布话题: 始终
进入Programming版参与讨论
1 (共1页)
b****u
发帖数: 1130
1
也许我的网络训练的不够好,输出的结果不合理,比如流量预测是负值。
w***g
发帖数: 5958
2
我觉得,ideally这种东西得对输出的分布建模。
一般regression,其实都假设的是正太分布。
为了限制输出在[0, 1]内,产生了logistic function和soft max。
你这个流量预测,最简单的就是在输出前加一个relu,作为网络
结构的一部分参与训练。这个和你得到结果后再手工把负数变成0
是不一样的。然后还有各种soft relu可以用。
上升到理论,我感觉应该是那种非对称的钟型分布。比如gamma
或者log normal分布之类的。你可以去搜下怎么样对gamma变量做
regression。这种东西肯定早有人研究无数遍了。直接把前人的
结果套到神经网络最后一层就行了。

【在 b****u 的大作中提到】
: 也许我的网络训练的不够好,输出的结果不合理,比如流量预测是负值。
b****u
发帖数: 1130
3
太对了,豁然开朗。
的确应该先对y值的分布建模。

【在 w***g 的大作中提到】
: 我觉得,ideally这种东西得对输出的分布建模。
: 一般regression,其实都假设的是正太分布。
: 为了限制输出在[0, 1]内,产生了logistic function和soft max。
: 你这个流量预测,最简单的就是在输出前加一个relu,作为网络
: 结构的一部分参与训练。这个和你得到结果后再手工把负数变成0
: 是不一样的。然后还有各种soft relu可以用。
: 上升到理论,我感觉应该是那种非对称的钟型分布。比如gamma
: 或者log normal分布之类的。你可以去搜下怎么样对gamma变量做
: regression。这种东西肯定早有人研究无数遍了。直接把前人的
: 结果套到神经网络最后一层就行了。

c*******v
发帖数: 2599
4
Given:{ x,x_label}
训练 ann for {x,sqrt(x_label)}
也可以一试. inference的时候最后平方一下

【在 w***g 的大作中提到】
: 我觉得,ideally这种东西得对输出的分布建模。
: 一般regression,其实都假设的是正太分布。
: 为了限制输出在[0, 1]内,产生了logistic function和soft max。
: 你这个流量预测,最简单的就是在输出前加一个relu,作为网络
: 结构的一部分参与训练。这个和你得到结果后再手工把负数变成0
: 是不一样的。然后还有各种soft relu可以用。
: 上升到理论,我感觉应该是那种非对称的钟型分布。比如gamma
: 或者log normal分布之类的。你可以去搜下怎么样对gamma变量做
: regression。这种东西肯定早有人研究无数遍了。直接把前人的
: 结果套到神经网络最后一层就行了。

1 (共1页)
进入Programming版参与讨论
相关主题
is size_t recommended for 64-bit windows porting?问一道算法分析的题目
ocaml的一个奇怪的设计Big O的表示问题 (转载)
fortran 与 FLECS 区别c++ rand() 一问
Scalding貌似很酷啊再次请教关于AIX中线程以及优先级的问题
神经网络有没有什么数学基础上的研究?关于shell script的一个问题
ms百度识图也蛮厉害的蔡鸟C++ 类型问题
简单说说这几年机器学习的形势 (转载)[合集] can C++ constructor be private? the answer is YES!
对人的训练就像训练神经网络 UML(统一建模语言)死亡的13个理由zz
相关话题的讨论汇总
话题: 输出话题: 神经网络话题: 下界话题: 分布话题: 始终