s*********d
发帖数: 19 | 1 遇到求解一个复杂函数的最优解问题
设F(T)是一个关于多维的向量T的复杂函数表达式，现在想求取最优T值，s.t. min(F(T
))达到最小值
按照最初的设想是：
a) 求出F(T)对于T的gradient decent表达式F'(T)，给定一个T的初始值T_0，step
size K 和tolerance value M，
b) 将T_0代入F'(T)并normalization（F_n'(T_0)=F'(T_0)/|F'(T_0)|）
c) 更新T为T_1(T_1=T_0-K*F_n'(T_0)),依此做iterarion，直到T的两次值T_n,T_n+1的
变化小于M
按照上述方法我尝试了一下，做了20次iteration后，F(T)的值是变小了，但是变化速
度很慢，比较费时间，有没有比较快速一些求解方法？ |
S***w
发帖数: 1014 | 2 不懂
帮你顶
(T
【在 s*********d 的大作中提到】
: 遇到求解一个复杂函数的最优解问题
: 设F(T)是一个关于多维的向量T的复杂函数表达式，现在想求取最优T值，s.t. min(F(T
: ))达到最小值
: 按照最初的设想是：
: a) 求出F(T)对于T的gradient decent表达式F'(T)，给定一个T的初始值T_0，step
: size K 和tolerance value M，
: b) 将T_0代入F'(T)并normalization（F_n'(T_0)=F'(T_0)/|F'(T_0)|）
: c) 更新T为T_1(T_1=T_0-K*F_n'(T_0)),依此做iterarion，直到T的两次值T_n,T_n+1的
: 变化小于M
: 按照上述方法我尝试了一下，做了20次iteration后，F(T)的值是变小了，但是变化速
|
p*****e
发帖数: 310 | 3 保证全局最优吗？你用的不是牛顿法？
(T
【在 s*********d 的大作中提到】
: 遇到求解一个复杂函数的最优解问题
: 设F(T)是一个关于多维的向量T的复杂函数表达式，现在想求取最优T值，s.t. min(F(T
: ))达到最小值
: 按照最初的设想是：
: a) 求出F(T)对于T的gradient decent表达式F'(T)，给定一个T的初始值T_0，step
: size K 和tolerance value M，
: b) 将T_0代入F'(T)并normalization（F_n'(T_0)=F'(T_0)/|F'(T_0)|）
: c) 更新T为T_1(T_1=T_0-K*F_n'(T_0)),依此做iterarion，直到T的两次值T_n,T_n+1的
: 变化小于M
: 按照上述方法我尝试了一下，做了20次iteration后，F(T)的值是变小了，但是变化速
|
s*********d
发帖数: 19 | 4 不能保证，是梯度下降法，只能保证找到局部最优
【在 p*****e 的大作中提到】
: 保证全局最优吗？你用的不是牛顿法？
:
: (T
|
l*****i
发帖数: 3929 | 5 最速下降法很容易zigzag的，还是换牛顿法吧
【在 s*********d 的大作中提到】
: 不能保证，是梯度下降法，只能保证找到局部最优
|
k**********g
发帖数: 989 | 6 Majorization (Jan de Leeuw) |
