j*****n
发帖数: 1545 | 1 有一个functon f(x,y), 要找optimum. 直接优化x和y难度很大, 但是可以分别优化:
固定y, 优化x; 固定x, 优化y. 而且这个分别优化能够保证是 global optimum.
我的问题是我的这个迭代的算法能保证最后的结果是最优吗?
step 1: fix y_0, update x_0 to the optimal solution x_1
step 2: fix x_1, update y_1 to the optimal solution y_2
step 3: go to step 1 and iterate until convergence.
我觉得好像和conjugate gradient系列的算法很像, 但我一下想不出来我这个算法是对
还是错. 求指点. 如果有定理之类的可以参考最好！！ | d******e
发帖数: 7844 | 2 这个和conjugate gradient差不多少呢吧。
你这不就是一个bi-convex问题么，你这么算十有八九都不是global解
【在 j*****n 的大作中提到】
: 有一个functon f(x,y), 要找optimum. 直接优化x和y难度很大, 但是可以分别优化:
: 固定y, 优化x; 固定x, 优化y. 而且这个分别优化能够保证是 global optimum.
: 我的问题是我的这个迭代的算法能保证最后的结果是最优吗?
: step 1: fix y_0, update x_0 to the optimal solution x_1
: step 2: fix x_1, update y_1 to the optimal solution y_2
: step 3: go to step 1 and iterate until convergence.
: 我觉得好像和conjugate gradient系列的算法很像, 但我一下想不出来我这个算法是对
: 还是错. 求指点. 如果有定理之类的可以参考最好！！
| j*****n
发帖数: 1545 | 3 我也意识到不能保证global optimum了， 不过我不赞同 "十有八九都不是global解",
因为他在每个方向上都能找到最优解，所以不像gradient descent之类的方法(
neighbor的定义很local), 它的neighbor定义是很大的, 只要initial在某个很大的范
围内，就能找到最优解. | d******e
发帖数: 7844 | 4 这个biconvex问题一般没人care你的解是不是global的，只要local解足够好就行了
,
【在 j*****n 的大作中提到】
: 我也意识到不能保证global optimum了， 不过我不赞同 "十有八九都不是global解",
: 因为他在每个方向上都能找到最优解，所以不像gradient descent之类的方法(
: neighbor的定义很local), 它的neighbor定义是很大的, 只要initial在某个很大的范
: 围内，就能找到最优解.
| j*****n
发帖数: 1545 | 5 我去看看biconvex的问题， 我想问一下，其实我的f(x,y)在每个方向上都不是convex
的，只是我可以用某种特殊方法找到global解，那还能和biconvex的理论扯上吗?
万分感谢
【在 d******e 的大作中提到】
: 这个biconvex问题一般没人care你的解是不是global的，只要local解足够好就行了
:
: ,
| l******e
发帖数: 470 | 6 看你f(x,y)是什么函数了
很容易给你的算法找个反例。
,
【在 j*****n 的大作中提到】
: 我也意识到不能保证global optimum了， 不过我不赞同 "十有八九都不是global解",
: 因为他在每个方向上都能找到最优解，所以不像gradient descent之类的方法(
: neighbor的定义很local), 它的neighbor定义是很大的, 只要initial在某个很大的范
: 围内，就能找到最优解.
|
|
