g****t
发帖数: 31659 | 1 Tensorflow设计的时候没有考虑多线程？
这问题好多年了没搞定。4天前还有人报告。
https://github.com/keras-team/keras/issues/2397
I'm still having this issue and the recommended fixes do not work for me.
The only thing that works is loading the model and making a prediction with
each prediction request. I'm requesting that this issue be reopened as no
actual solution has been proposed, just several workarounds that seem to
work intermittently.
This fix does not seem to work when using custom graphs. |
g****t
发帖数: 31659 | 2 CNTK说他家用了一些全局变量，所以不是thread safe的。
更牛。
散户攒一个可以支持一秒一百个request的机器学习服务器还真不容易啊。
TF还有memory leak问题
https://github.com/tensorflow/tensorflow/issues/10408
Clear session不工作。
各位大牛。生产环境该怎么办？ |
h*****2
发帖数: 2070 | 3 2000年windows还漏洞百出的时候，照样上线；linux后门蠕虫漫天飞，照样server/
client端跑；NN P0的安全漏洞N年都没人修，照样有人用。PROD没那么神圣，在商业和
市场面前，这点儿P大的技术问题真的...连P都算不上。
记住4个字：
带病延年
【在 g****t 的大作中提到】
: CNTK说他家用了一些全局变量，所以不是thread safe的。
: 更牛。
: 散户攒一个可以支持一秒一百个request的机器学习服务器还真不容易啊。
: TF还有memory leak问题
: https://github.com/tensorflow/tensorflow/issues/10408
: Clear session不工作。
: 各位大牛。生产环境该怎么办？
|
g****t
发帖数: 31659 | 4 修各种问题，创造工作，也挺好
: 2000年windows还漏洞百出的时候，照样上线；linux后门蠕虫漫天飞，照样
server/
: client端跑；NN P0的安全漏洞N年都没人修，照样有人用。PROD没那么神圣，在
商业和
: 市场面前，这点儿P大的技术问题真的...连P都算不上。
: 记住4个字：
: 带病延年
【在 h*****2 的大作中提到】
: 2000年windows还漏洞百出的时候，照样上线；linux后门蠕虫漫天飞，照样server/
: client端跑；NN P0的安全漏洞N年都没人修，照样有人用。PROD没那么神圣，在商业和
: 市场面前，这点儿P大的技术问题真的...连P都算不上。
: 记住4个字：
: 带病延年
|
n******t
发帖数: 4406 | 5 Linux 後門蠕蟲沒法滿天飛，都open source的。你自己不看那是你自己的問題。
【在 h*****2 的大作中提到】
: 2000年windows还漏洞百出的时候，照样上线；linux后门蠕虫漫天飞，照样server/
: client端跑；NN P0的安全漏洞N年都没人修，照样有人用。PROD没那么神圣，在商业和
: 市场面前，这点儿P大的技术问题真的...连P都算不上。
: 记住4个字：
: 带病延年
|
w***g
发帖数: 5958 | 6 不光是TF，Python对多线程支持根本就不行，上点规模的轮子十有八九有这个问题。这
可以说是语言层面的事情，根本解决不了。老司机上python根本就不会用多线程，这个
也就不算是bug。
你这个需求，还要注意一点的是TF在CPU上的计算是多核的，而且很霸道。如果你上多
process，忙的时候不同的process抢资源，可能会死锁。
with
【在 g****t 的大作中提到】
: Tensorflow设计的时候没有考虑多线程？
: 这问题好多年了没搞定。4天前还有人报告。
: https://github.com/keras-team/keras/issues/2397
: I'm still having this issue and the recommended fixes do not work for me.
: The only thing that works is loading the model and making a prediction with
: each prediction request. I'm requesting that this issue be reopened as no
: actual solution has been proposed, just several workarounds that seem to
: work intermittently.
: This fix does not seem to work when using custom graphs.
|
g****t
发帖数: 31659 | 7 還是這些module寫的時候沒有考慮周到吧。假如
包括了一些reference作为module variable.再假如
多个request进来，flask调用同一个module,Reference 的内容会乱了。
: 不光是TF，Python对多线程支持根本就不行，上点规模的轮子十有八九有这个问
题。这
: 可以说是语言层面的事情，根本解决不了。老司机上python根本就不会用多线程
，这个
: 也就不算是bug。
: 你这个需求，还要注意一点的是TF在CPU上的计算是多核的，而且很霸道。如果
你上多
: process，忙的时候不同的process抢资源，可能会死锁。
: with
【在 w***g 的大作中提到】
: 不光是TF，Python对多线程支持根本就不行，上点规模的轮子十有八九有这个问题。这
: 可以说是语言层面的事情，根本解决不了。老司机上python根本就不会用多线程，这个
: 也就不算是bug。
: 你这个需求，还要注意一点的是TF在CPU上的计算是多核的，而且很霸道。如果你上多
: process，忙的时候不同的process抢资源，可能会死锁。
:
: with
|
l*******m
发帖数: 1096 | 8 用tf serving，c++的server，提供grpc和rest apis. 自己用自己喜欢的语言做web
serving就好了。千万别用tf python api直接做serving. 如果要用，最好只开一次
session. 开关session不是thread safe的
【在 g****t 的大作中提到】
: CNTK说他家用了一些全局变量，所以不是thread safe的。
: 更牛。
: 散户攒一个可以支持一秒一百个request的机器学习服务器还真不容易啊。
: TF还有memory leak问题
: https://github.com/tensorflow/tensorflow/issues/10408
: Clear session不工作。
: 各位大牛。生产环境该怎么办？
|
g****t
发帖数: 31659 | 9 tf python API不能在别的web serving下直接工作，这是故意的吧
【在 l*******m 的大作中提到】
: 用tf serving，c++的server，提供grpc和rest apis. 自己用自己喜欢的语言做web
: serving就好了。千万别用tf python api直接做serving. 如果要用，最好只开一次
: session. 开关session不是thread safe的
|
l*******m
发帖数: 1096 | 10 不是故意的，是不容易。tf不是pure python, 基本上是call c++, 如果要保证thread
safe, 要在c++中加python 的lock。但python只是个接口，没必要。以前queue 需要
Python thread, 马上queue 就不支持了，所以tf正确写法就是一个thread.
：tf python API不能在别的web serving下直接工作，这是故意的吧
： |
