由买买提看人间百态

boards

本页内容为未名空间相应帖子的节选和存档,一周内的贴子最多显示50字,超过一周显示500字 访问原贴
Programming版 - 大家都pytorch model serving都怎么做?
相关主题
胡扯几句什么叫Deep Learning入门请教goodbug等大神几个AWS的问题
请教关于OpenNLP 和 Stanford NLP 选择请教高手一个C++问题
Re: 湾区的有没有要gtx 1080ti或者1080的?mxnet 这个东西有人用么?
ML一个design问题Pytorch靠谱吗?
How to make sure that I get the original object or only a copy (not original) in such situation?xgboost 训练大数据问题
another c++ interview question各位看好pytorch么?
[c++] static function in a classpytorch技术上先进一些?
C++做题,麻烦师傅们再看看。tf keras 这么多坑?
相关话题的讨论汇总
话题: pytorch话题: model话题: serving话题: 7g话题: onnx
进入Programming版参与讨论
1 (共1页)
s********k
发帖数: 6180
1
RT
f**********r
发帖数: 2137
2
onnx
r****t
发帖数: 10904
3
同问,pytorch model 怎么减少内存需求?最近玩了一个一上来就要分配7G内存,太贵
了。

【在 s********k 的大作中提到】
: RT
x****u
发帖数: 44466
4
这个?
https://pytorch.org/tutorials/intermediate/flask_rest_api_tutorial.html

【在 s********k 的大作中提到】
: RT
x****u
发帖数: 44466
5
7G内存不贵啊,7G显存才贵

【在 r****t 的大作中提到】
: 同问,pytorch model 怎么减少内存需求?最近玩了一个一上来就要分配7G内存,太贵
: 了。

r****t
发帖数: 10904
6
7G内存的instance比1G的可贵不少。

【在 x****u 的大作中提到】
: 7G内存不贵啊,7G显存才贵
x****u
发帖数: 44466
7
追求性价比的话,只能浪费内存而不能浪费显存啊

【在 r****t 的大作中提到】
: 7G内存的instance比1G的可贵不少。
r****t
发帖数: 10904
8
带显存的就更贵,更玩不起了,本来创造的价值就比较软,用显存margin直线下降。

【在 x****u 的大作中提到】
: 追求性价比的话,只能浪费内存而不能浪费显存啊
p***o
发帖数: 1252
9
pytorch这些免费,利润就会从其他地方来了。

【在 r****t 的大作中提到】
: 带显存的就更贵,更玩不起了,本来创造的价值就比较软,用显存margin直线下降。
x****u
发帖数: 44466
10
可以部署到客户端去

【在 r****t 的大作中提到】
: 带显存的就更贵,更玩不起了,本来创造的价值就比较软,用显存margin直线下降。
s********k
发帖数: 6180
11
ONNX是不错,不过听FB人说pytorch今后的支持有限了,比如发现ONNX不支持
sparsetensor, FB那个libtorch,有人用过吗

【在 f**********r 的大作中提到】
: onnx
s********k
发帖数: 6180
12
你是model本来就这么大吗?那只能裁剪model,CV还是NLP的?

【在 r****t 的大作中提到】
: 同问,pytorch model 怎么减少内存需求?最近玩了一个一上来就要分配7G内存,太贵
: 了。

1 (共1页)
进入Programming版参与讨论
相关主题
tensorflow的designHow to make sure that I get the original object or only a copy (not original) in such situation?
想上手deep learning的看过来another c++ interview question
GTX 1080 Ti 出来了[c++] static function in a class
help on GAMS! thx!!C++做题,麻烦师傅们再看看。
胡扯几句什么叫Deep Learning入门请教goodbug等大神几个AWS的问题
请教关于OpenNLP 和 Stanford NLP 选择请教高手一个C++问题
Re: 湾区的有没有要gtx 1080ti或者1080的?mxnet 这个东西有人用么?
ML一个design问题Pytorch靠谱吗?
相关话题的讨论汇总
话题: pytorch话题: model话题: serving话题: 7g话题: onnx