l***a
发帖数: 12410 | 1 thanks a lot.
my sas is 9.1.3 so the logistic procedure doesn't have the ROC statment
integrated yet. and since we didn't buy all the softwares, the proc iml is
also not available, which is called in the ROC macro provided by SAS.
but I do see there is "c" shown in the output of proc logistic and it's
related to condordance rate. is this the AUC provided by proc logistic your
mentioned?
I also tried to do the simple calculation of AUC based on the outroc file by
interporation, the result looks c |
|
j*****e
发帖数: 182 | 2 To get the ROC, you should use the outroc option in proc logistic and plot
the output data using proc gplot.
The c value in SAS output corresponds to AUC.
AUC is used to compares two models. It is hard to make a conclusion based a
single value. And it wouldn't give you a parcimonious model.
As I said, deviance over degree-of-freedom is the best way to measure fit.
The 90% you mentioned seems to comes out of a cross-classification table.
What cut-off value did you use to make a decision? Remember |
|
T*******I
发帖数: 5138 | 3 仅有三个观察对象，用什么方法都很难给出有效的检验结果，即使AUC也不行，
因为我们很难从如此小的样本量得出变异的统计规律。当然，如果你将三个对象的
AUC之间的差异看成是确定性的，那就另当别论了。
这样说不是说就不可给出一个统计结论。对于如此小的样本，直接陈述观察结
果就可以了，无需检验。如果你非要检验不可，尽管在检验的数学计算上没有困难，
但在统计学的逻辑解释上几乎没有意义，因为你的检验结论将直接被你的过小样本量
所怀疑或否定而不是得到证实。 |
|
R******d
发帖数: 1436 | 4 我balance的目的是，试了不同的ratio，balance的performance最好。
我是故意要很高的specificity的，sensitivity和specificity可以通过设定不同的
prediction score threshold来实现。一般都是报道两者加和最大时候的值吧？AUC这
个指标和数
据是balance和imbalanced的无关。我的AUC在0.88
我的目的是只要找到就行，不需要都找到，所以把specificity调得很高。对于我的处
理方法，算ppv
是应该按balance还是imbalance的来算？
profit lift怎么用？
matrix |
|
d*******o
发帖数: 493 | 5 Skewed interval outcome还可以做transformation. Unbalanced binary outcome好像
也没什么办法。我估计，楼主balance的后果是增加了positive outcome的权重。线性
模型估计影响很大，非线性模型影响还好。
我好奇楼主是怎么把”多次结果汇总的“。另外，楼主的AUC是validation时候的AUC吗？ |
|
|
o****o
发帖数: 8077 | 7 for the binary case, by 'beat' I mean high AUC with low MSE(AUC) on CV
what is your definition for Accuracy and Generalizability? |
|
A*******s
发帖数: 3942 | 8 说说问题3。我不太懂fraud detection，但是这种binary classcification的问题，在
实践里普遍更关注的是rank ordering。所以ROC，AUC的概念是一定一定要提到的。
尤其是fraud这种rare event/highly unbalanced data，基于misclassification rate
来直接优化问题会很大，likelihood好像也不会很好，oversampling的手段虽然会有改
善，但是也有限。现在有不少研究是把AUC当优化目标的，据说效果要好不少。但是难
度很大，因为loss function不是连续的。 |
|
A*******s
发帖数: 3942 | 9 为啥纠结呢？有啥更好的metric么？
我的理解是其实overall AUC和(max) KS都没啥实际意义
某个score bin的partial AUC和KS才有。 |
|
d**s
发帖数: 1255 | 10 there are a few approaches, AUC, NRI, IDI, etc.
the easy way might be AUC
药后 |
|
p*****y
发帖数: 34 | 11 这种情况用auc看不出来，因为good order >> fraud order.
btw, 我的Model 的auc也大于0.9 |
|
D******n
发帖数: 2836 | 12 你这个又不是roc curve当然不等。
试想，在score 50% percentile的时候 对应 一个response%， 也就是roc里面的TPR
假设这个值是 t50, 那么这个点在你的curve上是 （0.5，t50)
下面让我们来看看，这个点换成ROC会在哪里。
假设你的score比较好，response都push到前面，所以导致FPR在你这个score 50%的时
候小于0.5 （因为TP过多挤在前面）。
所以这点就变成 (<0.5, t50)
看，这点到左边了，所以整条ROC应该是会包住你的这个curve，所以ROC的AUC一定大于
你这个curve的AUC。 |
|
j****k
发帖数: 46 | 13 哦，就是说confusion matrix里的sensetivity太低了，需要比如通过plot auc with
respect to different cutoff来选取合适的cutoff in order to maximize auc?银行
感兴趣的是event of fraud，miss掉的tradeoff应该可以接受的吧，谢谢:D |
|
v*******e
发帖数: 11604 | 14 R里面用function。
modelscore = function(model){
花括号里面写function的内容
在这里产生KS, AUC之类的东西，可以返回成一个list，
这样的：return(list(KS,AUC))
}
使用是这样的：
outputscore1 = modelscore(你的第一个model)
outputscore2 = modelscore(你的第二个model) |
|
t*****a
发帖数: 459 | 15 你的sample size是多少？多少个independent variable？模型的目的是hypothesis
testing还是predict future？
评价model看AUC和calibration, 这两个方面都重要。你的模型如果predict出的越高风
险组越over-estimate (或者统一往一个方向under-estimate），那最后AUC还是很好，
calibration就不行。 |
|
q****3
发帖数: 20 | 16 For binary outcome, c statistics=AUC. How to calculate AUC with only one
data point in the ROC space? |
|
E**********e
发帖数: 1736 | 17 数据分三分，其中一份是最近的，没有参与modeling，只是最后用来assess model 最
后的performance。另两份用来做cross validation. 现在的问题是cross validation
里in sample 和 out sample 的AUC接近合理。但是第三份反而好的多。当然第三份是
最近的，不是random 分出来的，跟cross validation 不一样是正常的。那么我可以说
我的model不错，基于第三份高的AUC? |
|
b*****s
发帖数: 11267 | 18 你说了最近那就是有时间信息，前两份你却按random 分？
[在 ExpressoLove (MoneyForNothing) 的大作中提到：]
:数据分三分，其中一份是最近的，没有参与modeling，只是最后用来assess model
最后的performance。另两份用来做cross validation. 现在的问题是cross
validation 里in sample 和 out sample 的AUC接近合理。但是第三份反而好的多。当
然第三份是
:最近的，不是random 分出来的，跟cross validation 不一样是正常的。那么我可以
说我的model不错，基于第三份高的AUC? |
|
l***j
发帖数: 59 | 19 关于evaluation，想知道这个model的target variable是啥，是一个分类问题，还是
regression？比如是预测default rate还是收益啥的。
那么相应的选什么作为metrics就很重要，比如AUC、GINI、F1等
再就是是不是balance的，如果0 1分类中1只占1%，那么很高的AUC也不一定说明这个
model值得信赖，比如全都标成0.
这个项目还是很值得一做的，要相信，lending club的model也是他们的model团队搞出
来的，要有信心赛过他们 |
|
m****g
发帖数: 530 | 20 美国费城儿童医院一个由Hakon Hakonarson主持的研究小组将一种计算机程序——全
基因组关联研究，应用到基因标记
物上，与传统的评估患1-型糖尿病概率的方法相比，该方法有更高的准确性。该技术或
许能够应用到某些复杂的多基因疾
病上，也将促进针对患者的基因特征开发出个性化的治疗药物。该研究报告发表在10月
9日的《PLoS Genetic》杂志网络
版上。
全基因组关联研究(Genome-wide association studies, GWAS)是一种自动基因分
型工具，旨在从人类基因组中寻找致
病的基因变异体，使医生能够准确预测出个体患某种疾病的可能性，从而达到早预防早
治疗的目的。
据论文作者说，目前，许多疾病的致病主要基因仍然未被发现，而一些研究也只是有选
择性的选取小部分基因变异体进行
研究，所以研究结果有很大的局限性。在近期的一些研究中，研究人员通常利用曲线下
面积 (the area under the
curve,AUC)来评估患病率，AUC值一般在0.55~0.6之间，因此临床应用价值不大。
Hakonarson研究组拓宽基因变异体的研究范围，广 |
|
m****a
发帖数: 254 | 21
Rome are quite good. Great job!
Maybe I spot some very minor slips.
e.g.
1).The author says: 731BC April 21, the birthday of Rome and still celebrated
today.
Yes, this special day is called Parilia, still celebrated in Italy.
But the birthday of the city, which is called AUC (ab urbe condita) date,
perhaps, should be 753/754 BCE???
2)The author said or implied that after praetor, you may go to the position of
censor.
But censor was a highly reputed position. After a certain date in the
Republic |
|
l******6
发帖数: 5698 | 22 我还真有点被你弄糊涂了。
这支付宝不就是个支付账户管理吗，虽然金额走的很多，听上去很吊，但只不过旱涝保
收抽点微乎其微的bps佣金而已，或者可能还有考些放贷？但具体资金走动每一步度得靠商行支持。那点
你看出来他关乎国家利益
了？
其实这个就跟商业银行的托管业务有点像，听上去AUC的市值能有上
trillion的资产很唬人，其实利润不过quarter bps而已。当然支付宝的钱比托管要灵活很多。 |
|
F****8
发帖数: 289 | 23 汤光文的黄金大米paper用的是deuterium同位素标记，无放射性。这篇paper用
了68个小孩。（PubMed）汤的问题是对规则
的漠视，以及受试者的不知情。在这篇paper中，有以下声明：The study recruitment
processes and protocol
were approved by the Institutional Review Board–Tufts
Medical Center in the United States and by the Ethics Review
Committee of Zhejiang Academy of Medical Sciences in China.
Both parents and pupils consented to participate in the study.
但据说只让学生和家长看了知情书的最后一页。
Am J Clin Nutr. 2012 Sep;96(3):658-64. doi: 10.3945/ajcn.111.030775. Epub
2012 Aug 1.
β-Carotene... 阅读全帖 |
|
f***a
发帖数: 11477 | 24 关键PDA也不管用，AUC也就75%左右。当然比大部分50%的扔骰子的强。
这个文章张口就来90%，他以为他是傅萍啊。难怪没人理。 |
|
d****o
发帖数: 32610 | 25 按世行数据，
以00年美元价值计算，
中国现在人均GDP还不如日本1960年水平
再精确一点，PPP有到90年的数据，
中国现在大概有韩国93年左右的水平
起点差距实在太大，
现在赶成这样已经不容易了
科技发展是积累的过程，
本来应该按AUC比较，
现在混成这样已经算超常发挥，
不应该觉得现在不如日本是什么很奇怪的事情
但也没理由认为以后就没法超过
这肯定是迟早的事情 |
|
发帖数: 1 | 26 【 以下文字转载自 Biology 讨论区 】
发信人: Gini (八戒又来了), 信区: Biology
标 题: 关于乳腺癌，说说我最近自己做的这个 Project 吧
发信站: BBS 未名空间站 (Thu May 17 20:58:15 2018, 美东)
去年的时候，我一个在芝加哥比我小几级的南京大学校友去世了。乳腺癌，发现得晚了
，才34岁，留下了一个4岁的孩子。非常可惜。想想能不能做点什么事情可以帮助大众
来提高乳腺癌的早期检测成功率。因为如果在 stage 1 发现乳腺癌的话，5年存活率是
99%。
想想能否写一个完全免费的网站和 ios app 来让用户可以迅速得到 X-ray Mammogram
的诊断结果。至少可以是 2nd Opinion. 因为用户做完 Mammography 之后有的时候需
要等好几周才能有 Radiologist 来读片子。而且现在 Radiologist 有20% 的概率会漏
掉早期的肿瘤。我决定用 Deep Learning (深度学习) 来做这件事情。
对于一个足够好的 Deep Learning Model, 一是要有足够多的数... 阅读全帖 |
|
a******9
发帖数: 20431 | 27 不错 不过这个应该不能用auc来train
mammogram的false positive太高
false negative又很低 可是又要命
：【 以下文字转载自 Biology 讨论区 】
：发信人: Gini (八戒又来了), 信区: Biology |
|
|
|
l****p
发帖数: 397 | 30 common things是指哪些？换机油和调换轮胎得有很多设备，虽然是简单劳动，但家里
太小，没地方放那些设备，而且我们住学校里，学校不允许我们在学校里换机油。
我自己给我那辆dfbb换过rear speaker，装过一个可以插iPhone或mp3 player的auc in
，我觉得这种难度的活我还能handle，再难就不好说。 |
|
g********d
发帖数: 19244 | 31 ☆─────────────────────────────────────☆
linzhp (民为贵，社稷次之，君为轻) 于 (Tue Feb 12 19:57:38 2013, 美东) 提到:
三辆都是mid-size cuv，应该有可比性。都说日车比较轻，比较软，可是查了一下08年
的这三款车的curb weight，Highlander和Edge都是4000+lb，equinox最轻的，是3600+
lb。既然有这重量，Highlander应该也软不到哪去吧，难道用了什么又重又软的材料？
是不是日车给人的印象主要来自于dfbb？SUV, CUV, Minivan又是另一回事？
PS: 想搞一辆比较抗撞的mid-size suv/cuv，一家老小出门时用，预算12k（穷博士一
枚），有什么推荐的？除了抗撞外的第二考虑因素是维护成本，不想整天修车，也花不
起。因为平常开得不多，油耗不太重要。resale value也不是很重要，因为等到下一次
想换车时应该也不太在乎这点差别了
☆─────────────────────────────────────☆
dola ... 阅读全帖 |
|
|
|
|
|
y**d
发帖数: 104 | 36 There are many good universities in the Middle East, such as AUC and AUB.If
you are in social sciences or humanities, I think you'll just love the rich
history, diverse culture and social dynamics in this region.
For females, it's not like what you think..If you love fashion, you could
enjoy it to the highest degree (unlike here in the states), especially if
you're close to Dubai...
I think the bottom line is that you have to be somewhat adventurous (
actually, it's very safe adventure), and VER |
|
E**********e
发帖数: 1736 | 37 下面是我发在数据科学版的帖子。感兴趣的可以看看。不知有没有可以帮个忙告知下选
notes是有是么变量? 我的是从notes数据里挑选的变量，不知是不是你们选notes是的
变量或者filter。我现在还没开户，正攒钱。但是呢，想把模型建好，说不定真能构成
投资建议。有人愿意帮忙的话，请PM。结果可以共享。
_________________________________________
我利用空余时间做了下risk modeling。 之所以做，就是想用来构成投资建议。 比如
，开个户， 然后用自己的模型来选notes。
lending club的noets 有22% default rate，挺高的啊。 自己的模型能到AUC 0.702，
就是最简单的logistic regression。 random forest 和boosting 要低点。当然这个
跟没有细调参数有关。 不过还是想用logistic regression， 其他的方法只是作为个
参考。
同时也试着做了个kaggle的give me some credit。 目前logistic regression 可以到... 阅读全帖 |
|
|
c****m
发帖数: 179 | 39 决定攒个rp，电面和昂斯特面经（只包括还记得细节的），希望对machine learning方
向的人有帮助，虽然我个人觉得这种东西靠面经突击不好，不过也在班上看过别人的面
经，还是友好互助一把。
1 machine learning 101 + linear regression 推导， AUC
2 merge sort coding
3 NLP 101 + parsing the query with known name entity (coding)
4 large scale clustering + feature selection
5 Skip list coding + optimize 算法（真心没见过，一个S大的phd一起推了半天才搞
定，挺high的）
6 一个摸球的conditional probability问题。
7 彩票这个问题是要在手机端设计一个fair的彩票系统，可以允许同一个号码被重复购
买，但是不能有k个数字里面不能有重复。 我觉得自己答的没问题，（感觉目前的回
复也没指出问题。。）自己总结了一下有两点可能当时没有明确指出来，应该在每一台
... 阅读全帖 |
|
E**********e
发帖数: 1736 | 40 说好事vedio talk，为此专门买了高清晰vedio camera。 结果今天被告知没有vedio
room available。 最后电话interview。
先是自我介绍。 简单讲讲我做的工作。 后来问了两个问题。 第一个没听清题， 让他
重复一遍， 反而要求我重复。 后来来回拉锯，最后尽管提示了几次， 大衣是
candidate A和B, voting recorder in the pool， 被问怎么知道candidateA的
information。 还是没有完全理解问题。
第二个是比较不同的time series 的 model， 怎么选model， 是否可以选两个model。
我回答用some metric 比较好坏， 比如 AUC， KL-divergence， sum of Squre of
resideue是么， 再扯点 F test。 最后stuck 在MSE上， 被问用mse 有是么问题。 后
来经提示如果 value 比较相差大， mse 有是么问题。 我回来要adjust， including
extra variability。 最后估计就是是个是... 阅读全帖 |
|
c**i
发帖数: 6973 | 41 Pam Belluck, Is It Boy Or Girl? A Test At 7 Weeks; Simple DNA analysis with
high accuracy. New York Times, Aug 10, 2011.
http://www.nytimes.com/2011/08/10/health
/10birth.html?_r=1&scp=1&sq=dna%20fetus&st=cse
Excerpt in the window of print: A fast, noninvasive measure of fetal DNA in
the mother's blood
My comment:
(a) The report is based on
Stephanie A. Devaney SA et al, Noninvasive Fetal Sex Determination Using
Cell-Free Fetal DNA; A systematic review and meta-analysis. Journal of
American Medi... 阅读全帖 |
|
J******n
发帖数: 307 | 42 NEXT WEEK'S ACTIONABLE EVENTS
MONDAY
Earnings Before:Campbell Soup
Earnings After:
Economic:Existing Homes Sales
Other: Most European Markets Closed
TUESDAY
Earnings Before: AutoZone, Cracker Barrel
Earnings After: TIVO
Economic: Consumer Confidence, Home Price Index, Crude Inventories,
Case-Shiller
WEDNESDAY
Earnings Before: American Eagle, Toll Brothers
Earnings After: Dress Barn, NetApp, Take Two
Economic: MBA Mortgage Applications, Durable Goods, New Home Sales, 5-
Year Treasury Auc |
|
f******6
发帖数: 68 | 43 来自主题: Immigration版 - 审稿转让 现转让一篇英国皇家化学学会的杂志的稿子.
如果有相关的经验,又需要审稿,请把你的名字,单位,非个人的email发到我的邮箱.
Molecular BioSystems
TITLE: Prediction of drug-target interaction by label propagation with
mutual interaction information derived from heterogeneous network
ABSTRACT:
Identification of potential drug-target interaction pairs is very important,
which is not only for providing greater understanding of protein function,
but also for enhancing drug research, especially for drug function
repositioning. Recently, numerous machine learning... 阅读全帖 |
|
|
N********n
发帖数: 13236 | 45 You went to the wrong place and looked at the wrong car.
For those who are interested in auction cars, they are looking at 2~3 year
old, off-lease cars.
For example, a 2007 BMW is off-lease from the first owner. The car will be
completely examined before being returned. Otherwise, the first owner needs
to pay a big penalty. This step assures the high quality of off-lease cars.
Next, the financial institute who owns this car (say, Citibank auto loan)
will save all the hassle and put it to the auc |
|
|
|
|
L******4
发帖数: 1778 | 49 好，谢谢建议哈
我打算今天调试一下，看看能否有所改善
现在这个版本是按照一个资料上说的，混响，调试的事 Auc bus--Snare Drum..还请高
手指点啊 |
|
l*******y
发帖数: 4006 | 50 这是实情， 我觉得CL的D700要赶着1500的价位买
auc就得买>20k的 |
|
