l******d
发帖数: 1633 | 1 最近做的东西经常用到心理学实验结果。有一个基础问题quant people
经常会想。为什么能够相信心理学实验的结果？怎么能证明subject没有
恶意捣乱，故意制造bias？ |
f*********d
发帖数: 166 | 2 如果是survey的话assume大多数人不捣乱，如果scale好（有repeated item）就可以挑出
捣乱的人。单个人的实验比较难，如果是cognitive实验，比如reaction time,
也可以挑出outlier,如果是case study,可以用subjective measure 和objective measure
结合；如果是interview,配上physiological measure也可以找出说谎的人。实在不行
还可以在实验结束后问subject how do you feel,对本次试验目的有没有猜测。总之
要具体问题具体分析了，跟实验步骤的设计也有很大关系。一般来说如果试验涉及
deceit而且设计的不是很完美的时候subject最有motivation mess you up。我觉得
任何一个实验中都可能会遇到存心捣乱的人，特别是像psych.100 subject pool这种
mandatory的subject,不过如果步骤设计的好还是可以挑出恶意捣乱的人的，比如
reaction time这种东西如果有人捣乱一下就看出来了....
【在 l******d 的大作中提到】
: 最近做的东西经常用到心理学实验结果。有一个基础问题quant people
: 经常会想。为什么能够相信心理学实验的结果？怎么能证明subject没有
: 恶意捣乱，故意制造bias？
|
l******d
发帖数: 1633 | 3 那就是说其实你们也承认是有人会捣乱了？那有没有人研究过
一个实验结果会有多大的可能性是假的，无效的呢？
对于某些实验来讲，比如你所说的单个人的试验等，这个
可能性是很大的。我看到好多都是直接用实验结果数据做统计
分析，然后就出结论，没看见谁把结果的creditability的
probability考虑进去，然后做correction。最多也就是来个
定性分析，说实验结果可能会有那个方向的bias。quant people
都是拿数字说话的，所以经常会觉得不爽，呵呵
【在 f*********d 的大作中提到】
: 如果是survey的话assume大多数人不捣乱，如果scale好（有repeated item）就可以挑出
: 捣乱的人。单个人的实验比较难，如果是cognitive实验，比如reaction time,
: 也可以挑出outlier,如果是case study,可以用subjective measure 和objective measure
: 结合；如果是interview,配上physiological measure也可以找出说谎的人。实在不行
: 还可以在实验结束后问subject how do you feel,对本次试验目的有没有猜测。总之
: 要具体问题具体分析了，跟实验步骤的设计也有很大关系。一般来说如果试验涉及
: deceit而且设计的不是很完美的时候subject最有motivation mess you up。我觉得
: 任何一个实验中都可能会遇到存心捣乱的人，特别是像psych.100 subject pool这种
: mandatory的subject,不过如果步骤设计的好还是可以挑出恶意捣乱的人的，比如
: reaction time这种东西如果有人捣乱一下就看出来了....
|
j****e
发帖数: 245 | 4 I think there is a serious focus on internal validity of research, its design
and methodology during the training of becoming a psychologist or any kind of
researcher. I think psychology emphasizes it a great deal, even more than some
other disciplines. Various measures are generally adopted to insure the
realiability and validity of research result. Potential problems are
identified and to be aware of.
Of course, in the field of scientific research, there is no absolutely perfect
ideal study. V
【在 l******d 的大作中提到】
: 那就是说其实你们也承认是有人会捣乱了？那有没有人研究过
: 一个实验结果会有多大的可能性是假的，无效的呢？
: 对于某些实验来讲，比如你所说的单个人的试验等，这个
: 可能性是很大的。我看到好多都是直接用实验结果数据做统计
: 分析，然后就出结论，没看见谁把结果的creditability的
: probability考虑进去，然后做correction。最多也就是来个
: 定性分析，说实验结果可能会有那个方向的bias。quant people
: 都是拿数字说话的，所以经常会觉得不爽，呵呵
|
s**********g
发帖数: 26 | 5 The Henshel (1980) JESP article might give us
another perspective to look at the criticism of the realism/artificiality of
experimentation. He distingruishes the two purposes of scientific research:
verficationa and discovery. Artificiality should be avoided for the purpose of
verification but may be fundamental for the purpose of discovery. The
verification model utilizes natural conditions in order to generalize the
results to the existent outside world. In the context of discovery, however,
a
【在 j****e 的大作中提到】
: I think there is a serious focus on internal validity of research, its design
: and methodology during the training of becoming a psychologist or any kind of
: researcher. I think psychology emphasizes it a great deal, even more than some
: other disciplines. Various measures are generally adopted to insure the
: realiability and validity of research result. Potential problems are
: identified and to be aware of.
: Of course, in the field of scientific research, there is no absolutely perfect
: ideal study. V
|
a*e
发帖数: 431 | 6 人家fallingwind噼里啪啦打了半天字，说的就是怎样纠正实验误差，
您倒好，到底怎样纠正实验误差啥也没看见，就看见心理学实验有误差。
//ft
【在 l******d 的大作中提到】
: 那就是说其实你们也承认是有人会捣乱了？那有没有人研究过
: 一个实验结果会有多大的可能性是假的，无效的呢？
: 对于某些实验来讲，比如你所说的单个人的试验等，这个
: 可能性是很大的。我看到好多都是直接用实验结果数据做统计
: 分析，然后就出结论，没看见谁把结果的creditability的
: probability考虑进去，然后做correction。最多也就是来个
: 定性分析，说实验结果可能会有那个方向的bias。quant people
: 都是拿数字说话的，所以经常会觉得不爽，呵呵
|
l******d
发帖数: 1633 | 7 exactly,这就是我想问的。exploratory research就跟这个bbs上
挖坑一样，主要目的就是make some noise，让更多人去思考这个
topic。所以就会有totally wrong的paper的citation反而很高。
但当做verification或proof的时候，需要的就是严格。
我经常看到一些paper,建了个model，做了试验，然后anova分析
一下就说他的model成立了。我的感觉是，他那个试验是deliberately
do so,能不出这个结果才怪呢。
【在 s**********g 的大作中提到】
: The Henshel (1980) JESP article might give us
: another perspective to look at the criticism of the realism/artificiality of
: experimentation. He distingruishes the two purposes of scientific research:
: verficationa and discovery. Artificiality should be avoided for the purpose of
: verification but may be fundamental for the purpose of discovery. The
: verification model utilizes natural conditions in order to generalize the
: results to the existent outside world. In the context of discovery, however,
: a
|
l******d
发帖数: 1633 | 8 hehe,我看到了，很感谢，但只是决定没有完全解决我的疑问。
首先他只说了挑出outlier，但没说怎么对付bias。另外他
也说了单个人的比较难。
另外，统计里即使证明一个hypothsis也会给一个test的 p值
做参考，说明这个hypothsis有多大的可能性是错的。但心理
实验里我没看见这个参数。
现在的过程是这样，作者做一个实验，纠正一些误差后就缺省
的认为这个实验是100%的truth，然后用这个结果做"统计"分析。
让我觉得这个逻辑很不严格。统计思想没有贯彻始终。我认为
起码应该是两步的probability的叠加才有意义。特别是当实验
这一步的误差并不是小到可以忽略不计的时候。
【在 a*e 的大作中提到】
: 人家fallingwind噼里啪啦打了半天字，说的就是怎样纠正实验误差，
: 您倒好，到底怎样纠正实验误差啥也没看见，就看见心理学实验有误差。
: //ft
|
h*i
发帖数: 3446 | 9 I am not aware of any psychologists consider their experimental results are
100% truth.
I wonder if you read any serious experimental paper carefully: any and every
result section has that p value you refer to.
As to the issue of subjects deliberately faking a result, it is a valid
question. However, an experienced paper reviewer can almost always catch this
kind of design error.
Remember, an good experimental design should conceal the real purpose of the
study, so that a systematic bias will no
【在 l******d 的大作中提到】
: hehe,我看到了，很感谢，但只是决定没有完全解决我的疑问。
: 首先他只说了挑出outlier，但没说怎么对付bias。另外他
: 也说了单个人的比较难。
: 另外，统计里即使证明一个hypothsis也会给一个test的 p值
: 做参考，说明这个hypothsis有多大的可能性是错的。但心理
: 实验里我没看见这个参数。
: 现在的过程是这样，作者做一个实验，纠正一些误差后就缺省
: 的认为这个实验是100%的truth，然后用这个结果做"统计"分析。
: 让我觉得这个逻辑很不严格。统计思想没有贯彻始终。我认为
: 起码应该是两步的probability的叠加才有意义。特别是当实验
|
h*i
发帖数: 3446 | 10 I think it is understandable to question the validity of psychological
studies, especially if one's world view include the idea that people have
absolute free will.
But the whole point of psychological research is based on the assumption that
people do not have abosolute free will, and thus are amicable to manipulation.
A good experimental design is one that manipulates the subjects (what
sitimulus they receive, what action they are to perform, etc.) to the extent
that the subjects' inner aptitu
【在 l******d 的大作中提到】
: 最近做的东西经常用到心理学实验结果。有一个基础问题quant people
: 经常会想。为什么能够相信心理学实验的结果？怎么能证明subject没有
: 恶意捣乱，故意制造bias？
|
|
|
j****e
发帖数: 245 | 11
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~support
this
【在 h*i 的大作中提到】
: I am not aware of any psychologists consider their experimental results are
: 100% truth.
: I wonder if you read any serious experimental paper carefully: any and every
: result section has that p value you refer to.
: As to the issue of subjects deliberately faking a result, it is a valid
: question. However, an experienced paper reviewer can almost always catch this
: kind of design error.
: Remember, an good experimental design should conceal the real purpose of the
: study, so that a systematic bias will no
|
r******s
发帖数: 2155 | 12 Social desirability could be a problem in some situations.
However, this assumption is based on several hypothses.
1. You need to assume participants understand the experimenter's intention.
This experimenter effect and its remedy has been widely discussed.
A carefully designed study can help reduce this possibility.
2. You need to assume participants have the motivation to 捣乱.
Clearly, you need to put in mor effort to figure out what experimenters want
and do the opposite, which is much more ef
【在 l******d 的大作中提到】
: 那就是说其实你们也承认是有人会捣乱了？那有没有人研究过
: 一个实验结果会有多大的可能性是假的，无效的呢？
: 对于某些实验来讲，比如你所说的单个人的试验等，这个
: 可能性是很大的。我看到好多都是直接用实验结果数据做统计
: 分析，然后就出结论，没看见谁把结果的creditability的
: probability考虑进去，然后做correction。最多也就是来个
: 定性分析，说实验结果可能会有那个方向的bias。quant people
: 都是拿数字说话的，所以经常会觉得不爽，呵呵
|
r******s
发帖数: 2155 | 13 hehe, he has only one hand.
以挑出
measure
不行
之
得
种
【在 a*e 的大作中提到】
: 人家fallingwind噼里啪啦打了半天字，说的就是怎样纠正实验误差，
: 您倒好，到底怎样纠正实验误差啥也没看见，就看见心理学实验有误差。
: //ft
|
r******s
发帖数: 2155 | 14
check type I and II error, power analysis, and effect size.
Any basic stat books should have them.
If you have evidence to prove this, it should be a good
study.
【在 l******d 的大作中提到】
: hehe,我看到了，很感谢，但只是决定没有完全解决我的疑问。
: 首先他只说了挑出outlier，但没说怎么对付bias。另外他
: 也说了单个人的比较难。
: 另外，统计里即使证明一个hypothsis也会给一个test的 p值
: 做参考，说明这个hypothsis有多大的可能性是错的。但心理
: 实验里我没看见这个参数。
: 现在的过程是这样，作者做一个实验，纠正一些误差后就缺省
: 的认为这个实验是100%的truth，然后用这个结果做"统计"分析。
: 让我觉得这个逻辑很不严格。统计思想没有贯彻始终。我认为
: 起码应该是两步的probability的叠加才有意义。特别是当实验
|
j****e
发帖数: 245 | 15 Title
How effective are people at faking on personality questionnaires?
[References].
Author
Martin, BA; Bowen, C-C; Hunt, ST.
Source
Personality & Individual Differences. Vol 32(2) Jan 2002, 247-256.
Elsevier Science, United Kingdom
Abstract
Whether respondents are able to fake their answers on personality
questionnaires when so instructed and whether they are able to fake equally
well on normative and ipsative type scales was investigated. 301 Ss (aged
17-61 yrs) completed both a normative and
【在 l******d 的大作中提到】
: 那就是说其实你们也承认是有人会捣乱了？那有没有人研究过
: 一个实验结果会有多大的可能性是假的，无效的呢？
: 对于某些实验来讲，比如你所说的单个人的试验等，这个
: 可能性是很大的。我看到好多都是直接用实验结果数据做统计
: 分析，然后就出结论，没看见谁把结果的creditability的
: probability考虑进去，然后做correction。最多也就是来个
: 定性分析，说实验结果可能会有那个方向的bias。quant people
: 都是拿数字说话的，所以经常会觉得不爽，呵呵
|
f*********d
发帖数: 166 | 16 还是要具体问题具体分析吧，其实我倒觉得被试捣乱不是心理统计中最大的问题，
因为少数人的行为很容易被cancel out，没有人说心理实验的结果是100%准确的，
比如你看alpha，就不是要求1，.8以上就很credible，就是说这个结果虽然不是perfect,
但是总体上还是credible的。
我觉得问题比较大的是如何解释数据，这其中的trick就太多了，比如搞evolutionary
psychology的buss老先生，最近看他的东西，有几次看着看着就气毛了...不说了，
evolutionary psychology还是挺有意思的，但要人人都像他那样abuse statistics
就没法说了，死得也能给说活了。
【在 l******d 的大作中提到】
: exactly,这就是我想问的。exploratory research就跟这个bbs上
: 挖坑一样，主要目的就是make some noise，让更多人去思考这个
: topic。所以就会有totally wrong的paper的citation反而很高。
: 但当做verification或proof的时候，需要的就是严格。
: 我经常看到一些paper,建了个model，做了试验，然后anova分析
: 一下就说他的model成立了。我的感觉是，他那个试验是deliberately
: do so,能不出这个结果才怪呢。
|
h*i
发帖数: 3446 | 17 Questionnaire is self-reporting, where faking is expected, and is inherently
hard to deal with.
Experiment is an entirely diffirent instrument. The very goal of doing
experiments is to avoid self-reporting. Experimental psychologists have known
all along that people do not do as they say. Subjects' experimental
performance mostly does not bear any correlation with their self-reported
performance. In my own experience, it is very much a true statement.
personality
Results
amount
in
group,
fakin
【在 j****e 的大作中提到】
: Title
: How effective are people at faking on personality questionnaires?
: [References].
: Author
: Martin, BA; Bowen, C-C; Hunt, ST.
: Source
: Personality & Individual Differences. Vol 32(2) Jan 2002, 247-256.
: Elsevier Science, United Kingdom
: Abstract
: Whether respondents are able to fake their answers on personality
|
r******s
发帖数: 2155 | 18
known
This statement is too extreme. Human judgment is inaccurate most of the
time, but there are clearly relatively strong (moderate effect size) link
between self-report and action. Maybe some references for you later.
【在 h*i 的大作中提到】
: Questionnaire is self-reporting, where faking is expected, and is inherently
: hard to deal with.
: Experiment is an entirely diffirent instrument. The very goal of doing
: experiments is to avoid self-reporting. Experimental psychologists have known
: all along that people do not do as they say. Subjects' experimental
: performance mostly does not bear any correlation with their self-reported
: performance. In my own experience, it is very much a true statement.
:
: personality
: Results
|
a*e
发帖数: 431 | 19
不光是abuse statistics，俺觉得他们有些东西理论上有道理，
但是测量起来好像经常很诡异的说。。因此论敌也有不少，
比如UCSD的Christine Harris等等。
David Buss我觉得他80年代做的东西还是很好的，当时他还是一个人格心理学家。
【在 f*********d 的大作中提到】
: 还是要具体问题具体分析吧，其实我倒觉得被试捣乱不是心理统计中最大的问题，
: 因为少数人的行为很容易被cancel out，没有人说心理实验的结果是100%准确的，
: 比如你看alpha，就不是要求1，.8以上就很credible，就是说这个结果虽然不是perfect,
: 但是总体上还是credible的。
: 我觉得问题比较大的是如何解释数据，这其中的trick就太多了，比如搞evolutionary
: psychology的buss老先生，最近看他的东西，有几次看着看着就气毛了...不说了，
: evolutionary psychology还是挺有意思的，但要人人都像他那样abuse statistics
: 就没法说了，死得也能给说活了。
|
e****d
发帖数: 44 | 20 Quoted from an introductory book.
Correlational vs. experimental research.
Most empirical research belongs clearly to one of those two general
categories. In correlational research we do not (or at least try not to)
influence any variables but only measure them and look for relations
(correlations) between some set of variables, such as blood pressure and
cholesterol level. In experimental research, we manipulate some variables and
then measure the effects of this manipulation on other variables
【在 h*i 的大作中提到】
: Questionnaire is self-reporting, where faking is expected, and is inherently
: hard to deal with.
: Experiment is an entirely diffirent instrument. The very goal of doing
: experiments is to avoid self-reporting. Experimental psychologists have known
: all along that people do not do as they say. Subjects' experimental
: performance mostly does not bear any correlation with their self-reported
: performance. In my own experience, it is very much a true statement.
:
: personality
: Results
|
