On 4/20/06, Edmund Schaefer<div><span class="gmail_quote"><b class="gmail_sendername"></b> <<a href="mailto:edmund.schaefer@gmail.com">edmund.schaefer@gmail.com</a>> wrote:</span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;">
<div style="direction: ltr;">On 4/19/06, <b class="gmail_sendername">Martin Striz</b> <<a href="mailto:mstriz@gmail.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">mstriz@gmail.com</a>> wrote:
<br><div><span class="gmail_quote"><snip><br></span><blockquote class="gmail_quote" style="border-left: 1px solid rgb(204, 204, 204); margin: 0pt 0pt 0pt 0.8ex; padding-left: 1ex;"></blockquote></div><div style="direction: ltr;">
<span class="q">
On 4/19/06, Eliezer S. Yudkowsky <<a href="mailto:sentience@pobox.com" target="_blank" onclick="return top.js.OpenExtLink(window,event,this)">sentience@pobox.com</a>> wrote:<br></span></div><div style="direction: ltr;">
<span class="q">> No one in China has ever seen the Emperor of China, but everyone can<br>> guess his height to within plus or minus one meter.  Therefore, by
<br>> polling a million Chinese and averaging their estimates, the law of<br>> large numbers says we can get an estimate of the Emperor's height that<br>> is accurate to within one millimeter.<br><br>But I think that's the point.  You sampled a billion people in exactly
<br>the same way.  If you start with a number of studies, each with<br>different methodologies, then you hope to minimize the  bias in each<br>one.</span></div><div style="direction: ltr;"><div> <br><br>By taking lots of studies and averaging the findings together, you're polling studies. In the Emperor of China analogy, each citizen's estimate is a (highly inaccurate) study trying to answer the question "How tall is the Emperor?" This is not to say that studies of global warming are as methodologically flawed as the average Chinese person's guess as to the height of the emperor, but that averaging bad studies together, which may have correlated biases (say, hypothetically, the Emperor is depicted as being very tall and muscular in propaganda, and thus people tend to overestimate his height), does not give you a more accurate answer to your question.
</div></div></div></blockquote><div><br>I also recall another example, where there was a famous physics or chemistry experiment which measured some sort of experimental value. For several years after the experiment, experiments by other labs could be roughly modeled as a (moving?) Gaussian with a mean around the original measurement. This continued for some time, until someone with more confidence in their apparatus finally published a new figure, and the cycle repeated, with following experiments gravitating around the new figure.
<br><br>I think the idea was that if scientists got a value which was too different from what had been previously reported, and they weren't confident in their experiment, the values tended to get discarded and the experiment retried.
<br><br>Does anyone else recall hearing about this? I've tried some googling for it, to on avail.<br><br>-- Neil<br></div></div>