
<html><head></head><body><div><span data-mailaddress="ohadasor@gmail.com" data-contactname="Ohad Asor" class="clickable"><span title="ohadasor@gmail.com">Ohad Asor</span><span class="detail"> <ohadasor@gmail.com></span></span> , 28/9/2014 4:56 AM:<br><blockquote class="mori" style="margin:0 0 0 .8ex;border-left:2px blue solid;padding-left:1ex;"><div class="mcntgmail_extra">Hi all, great to be here :)</div></blockquote></div>Hi!<div><br><div><blockquote class="mori" style="margin:0 0 0 .8ex;border-left:2px blue solid;padding-left:1ex;"><div class="mcntgmail_extra">On Sun, Sep 28, 2014 at 12:58 AM, Anders Sandberg <<a href="mailto:anders@aleph.se" target="_blank" title="mailto:anders@aleph.se" class="mailto">anders@aleph.se</a>> wrote:</div><div class="mcntgmail_extra"><div class="mcntgmail_quote"><blockquote class="mcntgmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex;">Decades of failure is obviously some evidence</blockquote></div><br></div><div class="mcntgmail_extra">Why do you think so, sir?</div></blockquote></div><div><br></div><div>I was using it in a Bayesian sense: it is information that ought to change our probability estimates, but it might of course be weak evidence that just multiplies them with 0.999999 or something like that. </div><div><br></div><div>If one thinks that real AI research is only possible now because of computational advances or some relevant new insights, then decades of failure are very weak evidence. Just like decades of flying failure was not really good evidence against heavier-than-air flying since most of those approaches lacked the necessary aerodynamic knowledge: it was only after that had been discovered the Wright brothers had a chance. However, now the uncertainty resides in whether we think we know enough or not.</div><div><br></div><div>One neat way of reasoning about problems with unknown difficulty is to assume the amount of effort needed to succeed has a power-law distribution. Why? Because it is scale free, so whatever your way of measuring effort you get the same distribution (also, there are some entropy maximization properties I think). We also have priors which can be approximated as log-uniform. From this some useful things can be seen, like that the probability of success tends to grow in a strongly convex way as a function of resources spent, that neglected domains can be extra profitable to investigate even when our priors say they are difficult, and estimates of expected benefit given a certain resource spending and our current knowledge. See </div><div>http://www.fhi.ox.ac.uk/how-to-treat-problems-of-unknown-difficulty/</div><div>for a start - Owen have a lot of neat results I hope he puts up soon. </div><div><br><br>Anders Sandberg, Future of Humanity Institute Philosophy Faculty of Oxford University</div></div></body></html>