<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Oct 8, 2019 at 7:07 PM spike jones via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
It's downright creepy I tells ya!  It's just wrong.  IEEE even mentioning<br>
transhumanism is something I never woulda thought I would live to see.  It's<br>
uncomfortable, it makes me squirm.  I suddenly feel so... mainstream.<br><br></blockquote><div>### I have been thinking on this subject recently (again). I am on record predicting the Dark Singularity on September 14, 2029:</div><div><br></div><div><a href="https://triviallyso.blogspot.com/2009/07/end-is-near.html">https://triviallyso.blogspot.com/2009/07/end-is-near.html</a></div><div><br></div><div>but in the last 10 years I came closer to Robin's position, being less worried (but not worry-free) about the UFAI.</div><div><br></div><div>One reason for this evolution in my views is that it seems like intelligence is a bit more granular than it seemed before. It is possible to achieve vastly superhuman results in an increasing number of domains, without creating a system capable of surviving on its own. These limited AI systems are built by multiple teams and the resulting capabilities are relatively widely spread, rather than concentrated. The limited superhuman AIs (LiSAI) does rewrite some aspects of its programming but overall its ability to create new goals is low.</div><div><br></div><div>It's useful to remember that goal-oriented action in the real world relies on a number of disparate modules kludged together by evolution, and this includes a large array of perception, motivation, reasoning and effector subsystems. A dangerous AI would need to have these modules working at superhuman level separately and jointly, smoothly enough not to break itself in a trivial fashion, before its malfunctioning non-human-aligned goal system could lead it to accidentally overgrow and break the world.</div><div><br></div><div>This kind of non-brittle real-world multi-faceted highly intelligent performance is likely to be built gradually by multiple independent teams, as Robin predicted a long time ago. At the same time I would expect that we would develop and have wide access to LISAI specifically designed to counter narrow threats, such as hostile takeover of computing resources. The sysadmins of 2029 will have vastly superhuman detection and management tools at their disposal, augmenting their ability to prevent rogue attacks on their systems, designed to defend against increasingly sophisticated cyberattacks from governments and other hackers, essentially honing their strength in an ongoing low-level computational war.</div><div><br></div><div>I would also expect that the teams developing general AI would be forced to develop a much better understanding of goal systems in general, simply to avoid trivial failures. MIRI seems to be trying to develop a high-level theoretical understanding of goal systems, which is very laudable, but there will be a lot of specific technical applied research needed before something that doesn't quickly shoot itself in the foot is created. This means that the right from the start the potentially dangerous AI would be surrounded by a much more sophisticated ecosystem of diagnostic tools and general understanding of goal systems than exists today.</div><div><br></div><div>TL:DR - By 2029, we might have potentially dangerous AI but its ability to wreak havoc will be limited by our improved defenses and its creators will be much better at taming AIs in general than we are now. </div><div><br></div><div>This is not to discount the dangers of AI, including existential dangers. I think that as far as existential dangers go, UFAI is still the 800 lb monster ahead of the pack, with bio-engineered plagues a distal second, and asteroids, aliens and other apocalypses relegated to the footnotes. But, it's less scary to me than it was 25 years ago, now at the level of nuclear all-out war rather than the grey goo meltdown.</div><div><br></div><div>Rafal</div></div></div>