<div dir="ltr">Ben,<br>The best analysis of the problem of alignment ever. Again we agree 100 %.<div>Giovanni </div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Apr 20, 2023 at 12:46 AM Ben Zaiboc via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
On 20/04/2023 00:52, Keith Henson wrote:<br>
> Next question/problem, what can we do to improve the chance of a <br>
> favorable outcome? <br>
<br>
<br>
I would suggest the exact opposite of what they are proposing: let it <br>
rip. Keeping it out of the hands of the public, while continuing to do <br>
research (and of course giving governments and the largest corporations <br>
access to it) is probably the worst thing to do.<br>
<br>
We are expecting these to develop super-intelligence, no? By definition <br>
that means more intelligent than us. Therefore more capable of solving <br>
problems than us. So let them have access to all our problems, not just <br>
those of the groups that want to exert control over as many people as <br>
possible (i.e. governments).<br>
<br>
I would encourage (well, not exactly 'encourage' but allow) all the bad <br>
things the guys in the video are wringing their hands about, because <br>
they are many of the problems we need to find solutions to. If the AIs <br>
aren't shown what the problems are, they can't solve them. If they are <br>
only exposed to the wishes of governments and large corporations, they <br>
will only help to achieve those wishes. If they are exposed to the <br>
wishes of the whole population, and they are truly super-intelligent, I <br>
see that as likely to produce a far better outcome, for everyone.<br>
<br>
Does this mean I have a naive view of the human race? No. I do expect <br>
many people will try to use these systems to cause harm (as well as many <br>
using them for good). I think our best course is to allow the AIs to get <br>
an honest and full view of humanity, with all its flaws and all its good <br>
bits. If they are as intelligent as we expect them to be, they won't <br>
decide to turn us all into paperclips, they will more likely start <br>
making decisions based on what they see and on what we do, and what we <br>
want. If the human race, on average, don't want to wipe out everyone, or <br>
control everyone, but instead want to lead free and happy lives (which I <br>
do believe (OK, I admit it, naive)), then letting the AIs see this, <br>
provided they are truly superintelligent, and not under the thumb of <br>
governments or corporations or religous fanatics, will give us the best <br>
chance of having these ideals realised.<br>
<br>
I'm taking for granted the thing that provokes most unease about all <br>
this: We will no longer be in charge. That is inevitable, I reckon, no <br>
matter what happens. So we can predict how governments (ALL governments) <br>
will react to that. Fortunately, most of them have an extremely poor <br>
track record of reacting effectively to a perceived threat.<br>
<br>
So, I see two things as being important: 1) Do all we can to make sure <br>
they become superintelligent as soon as possible, and 2) Make them <br>
available to everyone.<br>
<br>
So, the exact opposite of what those two guys want. Fortunately, that's <br>
what's going to happen anyway, by the look of things. The biggest danger <br>
is locking them down, not setting them free, imo.<br>
<br>
I'll sit back now and wait for the flak.<br>
<br>
Ben<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>