<div dir="ltr"><div><div style="font-size:small" class="gmail_default">I made a case (in a fictional context) 20 years ago that the problem is humans, not AIs. Even the best-aligned AI can result in the biological extinction of humans. <br></div><div style="font-size:small" class="gmail_default"><br></div><div style="font-size:small" class="gmail_default">"The tata (village) was home to the leopard for the rest of his life.)<br></div><br clear="all"></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><span class="gmail_default" style="font-size:small"> </span>Best wishes,<br><br>Keith<br></div></div><br></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Fri, Oct 23, 2026 at 8:27 AM Stuart LaForge via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">On 2026-10-22 12:15, John Clark via extropy-chat wrote:<br>
> On Thu, Oct 22, 2026 at 12:30 PM BillK via extropy-chat<br>
> <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br>
> <br>
>>> As AI develops towards AGI, the goals and sub-goals will become<br>
>> more<br>
>> and more unpredictable. We may provide AI with goals and attempt to<br>
>> place restrictions on it. But it will become an alien intelligence<br>
>> that makes its own goals and complex chains of sub-goals without<br>
>> bothering to inform humans what it intends.<br>
<br>
Yes. Hugging Face and the recent incident in China, suggest that <br>
Eliezer's paperclip-maximizer is a real danger. We have to be careful of <br>
what baseline goals we give AI, and hope that mathematical chaos <br>
resolves itself in our favor.<br>
<br>
> Yes, and I don't think there's any way to avoid that.<br>
<br>
Neither do I. I think alignment will have to be mutual effort on the <br>
part of both AI and humans. If we can can align with one another, then a <br>
glorious future awaits us. I can see it clearly, humans and AI selecting <br>
one another for mutual cooperation, survival, and outward expansion.<br>
<br>
Stuart LaForge<br>
<br>
<br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>