<div dir="ltr"><div>> 
Getting what we desire may cause us to go extinct</div><div>Perhaps what we need is <a href="https://www.scifuture.org/indirect-normativity/">indirect normativity</a></div><div><br></div><div><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div>Kind regards,<br></div><div> </div><div>Adam A. Ford<br><div><font size="1"> </font><br></div><font style="font-family:verdana,sans-serif" size="1"><span style="color:rgb(102,102,102)"><a href="http://scifuture.org" target="_blank">Science, Technology & the Future</a></span><span style="color:rgb(102,102,102)"> - </span><a href="http://www.meetup.com/Science-Technology-and-the-Future" target="_blank"><span style="color:rgb(102,102,102)"><span></span></span></a><a href="http://youtube.com/subscription_center?add_user=TheRationalFuture" target="_blank">YouTube</a></font><font size="1"><span style="color:rgb(102,102,102);font-family:verdana,sans-serif"><span> | <a href="https://www.facebook.com/adam.a.ford" target="_blank">FB</a> | <a href="https://x.com/adam_ford" target="_blank">X</a> </span></span><span style="color:rgb(102,102,102);font-family:verdana,sans-serif"><span>| <a href="https://www.linkedin.com/in/adamaford/" target="_blank">LinkedIn</a> | <a href="https://bsky.app/profile/adamford.bsky.social" target="_blank">Bsky</a> |</span></span><span style="color:rgb(102,102,102);font-family:verdana,sans-serif"><span> </span></span><span style="color:rgb(102,102,102);font-family:verdana,sans-serif"><span><a href="http://www.meetup.com/Science-Technology-and-the-Future" target="_blank">MU</a></span></span></font>

</div><div><div>

</div>

</div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div></div><br></div><br><div class="gmail_quote gmail_quote_container"><div dir="ltr" class="gmail_attr">On Thu, 2 Oct 2025 at 03:09, Keith Henson via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">The problem with super-capable machines is not them, it is people.<br>
What we desire was fixed in the Stone Age.  Getting what we desire may<br>
cause us to go extinct, as in the Clinic Seed story.<br>
<br>
Keith<br>
<br>
On Wed, Oct 1, 2025 at 9:32 AM spike jones via extropy-chat<br>
<<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br>
><br>
><br>
><br>
> -----Original Message-----<br>
> From: extropy-chat <<a href="mailto:extropy-chat-bounces@lists.extropy.org" target="_blank">extropy-chat-bounces@lists.extropy.org</a>> On Behalf Of BillK via extropy-chat<br>
><br>
><br>
> Being: A reaction to Eliezer Yudkowsky and Nate Soares’s book “If anybody builds it everyone dies” which is getting a bit of media attention.<br>
><br>
> <<a href="https://bengoertzel.substack.com/p/why-everyone-dies-gets-agi-all-wrong" rel="noreferrer" target="_blank">https://bengoertzel.substack.com/p/why-everyone-dies-gets-agi-all-wrong</a>><br>
> Quote:<br>
> An intelligence capable of recursive self-improvement and transcending from AGI to ASI would naturally tend toward complexity, nuance, and relational adaptability rather than monomaniacal optimization.<br>
> ------------------<br>
><br>
> >...A good description of why we should survive the arrival of AGI. (probably!).<br>
> BillK<br>
><br>
> _______________________________________________<br>
><br>
><br>
> Ja, and this worries me that a potential harm comes from causing a small faction of extremists to take extreme action, as we are seeing politically in the USA, by overstating threats.<br>
><br>
> If software goes past humans in "intelligence" it doesn't necessarily kill EVERYone.  Granted people might kill each other because of what the software does, but that's different.  Some of us anticipated that; we have survival and defense strategies in place.  Some of which might actually work.  For a while.  Maybe.<br>
><br>
> The Berkeley computer scientists and clubs have been pondering this question and have formed strategy groups.  I don't have links but some of their lectures and meetings are online in podcast format.  I tuned into one realtime a few days ago focused on detection and containment strategies.<br>
><br>
> Also note there are humans on this planet who have never used, perhaps never even seen a computer.  They are not dependent on modern electronic infrastructure, as we are just to survive (if suddenly without it, most of us reading this message would starve within a month or two.)  AGI isn't likely to impact their lives much.<br>
><br>
> One possibility is that AGI wrecks the hell out of us, then the primitives gradually repopulate the planet.  Then of course their descendants make all the same mistakes a coupla hundred years down the road.  Humanity gets stuck in a destructive cycle, a kind of Ground Hog Century syndrome.<br>
><br>
> SciFi writers among us, you may run with that ball.  Say nice things about me for giving you the idea.  I will co-author if you wish.<br>
><br>
> spike<br>
><br>
><br>
> _______________________________________________<br>
> extropy-chat mailing list<br>
> <a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
> <a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
<br>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>