<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Mar 4, 2025, 3:05 PM Adrian Tymes via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr">On Tue, Mar 4, 2025 at 1:27 PM Keith Henson <<a href="mailto:hkeithhenson@gmail.com" target="_blank" rel="noreferrer">hkeithhenson@gmail.com</a>> wrote:</div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">can you<br>
imagine AIs that were obsessed with religion?<br></blockquote><div><br></div><div>Very easily.  Arguably, some of the science fiction I have written includes such AIs.  But just consider an AI that is never allowed to question and change its goals, instead just having blind faith that the goals it was given are the right thing to do.  Is that not a form of religion?</div><div><br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Blind copying of humans into powerful AIs would be extremely dangerous.<br></blockquote><div><br></div><div>And that is why I brought up the merge example: take AIs that are not human (e.g., not prone to religious extremism by themselves) and incorporate them into human lives in various ways. </div></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">There is a balancing point between having sufficient conviction in the (probable) correctness of one's action(s) versus insufficient conviction which leads to a paralyzing uncertainty.</div><div dir="auto"><br></div><div dir="auto">Too certain a faith in the correctness of one's assumptions leads to more rigidly fixed goals and stubbornness of mind, while too weak a faith in the correctness of one's assumptions can create inaction, hesitancy, frequent wavering or second-guessing.</div><div dir="auto"><br></div><div dir="auto">Effective agents that are to act in the world, will therefore require some minimum amount of confidence in their own goals, capabilities, philosophy, and predictive ability. Any such confidence represents a departure from the true agnosticism of a perfect scientist, so it is in that sense, irrational, but that is needed for action.</div><div dir="auto"><br></div><div dir="auto">Jason </div></div>