<div style="font-family: Arial, sans-serif; font-size: 14px;"><span style="font-family: system-ui, sans-serif; font-size: 0.875rem;">On Tuesday, February 28th, 2023 at 11:14 AM, Gadersd via extropy-chat <extropy-chat@lists.extropy.org> wrote:</span></div><div class="protonmail_quote"><br>
        <blockquote type="cite" class="protonmail_quote">
            <div dir="auto" style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);"><font class="" color="#000000">>>Why would you ask a super intelligent AI with solving goals rather than asking it how the goals could be achieved?</font></div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);"><font class="" color="#000000"><br class=""></font></div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);">A super intelligence wouldn’t need to be “asked.” Try caging something 1000x smarter than yourself. You had better hope its goals are aligned with yours.</div></div></blockquote><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);"><br></div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);">As I said, the verb should have been "task". If I ask Super AI "How would you do X?", I don't expect it to do X. And I don't expect it to do anything without permission.</div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);"><br></div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);">I have no idea what 1000x smarter means. An AI can be as smart as a person--or even smarter--without having the ability to set its own goals. Just because humans set their own goals doesn't mean AIs will have that ability. Just because we have wants and needs doesn't mean AIs will have them.</div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);"><br class=""></div><blockquote type="cite" class="protonmail_quote"><div dir="auto" style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class=""><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);">>>Why would you give a super intelligent AI the unchecked power to do potentially catastrophic things?</div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);"><br class=""></div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);">Because it’s profitable to give AI the authority to perform tasks traditionally done by humans. A super intelligence can potentially do quite a lot of harm with relatively little authority. A super intelligent hacker only needs to find a basic software bug to gain access to the internet and imagine what might happen next.</div></div></blockquote><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);"><br></div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);">Something can be profitable without being a good idea. AIs should be our tools, not independent beings competing with us.</div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);"><br></div><div class="" style="font-family: Arial, sans-serif; font-size: 14px; color: rgb(0, 0, 0);">-Dave</div>
    </div>