<div dir="ltr"><div dir="ltr">On Fri, Mar 31, 2023 at 1:27 AM Rafal Smigrodzki via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:</div><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div class="gmail_quote"><div>This is stupid. A government is a long-feedback loop entity, extremely inefficient and slow in responding to truly new challenges, unlikely to maintain alignment with the goals of its human subjects and its failures grow with its size. It would be suicidal to try to use the mechanism of government to solve AI alignment. </div><div><br></div><div>Our only chance of surviving the singularity is to build a guardian AI, an aligned superhuman AI that would be capable of preventing the emergence of unaligned or malicious superhuman AIs - a bit like a world government but without the psychopaths and the idiots.</div><div><br></div><div>Our best chance for building the guardian AI is for highly competent and benevolent AI programmers with unlimited resources to work as fast as they can, unimpeded by regulations (see "long-feedback loop" and "extremely inefficient" for why regulations are a bad idea). Give them all the compute they can use and keep our fingers crossed.</div></div></div></blockquote><div><br></div><div>Indeed.  But it's easy for those in a panic to distrust everyone and call for shutdowns.  It's hard for them to trust - even when historical examples show that trust works and bans don't in this sort of situation. </div></div></div>