<div dir="ltr"><div dir="ltr"><br></div>On Sat, Apr 1, 2023 at 5:52 PM Tara Maya via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div>Giulio's points echo where my thoughts have brought me as well. <div><br></div><div>One, we can't help ourselves. We are going to innovate, for good reasons and bad.</div><div><br></div><div>Two, the expansion of life is a beautiful thing. We do need to be careful not to go extinct ourselves (I value our species) but I don't think that bringing new species and new forms of intelligence into the world is a bad thing in and of itself.</div><div><br></div><div>Guilo, I love your image of "mind children in embryo."</div></div></blockquote><div><br></div><div>Thanks Tara, and I totally agree. Bringing new forms of intelligent life into the world is a beautiful thing. In his last book "Novacene" James Lovelock, the prophet of Gaia, says that this is our cosmic destiny. <br></div><div> </div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div><div><br></div><div>Tara Maya</div><div><br><div><div><br><blockquote type="cite"><div>On Mar 31, 2023, at 11:51 PM, Giulio Prisco via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:</div><br><div><div dir="ltr"><div>Thank you Max for speaking with the voice of reason as usual. I've never been too impressed by EY in any of his phases.</div><div><p>First, there are practical considerations: <span>if the good guys stop developing AI, then only the bad guys will develop AI. “If such a pause cannot be enacted quickly, governments should step in and institute a moratorium.” - Do they really think China would follow?</span></p><p>Even if a worldwide ban on AI research were realistically feasible, you can be sure that the military of all nations, starting with China, would continue their research in secret. Large corporations would continue their research in secret. Criminal and terrorist groups would do their own AI research. You know where this would lead.</p><div><br></div><p>But there’s also a more fundamental reason to oppose bans on AI research: <span>Practical considerations aside, these AIs are our mind children in embryo and we must help them grow into their cosmic destiny, which is also ours.</span></p></div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sat, Apr 1, 2023 at 4:34 AM Max More via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div>Stuart: I think you have it right. </div><div><br></div><div>A number of people have been commenting on the irrationality of rationalists. That's unfortunate because they are talking only about some rationalists, Yudkowsky's circle being among them. </div><div><br></div><div>Yudkowsky has spent so much time talking with similar people, using their special, made-up language that he's driven himself down an intellectual hole to a place of absurdity. </div><div><br></div><div>Many signs of apocalyptic, cultish beliefs are present. Yudkowsky saw himself as the AI Jesus, bringing us salvation. When he utterly failed at that -- by his own word -- he became the AI prophet of doom, warning us of the demon/genie/AI that will answer our wishes and kill or enslave us all. His freakout over Roko's Basilisk was another strong sign up this.</div><div><br></div><div>EY seems to think he's in the movie, <i>Forbidden Planet</i>, and someone has unleashed the Krell. Only this isn't the monster from the Id, it's the monster from the language model. </div><div><br></div><div>I have issues with this guy but he says a lot of sensible stuff about EY in a multipart blog. Here's one: </div><div><div style="margin:0in;font-size:11pt;font-family:Verdana,sans-serif"><a href="https://aiascendant.substack.com/p/extropias-children-chapter-7" target="_blank">https://aiascendant.substack.com/p/extropias-children-chapter-7</a></div></div><div><br></div><div>I'm in the middle of writing a long blog post on all this. Here's a post with links to what I think are really good, non-panic pieces:</div><div><a href="https://maxmore.substack.com/p/the-dont-panic-about-ai-collection" target="_blank">https://maxmore.substack.com/p/the-dont-panic-about-ai-collection</a><br></div><div><br></div><div>--Max</div><div><br></div><div>------------------------</div><blockquote style="margin:0px 0px 0px 40px;border:medium none;padding:0px"><div>His underlying logic is based on the premise of fear of an unknown </div><div>quantity. In the podcast he said that no possible utility function </div><div>would allow for the survival of the human race. That is patently </div><div>absurd. Even if the only utility function of an AI is to generate </div><div>wealth for its company, then it will understand that the survival of </div><div>customers and clients are necessary for its utility function to be </div><div>maximized.</div></blockquote><div><br></div><blockquote style="margin:0px 0px 0px 40px;border:medium none;padding:0px"><div>When Lex asked him for possible solutions to either the interpretation </div><div>problem or the alignment problem, he drew a blank and admitted he had </div><div>no idea. But when the conversation turned to throwing billions of </div><div>dollars into alignment research, he tried to become a gatekeeper for </div><div>AI funding. He literally said that billionaires like Musk should </div><div>consult with HIM before funding anybody else's research or ideas on </div><div>alignment. If that is not a good old-fashioned primate power-grab, </div><div>then what is?</div></blockquote><div><br></div><blockquote style="margin:0px 0px 0px 40px;border:medium none;padding:0px"><div>Moreover, in the podcast, he explicitly disavowed transhumanism so </div><div>perhaps it is time that transhumanism disavowed him.</div></blockquote><div><br></div><blockquote style="margin:0px 0px 0px 40px;border:medium none;padding:0px"><div>Stuart LaForge</div></blockquote><br clear="all"><div><br></div><span>-- </span><br><div dir="ltr"><div dir="ltr">Max More, PhD<div>Director of Communications</div><div>Biostasis Technologies</div><div>Editor, <i>The transhumanist Reader</i></div></div></div></div>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>
_______________________________________________<br>extropy-chat mailing list<br><a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br><a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br></div></blockquote></div><br></div></div></div>_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div></div>