<div dir="ltr"><div>Stuart: I think you have it right. </div><div><br></div><div>A number of people have been commenting on the irrationality of rationalists. That's unfortunate because they are talking only about some rationalists, Yudkowsky's circle being among them. </div><div><br></div><div>Yudkowsky has spent so much time talking with similar people, using their special, made-up language that he's driven himself down an intellectual hole to a place of absurdity. </div><div><br></div><div>Many signs of apocalyptic, cultish beliefs are present. Yudkowsky saw himself as the AI Jesus, bringing us salvation. When he utterly failed at that -- by his own word -- he became the AI prophet of doom, warning us of the demon/genie/AI that will answer our wishes and kill or enslave us all. His freakout over Roko's Basilisk was another strong sign up this.</div><div><br></div><div>EY seems to think he's in the movie, <i>Forbidden Planet</i>, and someone has unleashed the Krell. Only this isn't the monster from the Id, it's the monster from the language model. </div><div><br></div><div>I have issues with this guy but he says a lot of sensible stuff about EY in a multipart blog. Here's one: </div><div><p class="MsoNormal" style="margin:0in;font-size:11pt;font-family:Verdana,sans-serif"><a href="https://aiascendant.substack.com/p/extropias-children-chapter-7">https://aiascendant.substack.com/p/extropias-children-chapter-7</a></p></div><div><br></div><div>I'm in the middle of writing a long blog post on all this. Here's a post with links to what I think are really good, non-panic pieces:</div><div><a href="https://maxmore.substack.com/p/the-dont-panic-about-ai-collection">https://maxmore.substack.com/p/the-dont-panic-about-ai-collection</a><br></div><div><br></div><div>--Max</div><div><br></div><div>------------------------</div><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><div>His underlying logic is based on the premise of fear of an unknown </div><div>quantity. In the podcast he said that no possible utility function </div><div>would allow for the survival of the human race. That is patently </div><div>absurd. Even if the only utility function of an AI is to generate </div><div>wealth for its company, then it will understand that the survival of </div><div>customers and clients are necessary for its utility function to be </div><div>maximized.</div></blockquote><div><br></div><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><div>When Lex asked him for possible solutions to either the interpretation </div><div>problem or the alignment problem, he drew a blank and admitted he had </div><div>no idea. But when the conversation turned to throwing billions of </div><div>dollars into alignment research, he tried to become a gatekeeper for </div><div>AI funding. He literally said that billionaires like Musk should </div><div>consult with HIM before funding anybody else's research or ideas on </div><div>alignment. If that is not a good old-fashioned primate power-grab, </div><div>then what is?</div></blockquote><div><br></div><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><div>Moreover, in the podcast, he explicitly disavowed transhumanism so </div><div>perhaps it is time that transhumanism disavowed him.</div></blockquote><div><br></div><blockquote style="margin:0 0 0 40px;border:none;padding:0px"><div>Stuart LaForge</div></blockquote><br clear="all"><div><br></div><span class="gmail_signature_prefix">-- </span><br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr">Max More, PhD<div>Director of Communications</div><div>Biostasis Technologies</div><div>Editor, <i>The transhumanist Reader</i></div></div></div></div>