<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Fri, May 10, 2019 at 10:24 AM Dave Sill <<a href="mailto:sparge@gmail.com">sparge@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><br></div><div class="gmail_quote"><div>I'm not sure how you go from a world of wild humans to a world of man made Good People, but we're a way off being able to create Good People. And a single Bad Person could easily take over a planet full of Good People.</div><div><br></div></div></div></blockquote><div>### Actually I am thinking here about the impact of AI on wild type humans. Soon it will be possible to generate new designs of minds, not evolved to survive as operating systems for self-replicating meat creatures. Our minds are indelibly shaped by our history (as you mentioned) and there are only a few designs that could evolve inside a monkey. A mind designer will be able to explore a much wider design space, including designs well-suited for selfless cooperation, lacking the drive to self-replicate, completely transparent, cognitively specialized, always cooperating within in-group, or never cooperating with out-group.</div><div><br></div><div>A group of such perfect cooperators would have an incredible advantage over groups of wild-type humans, who are very imperfect cooperators. While exhibiting the characteristics we applaud in our fellow humans (selflessness, transparency, cooperation) these Good People would be very bad news to anybody trying to oppose them. Contrary to what Dave suggested, psychopaths and other non-cooperators would not be able to take over - the new society would be resistant to take-over due to designed features, such as transparency, selfless punishment of defectors, and others.</div><div><br></div><div>One of the most important features of the Good Society would be externally controlled replication of minds. Where we replicate based on internal cues (much disturbed by modern living, but that's a different story), the Good People would only be made as needed to fulfill their societal roles, assuring an efficient structure of the society. Mind-factories would churn out enough engineers, teachers, menial workers, accountants and whoever else is needed to meet demand.</div><div><br></div><div>We wild type humans might have to eke out an existence at the margin of the Good Society, not necessarily worse off in absolute terms but completely subordinate to the cooperators.</div></div></div>