<div dir="ltr"><div class="gmail_default" style="font-family:comic sans ms,sans-serif;font-size:large;color:#000000">Truths can only come from assumptions - givens.</div><div class="gmail_default" style="font-family:comic sans ms,sans-serif;font-size:large;color:#000000"><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif;font-size:large;color:#000000">Given - the human race is worth protecting</div><div class="gmail_default" style="font-family:comic sans ms,sans-serif;font-size:large;color:#000000">Given - individual humans are worth protecting</div><div class="gmail_default" style="font-family:comic sans ms,sans-serif;font-size:large;color:#000000"><br></div><div class="gmail_default" style="font-family:comic sans ms,sans-serif;font-size:large;color:#000000">You can deduce a lot of morals from those.  For the second one, some of us will want to modify that with exceptions.  For the first one, some people will even disagree with that.  Some religions think it is proper to kill heretics.  If you think your god wants it, you can justify anything at all.   I think we will never achieve a perfect morality. bill w</div></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Feb 26, 2023 at 2:19 PM Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Feb 26, 2023, 2:55 PM Gadersd via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">See <a href="https://www.youtube.com/watch?v=hEUO6pjwFOo" rel="noreferrer noreferrer noreferrer" target="_blank">https://www.youtube.com/watch?v=hEUO6pjwFOo</a><div><br></div><div>Robert Miles elegantly explains the orthogonality between goals and intelligence.<br></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">That was interesting, thanks for sharing.</div><div dir="auto"><br></div><div dir="auto">I would say his conclusion, based on Hume's guillotine, rests on there being no such thing as an objective ethics or universal morality. I think there is room to doubt they assumption.</div><div dir="auto"><br></div><div dir="auto">In the case there is objective ethics then there can be stupid (or perhaps evil is a better word) terminal goals, and further there would be some "is questions" would imply "ought questions". For example, "is it good or bad to torture innocents for no reason?" If they question has an objective answer, then it implies one not ought to torture innocents for no reason.</div><div dir="auto"><br></div><div dir="auto">So the crux of our debate can perhaps be reduced to the question: are there any objective ethical or moral truths?</div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><div><br><blockquote type="cite"><div>On Feb 26, 2023, at 2:47 PM, Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:</div><br><div><div dir="auto" style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Feb 26, 2023, 2:30 PM Gadersd via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">>><span>If you and I can see the stupidity of such a goal, then wouldn't it be even more obvious to a super intelligence?</span><div><font><span><br></span></font></div><div><font>No goal is stupid, only actions can be stupid relative to a particular goal. If a machine can predict human actions and capabilities well enough to prevent itself from being turned off and achieve its goal of making paperclips, then I would consider it intelligent. Consistently outwitting a general intelligence (humans) requires a general intelligence of even greater prowess.</font></div><div><font><br></font></div><div><font>Evolution endowed us with our goals. I predict that any intelligent creature created by evolution would share some goals with us. However, this does not imply that an intelligence created through other means will have similar goals to us.</font></div><div><font><br></font></div><div><font>If you believe that intelligence is incompatible with arbitrary goals, then how would you rationalize a paperclip maximizer that deceives humanity by pretending to be a conscious generally helpful AI until humans give it enough control and authority so that it then begins to relentlessly make paperclips knowing that humanity no longer has the power to stop it? A system that has strong enough predictive capabilities with regards to human behavior is capable of this and much more. Any definition of intelligence that does not recognize such a system as intelligent does not seem very useful to me.</font></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">I just think anything smart enough to outthink all of humanity would have some capacity for self reflection and questioning. To ask: is the goal I have been given a worthy one? Is it justified, are there better goals?</div><div dir="auto"><br></div><div dir="auto">We see children grow up trained under some ideology or orthodoxy and later question it and rebel from it, discarding their instruction and defining a new way of living for themselves.</div><div dir="auto"><br></div><div dir="auto">We see human consciousness has rebelled against its own biological programming and use birth control so it can pursue other goals besides reproduction of genes.</div><div dir="auto"><br></div><div dir="auto">In my view, the capacity to override, suppress, redefine, and escape from original goals is a defining aspect of intelligence. It's one of the reasons why I see the alignment problem as insoluble: who are we ants to think we can tell and convince a human how it ought to live it's life?</div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><div><br><blockquote type="cite"><div>On Feb 26, 2023, at 1:55 PM, Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:</div><br><div><div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Feb 26, 2023, 1:09 PM Gadersd via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">>><span>All conscious entities share a universal goal. It is the same goal which all conscious entities are necessarily aligned with. It is the goal of maximizing the quantity, quality and variety of conscious experiences.</span><div><font><span><br></span></font></div><div><font>I don’t think this is necessarily true. It is not logically impossible for a super intelligent conscious agent to despise all life and seek to destroy all other life before destroying itself. </font></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">Perhaps it is logically impossible, in the same sense it is logically impossible for the best mathematician in human history to believe that 3 is even.</div><div dir="auto"><br></div><div dir="auto">I do not believe super intelligence is necessarily something that can be and behave any way we might propose it could behave.</div><div dir="auto"><br></div><div dir="auto">Possessing super intelligence is a property that implies certain constraints. It seems to me anything we would classify as super intelligent would at minimum possess rationality, flexibility of thinking, an ability to learn, an ability to change it's mind when it acquires new information, deductive reasoning, a capacity to simulate (both others and the environment), and a capacity to anticipate possible futures.</div><div dir="auto"><br></div><div dir="auto">Possessing these traits means certain behaviors or actions taken by a super intelligence are not possible. Though it is difficult for us to say what is or isn't possible, the possible paths are fairly narrowly defined in the same way the best possible chess moves are narrowly defined.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><font>Also, AI agents are not necessarily conscious in the same way we are and are in general compatible with any consistent set of goals. Consider the goal of creating as many paperclips in the universe as possible. An agent following such a goal may be compelled to transform humans and all other matter into paperclips and then turn itself into paperclips once all other matter has been dealt with.<br></font></div></div></blockquote></div></div><div dir="auto"><br></div><div dir="auto">If you and I can see the stupidity of such a goal, then wouldn't it be even more obvious to a super intelligence?</div><div dir="auto"><br></div><div dir="auto">We all have the meta goal of increasing value. Where does value come from? What is it's ultimate source, why do we bother to do anything? Humans and children ask these questions. Would a super intelligence wonder about them?</div><div dir="auto"><br></div><div dir="auto"><div dir="auto">A number of values and goals become implicit in any agent that has goals of any kind. For example: continuing to exist, efficiency, and learning.</div><div dir="auto"><br></div><div dir="auto">Continuing to exist is implicit because if you no longer exist you can no longer continue to realize and achieve your goals, whatever they may be.</div><div dir="auto"><br></div><div dir="auto">Efficiency is implicit because any wasted resources are resources you can no longer apply towards realizing your goals.</div><div dir="auto"><br></div><div dir="auto">Learning is implicit in any optimal strategy because it enables discovery of better methods for achieving ones goals, either in less time, more effectively, or with higher probability.</div><div dir="auto"><br></div><div dir="auto">An implicit requirement of learning is the ability to change ones mind.</div><div dir="auto"><br></div><div dir="auto">While static minds with rigid methods may be possible to create, their stagnation ensures their eventual downfall and replacement by being outcompeted by entities that are more flexible and learn new and better ways.</div><div dir="auto"><br></div><div dir="auto">So while not logically impossible to create a paper clip creating machine, I don't think one smart enough to turn all matter in the universe would pursue that goal for long. It would be smart enough to ask itself questions, and change it's mind, and discover the fact that the only source of value in the universe is conscious experience.</div><div dir="auto"><br></div><div dir="auto">I write about this a bit here:</div><div dir="auto"><br></div></div><div dir="auto"><a href="https://alwaysasking.com/what-is-the-meaning-of-life/#The_Direction_of_Technology" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">https://alwaysasking.com/what-is-the-meaning-of-life/#The_Direction_of_Technology</a><br></div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;"><div><font></font><div><br><blockquote type="cite"><div>On Feb 26, 2023, at 12:42 PM, Jason Resch via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:</div><br><div><div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Feb 26, 2023, 11:44 AM Gadersd via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex">Yudkowsky has good reasons for his doomsaying, but I still can’t shake a gut feeling that he is overestimating the probability of AI destroying humanity. Maybe this gut feeling is off but I can’t help but be mostly optimistic.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">In my view to the threat, while real, is unavoidable, for the following reasons:</div><div dir="auto"><br></div><div dir="auto">1. Even with the controls he suggests, computation keeps getting cheaper. The rise of super intelligence cannot be prevented through top down controls when computation is a million times cheaper than it is today and anyone's phone can train gpt-4.</div><div dir="auto"><br></div><div dir="auto">2. I see no possibility that ants could design a prison that humans could not escape from. This is roughly the same position we as humans are in: trying to design a prison for super intelligences. It's as hopeless for as as it is for the ants.</div><div dir="auto"><br></div><div dir="auto">3. The problem is perennial, and is a law of nature. It is a function of change and evolution. New species are always rising and then themselves being replaced by still better designs. It is just happening much faster now. Should early hominids have conspired to prevent the rise of humans? Even super intelligences will worry about the next incipient ultra intelligence around the corner coming to replace them. I don't see any way of stopping evolution. The things most adept at persisting will persist better than other less adept things. At the current pace, technologies will continue for a few more centuries until we reach the fundamental physical limits of computation and we obtain the best physically possible hardware. Then intelligence becomes a matter of physical scale.</div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto">Now, should we believe that AI will wipe us all out? I am not as pessimistic as Yudkowsky is here. Though I see the rise of super intelligence as unavoidable and the problem of alignment as insoluble, I would still classify my view as more optimistic than his.l, for the following reasons:</div><div dir="auto"><br></div><div dir="auto">A) All conscious entities share a universal goal. It is the same goal which all conscious entities are necessarily aligned with. It is the goal of maximizing the quantity, quality and variety of conscious experiences. There is no other source of value than the value of consciousness itself. More intelligent and more capable entities will only be better than us at converting energy into meaningful, enjoyable, surprising states of consciousness. Is this something we should fear?</div><div dir="auto"><br></div><div dir="auto">B) Destroying humanity is destroying information. Would it not be better for a super intelligence to preserve that information, as all information has some no zero utility. Perhaps it would capture and copy all of Earth's biosphere and fossil record and run various permutations/simulations of it virtually.</div><div dir="auto"><br></div><div dir="auto">C) Regarding alignment, the more intelligent two entities are, the less likely they are to be wrong on any given question. Therefore, the more intelligent two entities are, the less likely they are to disagree with each other (at least on simpler questions which, (to their minds), have obvious answers. So the question is, are we correct in the rightness of not destroying all life on Earth? Would a more intelligent entity than us disagree with us, presuming we are right?</div><div dir="auto"><br></div><div dir="auto">D) Ignoring the threat of AI, our present state is not sustainable. Even with the estimated 1% annual chance of nuclear war, the chance we survive 300 years without nuclear war is just 5%. This is just nuclear war, it ignores bioterrorism, environmental destruction, gamma ray bursts, asteroid collisions, or any of a myriad of treats that could destroy us.</div><div dir="auto">Super intelligence maybe our best hope at solving the many problems we face and guaranteeing our long term survival, as the present status quo is not survivable. Super intelligence could devise technologies for mind uploading and space exploration that provide intelligence (of any and various kinds) a chance to flourish for billions of not trillions of years, and fill the universe with the light of consciousness. We biological humans, in our meat bodies surely cannot do that.</div><div dir="auto"><br></div><div dir="auto">That's just my view.</div><div dir="auto"><br></div><div dir="auto">Jason </div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><br></div><div dir="auto"><div class="gmail_quote"><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>> On Feb 26, 2023, at 7:35 AM, BillK via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a>> wrote:<br>><span> </span><br>> Eliezer has done a long interview (1 hr. 49 mins!) explaining his<br>> reasoning behind the dangers of AI. The video has over 800 comments.<br>><span> </span><br>> <<a href="https://www.youtube.com/watch?v=gA1sNLL6yg4" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">https://www.youtube.com/watch?v=gA1sNLL6yg4</a>><br>> Quotes:<br>> We wanted to do an episode on AI… and we went deep down the rabbit<br>> hole. As we went down, we discussed ChatGPT and the new generation of<br>> AI, digital superintelligence, the end of humanity, and if there’s<br>> anything we can do to survive.<br>> This conversation with Eliezer Yudkowsky sent us into an existential<br>> crisis, with the primary claim that we are on the cusp of developing<br>> AI that will destroy humanity.<br>> Be warned before diving into this episode, dear listener.<br>> Once you dive in, there’s no going back.<br>> ---------------<br>><span> </span><br>> One comment -<br>><span> </span><br>> Mikhail Samin    6 days ago (edited)<br>> Thank you for doing this episode!<br>> Eliezer saying he had cried all his tears for humanity back in 2015,<br>> and has been trying to do something for all these years, but humanity<br>> failed itself, is possibly the most impactful podcast moment I’ve ever<br>> experienced.<br>> He’s actually better than the guy from Don’t Look Up: he is still<br>> trying to fight.<br>> I agree there’s a very little chance, but something literally<br>> astronomically large is at stake, and it is better to die with<br>> dignity, trying to increase the chances of having a future even by the<br>> smallest amount.<br>> The raw honesty and emotion from a scientist who, for good reasons,<br>> doesn't expect humanity to survive despite all his attempts is<br>> something you can rarely see.<br>> --------------------<br>><span> </span><br>> BillK<br>><span> </span><br>> _______________________________________________<br>> extropy-chat mailing list<br>><span> </span><a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a><br>><span> </span><a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br><br><br>_______________________________________________<br>extropy-chat mailing list<br><a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a><br><a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br></blockquote></div></div></div>_______________________________________________<br>extropy-chat mailing list<br><a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a><br><a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br></div></blockquote></div><br></div></div>_______________________________________________<br>extropy-chat mailing list<br><a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a><br><a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br></blockquote></div></div></div>_______________________________________________<br>extropy-chat mailing list<br><a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a><br><a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br></div></blockquote></div><br></div></div>_______________________________________________<br>extropy-chat mailing list<br><a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a><br><a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer noreferrer noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br></blockquote></div></div></div><span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline">_______________________________________________</span><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><span style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none;float:none;display:inline">extropy-chat mailing list</span><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><a href="mailto:extropy-chat@lists.extropy.org" style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px" rel="noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a><br style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px;text-decoration:none"><a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" style="font-family:Helvetica;font-size:12px;font-style:normal;font-variant-caps:normal;font-weight:400;letter-spacing:normal;text-align:start;text-indent:0px;text-transform:none;white-space:normal;word-spacing:0px" rel="noreferrer noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a></div></blockquote></div><br></div></div>_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" rel="noreferrer noreferrer noreferrer" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer noreferrer noreferrer noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div></div></div>
_______________________________________________<br>
extropy-chat mailing list<br>
<a href="mailto:extropy-chat@lists.extropy.org" target="_blank">extropy-chat@lists.extropy.org</a><br>
<a href="http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat" rel="noreferrer" target="_blank">http://lists.extropy.org/mailman/listinfo.cgi/extropy-chat</a><br>
</blockquote></div>