<a href="http://theeuropean-magazine.com/282-bostrom-nick/283-perfection-is-not-a-useful-concept" target="_blank">http://theeuropean-magazine.com/282-bostrom-nick/283-perfection-is-not-a-useful-concept</a><br>
"Perfection Is Not A Useful Concept"<br>
by Nick Bostrom — 13.06.2011<br>
Nick Bostrom directs the Future of Humanity Institute at Oxford<br>
University. He talked with Martin Eiermann about existential risks,<br>
genetic enhancements and the importance of ethical discourses about<br>
technological progress.<br>
The European: I want to start with a quote from your website. You have<br>
said: “When we are headed the wrong way, the last thing we need is<br>
progress.” Can we reason about the wrong way without taking concrete<br>
steps in that direction?<br>
Bostrom: That is a good question. Probably you have to take these<br>
steps. <b>But they must be small and careful to give us more insight into<br>
where we should be going.</b><br>
The European: The idea of practical wisdom. We might need to make<br>
small mistakes to figure out that there is a better way…<br>
Bostrom: If we developed the ability to think more clearly and to<br>
understand the world better–which we have to do if we want to figure<br>
out what is right–then that understanding will also tend to increase<br>
the pace with which we move. And the better we understand<br>
technologies, the closer we will be to developing new technologies.<br>
That practical knowledge is an important part of innovation.<br>
The European: So the primary task is expanding the scope of what we<br>
think is achievable?<br>
Bostrom: I think that is one thing we need to do if we want to reason<br>
about the right approach to technological progress. Let me give you a<br>
concrete example: Let’s assume that we want to think about whether we<br>
should push for synthetic biology. There will be risks and there will<br>
be benefits as well. To make a better decision, we need to really<br>
understand the risks. We might say that there is the potential for<br>
misuse, for a new generation of biological weapons or other kinds of<br>
harmful applications. When we have a detailed understanding of the<br>
risks, we have already taken the first step towards pushing synthetic<br>
biology into a specific direction. <b>So there is a trade-off: We want to<br>
be able to describe potential risks with detail and precision, but we<br>
also don’t want to go too far into a certain direction to gather that<br>
information because that would make the risks real.</b><br>
The European: What risks should a society tolerate, and what risks are<br>
either too high or too complex to live with?<br>
Bostrom: My focus has been on existential risks, which are at the far<br>
end of the severity spectrum. An existential risk is something that<br>
could either cause the extinction of intelligent life or the permanent<br>
destruction of the potential for future desirable development. It<br>
would be an end to the human story. Obviously, it is important to<br>
reduce existential risks as much as possible.<br>
The European: Where might those risks arise from?<br>
Bostrom: They could be risks that arise from nature–like asteroids or<br>
volcanic eruptions–or risks that arise from human activity. <b>All the<br>
important risks fall into the latter category, they are anthropogenic.</b><br>
More specifically, <b>the biggest ones will arise from future<br>
technological breakthroughs</b>, such as advanced artificial intelligence<br>
or advanced forms of nanotechnology that could lead to new weapons<br>
systems. There also might be threats from biotechnology or from new<br>
forms of surveillance technology and mind control that might enable a<br>
system of global totalitarian rule. And there will also be risks that<br>
we haven’t yet thought of.<br>
The European: Are the ethical debates about technological change<br>
keeping pace with the development of new technologies? In other words,<br>
are we really thinking about potential risks and unintended<br>
consequences of progress?<br>
Bostrom: The ethical debates about some of these possibilities are<br>
just beginning. I introduced the concept of existential risk only in<br>
2001. Technological progress, on the other hand, has been around for<br>
thousands of years. So we are very much starting from behind, but I<br>
hope we will catch up at a rapid pace. We have to think ethically<br>
about what we are doing as a species.<br>
The European: Apocalyptic thoughts have been around for thousands of<br>
years. Thus far, fortunately, they have always been proven wrong. What<br>
is different about today’s discussions of existential risks?<br>
Bostrom: Historically, the predictions have been groundless. They have<br>
not been based on science or careful analysis of particular<br>
technological prospects. During most of human history, we simply did<br>
not have the ability to destroy the human race, and we probably still<br>
don’t have that ability today. Even at the peak of the Cold War, a<br>
nuclear strike would probably not have resulted in human extinction.<br>
It would have caused massive damage, but it is likely that some groups<br>
would have survived. Past doomsday prophecies have often relied on<br>
religious beliefs.<br>
The European: Why are the anthropogenic risks suddenly increasing?<br>
Bostrom: Our long track record of survival–humans have been around for<br>
about 100,000 years–gives us some assurance that the natural risks<br>
have been rather small.<br>
If they have not ended human history until now, they are unlikely to<br>
have that effect in the near future. <b>So the risks we should really<br>
worry about come from new developments.</b> They introduce new factors<br>
with a lot of statistical uncertainty, and we cannot be confident that<br>
their risks are manageable. The potential of human action to do good<br>
and evil is larger than it has ever been before. We know that we can<br>
affect the global system. We can travel around the world in a matter<br>
of hours. We can affect the global climate. World wars have already<br>
happened. We can already foresee that new technologies might be<br>
developed in the coming century that would further expand our power<br>
over nature and over ourselves. We might even be able to change human<br>
nature itself.<br>
The European: People also thought that traveling faster than thirty<br>
miles per hour would lead to mental insanity, or that nuclear<br>
explosions would set the atmosphere on fire, or that we might<br>
accidentally create black holes at particle accelerators.<br>
Bostrom: With trains, there was no discussion of existential risks. In<br>
the case of nuclear weapons, it was different. The atomic bomb was<br>
arguably the first human-made existential risk. And the probability of<br>
a doomsday scenario was considered significant enough that one of the<br>
scientists of the Manhattan Project did a study. They ultimately came<br>
to the conclusion that the atmosphere would not explode, and they were<br>
correct. As the potential for existential risks increases, we must be<br>
careful to examine the possible consequences of technological<br>
The European: You have already mentioned genetic enhancements. When we<br>
think about human potential, we often think about our cognitive<br>
abilities: Our capacity for rational thought is what distinguishes us<br>
from animals. Is that description incomplete?<br>
Bostrom: It is certainly not complete. But our cognitive abilities<br>
might be the most important difference between humans and animals;<br>
they have enabled our language, culture, science and technology, and<br>
complex social organization. A few differences in brain architecture<br>
have led to a situation where one species has increasing control over<br>
all other species on this planet.<br>
The European: When we talk about enhancements, we implicitly talk<br>
about the idea of perfection: We want to minimize the negative and<br>
maximize the positive aspects of human existence, to move closer to an<br>
optimal state. But who would define what constitutes such a state?<br>
Bostrom: I don’t think that perfection is a useful concept. There is<br>
not necessarily one best form of human existence; perfection might be<br>
different for different people. But the difficulty or impossibility of<br>
defining a perfect state should not make us blind to the fact that<br>
there are better and worse ways of living. It’s common sense that we<br>
prefer to be healthy rather than sick, for example. We also think that<br>
we ought to support our childrens’ development, intellectually and<br>
physically. We use education to expand our cognitive abilities. We try<br>
to stay fit and eat healthy to expand our lifespan. We reduce lead in<br>
tap water because doing so increases intelligence. That toolkit will<br>
be drastically expanded by technology. I don’t think that there is a<br>
fundamental moral difference between these old and new ways of<br>
The European: You have called these traits–healthy, happy lives,<br>
understanding good social relations–"intrinsically valuable". They are<br>
at the core of the ethical justification for transhumanism and genetic<br>
enhancements. How can we ensure that technological progress does not<br>
lead to enhancements of traits that are either not desired, or that<br>
are only conditionally valuable?<br>
Bostrom: We have to distinguish between positional and non-positional<br>
goods. In economics, a positional good benefits you only because<br>
others lack it. Height may be an advantage in men, but if everybody<br>
were three inches taller, nobody would be better off. Attractiveness<br>
may be another example of a positional good. A gain for one person<br>
implies a relative loss for others. I would contrast that with a trait<br>
like health. Your life is better when you are healthy, even if others<br>
are also healthy. Cognitive enhancements are a complex topic, but they<br>
have aspects that are intrinsically valuable. It is good if we can<br>
understand the world better. Arguments against positional goods are no<br>
arguments against enhancements as such.<br>
The European: There’s the slippery slope argument: Once we decide to<br>
pursue human enhancements with a certain determination, we have less<br>
control over the limits of these enhancements. How do you guard<br>
against unintended consequences?<br>
Bostrom: Yes, unintended consequences are likely to occur.<br>
<b>Right now, there is a lot of research into cosmetics. That’s a<br>
positional good at best, yet we devote a huge amount of time and money<br>
to it. There is no moral reason why we should enhance our skin.</b> On the<br>
other hand, enhancements that could increase our cognitive capacities<br>
are not really pursued. Partially, that has to do with our regulatory<br>
framework, which is built on the idea that medicine is all about<br>
disease. If you want to develop new drugs, you have to show that they<br>
are safe and effectively treat a disease. So when you want to find<br>
ways to enhance our brain activity, you perversely have to show that<br>
we are currently sick and need treatment. You cannot say, “I simply<br>
want to make this better than before”. We need to remove that stigma.<br>
<br>The European: Michael Sandel writes that there is something valuable<br>
about accepting biological chance: We should remain humble and accept<br>
the traits we have been given instead of trying to engage in<br>
hyper-parenting, genetic enhancements and the like.<br>
Bostrom: The idea of appreciating gifts makes a lot of sense if there<br>
is someone who is giving you these gifts and might otherwise be<br>
offended. But if we are talking about a natural condition like cancer<br>
or malaria, I think have every reason to reject these “gifts”.<br>
The European: The consequence might be that everyone feels entitled to<br>
an ever-increasing standard of capacities.<br>

Bostrom: I don’t think it’s bad if more people feel entitled to a good<br>
life. We should probably encourage that.<br>
The European: Francis Fukuyama has called transhumanism “the greatest<br>
threat to mankind”. What explains that cultural pessimism?<br>
Bostrom: <b>When we create the technologies to fundamentally change human<br>
nature, there are great dangers associated with that. It is not clear<br>
that our wisdom is really up to the task. </b>That’s part of the<br>
explanation. There is also a certain double standard: We accept<br>
inventions and innovations of the past, but we tend to be more<br>
critical towards new developments. If we look at the history of<br>
medicine, we see that many inventions were condemned and disparaged by<br>
bioconservatives. Heart transplants were once considered immoral–how<br>
could you open the chest cavity of one person and transplant the heart<br>
into the body of another person? Similarly, when anesthesia during<br>
childbirth came into use, bioconservatives lamented that it ran<br>
against nature. A woman, they said, was meant to feel pain when giving<br>
birth. It’s the same story with in-vitro fertilization, when people<br>
worried about the psychological effects of someone knowing that they<br>
came from a test tube. When we introduce new biomedical ways of<br>
manipulating our bodies, there is often an initial, gut-level<br>
repugnance. Usually, that repugnance dissipates once people become<br>
familiar with new technologies.<br>
The European: But how do we distinguish progress from good progress?<br>
Bostrom: We need to figure out what concerns are based on irrational<br>
bias and which ones are not, while weighing those concerns against<br>
potential benefits. <b>Then we have to consider practicalities and what<br>
is politically feasible</b>, and to prioritize.<br>
The European: What possibilities for human enhancement do you see as<br>
especially promising and as least problematic, so that we should<br>
actually take concrete steps into their direction?<br>
Bostrom: I think it would be great, for example, if we could develop a<br>
least some mild cognitive enhancements that give us a bit more mental<br>
energy or combat diseases like Alzheimer’s. <b>In general, though, the<br>
difficulties of enhancing the capacities of a healthy human being may<br>
have been underestimated. Humans are very complex evolved systems. If<br>
we begin to tinker with that and don’t know what we are doing, we are<br>
likely to mess up and cause side effects that might only become<br>
evident much later.</b><br>
The European: And what effect might that have on the probability of<br>
existential risk?<br>
Bostrom: <b>The wrong kinds of enhancements constitute a kind of<br>
existential threat</b>. In relation to cognitive enhancements, I believe<br>
that their net effect on existential risk would be positive. They<br>
might increase the speed of technological innovation, but they would<br>
also enhance our capacity to think about potential consequences of<br>
that innovation. With cognitive enhancements, the gains are likely to<br>
outweigh the downsides. If one didn’t have that optimism, one would<br>
have to be consequential and also argue that we should not care about<br>
lead in our water. We don’t have a reason to assume that the current<br>
distribution of cognitive abilities is at an optimal level.<br>
<br clear="all"><br>-- <br>Stefano Vaj<br>