<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Sun, Apr 23, 2023 at 1:05 PM spike jones via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><br>
<br>
-----Original Message-----<br>
From: extropy-chat <<a href="mailto:extropy-chat-bounces@lists.extropy.org" target="_blank">extropy-chat-bounces@lists.extropy.org</a>> On Behalf Of Stuart LaForge ..<br>
<br>
<br>
>...I sense some big companies are starting to play a lot closer to their vests in that regard. I am not entirely sure I trust Sam Altman's claim that he hasn't started developing GPT-5...<br>
<br>
At no point will those with the means to do so unanimously decide: OK GPT-4 is getting scary, let's all stop further development forthwith.<br>
<br>
A few may do this, most will suggest the others stop development while simultaneously scouring the globe for those who understand the unfortunate term "transformer" as it relates to AI and language models.<br>
<br>
(Who the heck thought it was a good idea to further overwork the already-defined term "transformer" please? We coulda made up a new term for that, for I think it refers to a novel concept.)<br><br></blockquote><div><br></div><div>I agree it is always unfortunate when general words get overloaded, but there was a legitimate historical reason for this term (at least initially). The transformer model was designed to consist of a pair, of an "encoder" and "decoder", where one input can be transformed into another. For example, translating English into French, or subtitles into spoken words, or vice-versa, etc.</div><div><br></div><div>However, what GPT and its many related incarnations as chat bots are, are not transformers in this original sense, but simply one part of it, generally the decoder only. The decoder, running on its own without the encoder, is sufficient to generate streams of english text given a prompt. But with only the decoder, it's no longer really a "transformer", so we are stuck with this inaccurate, overloaded, confusing term.</div><div><br></div><div>Jason</div></div></div>