<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Wed, Feb 22, 2023 at 10:16 PM Gadersd via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div style="overflow-wrap: break-word;">Spike, training these models as they run is definitely possible but the main barrier here is cost. The expense required to train models as large as ChatGPT requires an investment of at least hundreds of thousands of dollars. For each individual to have a personalized ChatGPT would require us all to be relatively wealthy. Give it a few years and computing costs will go down or maybe an improvement of the model architecture will enable lower cost training, but for now most of us will have to be content with fixed models.<div><br></div><div>I’m personally hoping for an architectural improvement that will endow these models with persistent memory so that they can in a sense cheaply train themselves as they run as our own brains do. <span style="color:rgb(0,0,0)">This however has not been developed yet as far as I am aware. </span> If these models train/learn on their own outputs then this may enable them to develop a model of their own function which may endow them with embodied characteristics and self-consciousness.</div><div><div><br></div></div></div></blockquote><div><br></div><div>I just wanted to share that there is a fully open/open source large language model out called BLOOM:</div><div><a href="https://bigscience.huggingface.co/blog/bloom">https://bigscience.huggingface.co/blog/bloom</a> </div><div><a href="https://huggingface.co/bigscience/bloom">https://huggingface.co/bigscience/bloom</a><br></div><div><br></div><div>It comes in various sizes, some of which can be run stand-alone on modest hardware (at the cost of lost sophistication of the model).</div><div><br></div><div>Jason</div></div></div>