<div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:#000000">I asked Perplexity AI.</div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:#000000">Currently, RAM limitations mean only smaller LLMs can run on cellphones.</div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:#000000">But cellphones will soon have more RAM.</div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:#000000">BillK</div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:#000000"><br></div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:#000000">Perplexity AI:</div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:#000000"></div><div class="gmail_default" style="font-family:arial,sans-serif;font-size:small;color:#000000"><p>Yes—many <b>small LLMs</b> can run entirely on modern smartphones, offline and without sending prompts to a cloud service. The practical sweet spot is roughly <b>1B–4B parameter models</b>, often quantized to 4-bit precision; flagship phones can sometimes handle 7–8B models.<span></span><br></p><h2 id="m_1816898171273802412gmail-models-that-work-well">Models that work well</h2><div><div aria-hidden="true" style="overflow:hidden"><div></div></div><div><table><thead><tr><th scope="col">Model</th><th scope="col">Typical size</th><th scope="col">Good for</th></tr></thead><tbody><tr><td>Gemma 3 / Gemma 3n</td><td>1B–4B</td><td>General chat, summarization, mobile-first use </td></tr><tr><td>Llama 3.2</td><td>1B / 3B</td><td>Lightweight chat and mobile deployment </td></tr><tr><td>Microsoft Phi-4 Mini</td><td>3.8B</td><td>Strong reasoning/efficiency for its size </td></tr><tr><td>Qwen 3 / Qwen 3.5 small</td><td>~0.8B–4B</td><td>Multilingual tasks and compact chat </td></tr><tr><td>SmolLM 2</td><td>1.7B</td><td>Very lightweight local assistant </td></tr></tbody></table></div></div><p>These are not equivalent to the largest cloud models on complex reasoning, coding, or long-context work, but they are useful for drafting, summarizing, answering questions, extracting structured data, and basic offline <span></span></p><h2 id="m_1816898171273802412gmail-how-to-run-one">How to run one</h2><ul><li><p><b>Easiest apps:</b> PocketPal AI, MLC Chat, and Google AI Edge Gallery support downloading and running compact models on Android and/or iOS.<span></span><br></p></li><li><p><b>Built-in options:</b> Recent Android flagships may include Gemini Nano, while newer iPhones can use Apple’s on-device Foundation Models; these are usually integrated into system/app features rather than general-purpose chat apps.</p></li><li><p><b>More technical route:</b> On Android, Termux plus <code>llama.cpp</code> can run GGUF model files locally; MLC LLM can also use phone GPUs.</p></li></ul><h2 id="m_1816898171273802412gmail-practical-limits">Practical limits</h2><p>RAM is the main constraint: 1B–2B models generally suit phones with 6–8 GB RAM, while 3B–4B models are more comfortable on flagships with 8–12 GB. Expect slower generation, higher battery use, and a need to keep several gigabytes free for the model file.<span></span><br></p><p>For a first test, install <b>PocketPal AI</b> and try <b>Gemma 3 1B</b>, <b>Llama 3.2 1B</b>, or <b>Qwen 3 1.7B</b>; if your phone has ample RAM, move up to <b>Phi-4 Mini</b> or <b>Gemma 3 4B</b>.</p><p>--------------------------------</p><br></div></div>
</div>