Как запустить свой собственный локальный LLM на Raspberry Pi

После ошеломляющего выпуска ChatGPT 3 компанией OpenAI в конце 2022 года модели больших языков (LLM) захватили воображение всего мира, продемонстрировав замечательные возможности — от написания эссе до ответов на сложные вопросы.

Однако вам не нужно полагаться на такие компании, как OpenAI, Google или Anthropic, и делиться потенциально личными данными, чтобы воспользоваться возможностями LLM. Имея всего лишь доступный Raspberry Pi, вы можете настроить своего собственного локального помощника на основе чата с искусственным интеллектом. В этом руководстве показано, как это сделать.

Что вам понадобится

Чтобы настроить собственный LLM на Raspberry Pi, вам понадобится несколько основных компонентов:

• Raspberry Pi. Поскольку LLM требует больших ресурсов, для оптимальной производительности лучше всего использовать самый мощный Raspberry Pi из доступны

  Contents

  • 1 Что вам понадобится
  • 2 Установить Олламу
  • 3 Загрузите и запустите LLM
  • 4 Использование локального LLM на Raspberry Pi

  Что вам понадобится

  этой статьи рекомендуемым выбором является Raspberry Pi 5 с 8 ГБ ОЗУ.
• Карта microSD с ОС Raspberry Pi. Для достижения максимальной производительности рассмотрите возможность использования облегченной версии ОС Raspberry Pi, поскольку для запуска LLM не требуется графический интерфейс пользователя (с ним можно взаимодействовать). удаленно с помощью терминала и SSH ). Однако, если вы используете Raspberry Pi для других задач или в качестве основного компьютера, вы можете использовать обычную версию ОС Raspberry Pi. Наше руководство по как настроить ОС Raspberry Pi на Raspberry Pi поможет вам начать работу.
• Дополнительные компоненты. Помимо Raspberry Pi и быстрая карта microSD , вам понадобится надежный источник питания (рекомендуется официальный), клавиатура, мышь и монитор для первоначальной настройки (необязательно, если вы используете SSH) и подключение к Интернету для загрузки необходимого программного обеспечения и моделей.

Имея эти компоненты, вы готовы приступить к настройке собственного LLM на Raspberry Pi.

Установить Олламу

Первым шагом в настройке собственного LLM на Raspberry Pi является установка необходимого программного обеспечения. В настоящее время двумя наиболее популярными вариантами локального запуска LLM являются llama.cpp и Ollama.

• лама.cpp — это облегченная C++ реализация LLaMA (Large Language Model Adaptor) от Meta, которая может работать на широком спектре оборудования, включая Raspberry Pi. Он был разработан Георгием Гергановым и выпущен в марте 2023 года.

С другой стороны,

• Оллама построен на основе llama.cpp и предлагает несколько удобных для пользователя функций. Он автоматически обрабатывает запросы шаблонов чата в формате, ожидаемом каждой моделью, а также загружает и выгружает модели по требованию на основе запроса клиента. Оллама также управляет загрузкой и кэшированием моделей, в том числе квантованных, поэтому вы можете запрашивать их по имени.

В этом руководстве мы будем использовать Ollama из-за ее простоты использования и дополнительных функций.

Чтобы установить Ollama на Raspberry Pi, откройте окно терминала на Raspberry Pi. Если вы используете SSH, подключитесь к Raspberry Pi с помощью предпочитаемого клиента SSH. Затем введите в терминал следующую команду:

curl -fsSL http
Установить Олламу
m/install.sh | sh

Эта команда загружает и выполняет сценарий установки с официального сайта Ollama. Скрипт автоматически установит необходимые зависимости и настроит Ollama на вашем Raspberry Pi.

Загрузите и запустите LLM

После установки Ollama пришло время загрузить большую языковую модель. Если вы используете Raspberry Pi с 8 ГБ ОЗУ, вы можете запускать модели с 7 миллиардами параметров (настройки, которые ИИ использует для определения своих выходных данных).

Некоторые популярные варианты включают Mistral (7B), Gemma (7B или 2B), Llama 2 без цензуры (7B) или Microsoft Phi-3 (3,8B). Вы можете просмотреть все поддерживаемые модели на Страница библиотеки Олламы .

В этом руководстве мы будем использовать Модель Microsoft Phi-3 . Несмотря на свой небольшой размер и эффективность, Фи-3 — чрезвычайно мощная модель. Чтобы установить его, просто запустите в терминале следующую команду:

ollama run phi3

Эта команда загрузит и установит модель Phi-3, а также автоматически запустит сеанс интерактивного чата с моделью.

Использование локального LLM на Raspberry Pi

После загрузки и установки модели Phi-3 вы увидите в терминале подсказку следующего вида:

>>> Send a message (/? for help)

Это означает, что LLM запущен и ожидает вашего ввода. Чтобы начать взаимодействие с моделью, введите свое сообщение и нажмите Enter.

Вот несколько советов по созданию эффективных подсказок:

1. Будьте конкретны. Предоставьте четкие и подробные инструкции или вопросы, которые помогут LLM понять, что вы ищете.
2. Задайте контекст. Предоставьте LLM некоторую справочную информацию или сценарий, который поможет ему генерировать более релевантные ответы.
3. Определите роли. Укажите роль, которую LLM должен выполнять в своем ответе, например рассказчик, учитель или технический эксперт.

Чтобы завершить сеанс LLM, нажмите Ctrl+ dили введите команд

Загрузите и запустите LLM

Имейте в виду, что производительность Raspberry Pi 5 имеет свои ограничения: он может выводить только несколько токенов в секунду. Для повышения производительности рассмотрите возможность запуска Ollama на более мощном компьютере с выделенная видеокарта .

Изображение предоставлено: Unsplash . Скриншоты Дэвида Морело.

Использование локального LLM на Raspberry Pi