После ошеломляющего выпуска ChatGPT 3 компанией OpenAI в конце 2022 года модели больших языков (LLM) захватили воображение всего мира, продемонстрировав замечательные возможности — от написания эссе до ответов на сложные вопросы.
Однако вам не нужно полагаться на такие компании, как OpenAI, Google или Anthropic, и делиться потенциально личными данными, чтобы воспользоваться возможностями LLM. Имея всего лишь доступный Raspberry Pi, вы можете настроить своего собственного локального помощника на основе чата с искусственным интеллектом. В этом руководстве показано, как это сделать.
Что вам понадобится
Чтобы настроить собственный LLM на Raspberry Pi, вам понадобится несколько основных компонентов:
- Raspberry Pi. Поскольку LLM требует больших ресурсов, для оптимальной производительности лучше всего использовать самый мощный Raspberry Pi из доступны
Contents
Что вам понадобится
этой статьи рекомендуемым выбором является Raspberry Pi 5 с 8 ГБ ОЗУ. - Карта microSD с ОС Raspberry Pi. Для достижения максимальной производительности рассмотрите возможность использования облегченной версии ОС Raspberry Pi, поскольку для запуска LLM не требуется графический интерфейс пользователя (с ним можно взаимодействовать). удаленно с помощью терминала и SSH ). Однако, если вы используете Raspberry Pi для других задач или в качестве основного компьютера, вы можете использовать обычную версию ОС Raspberry Pi. Наше руководство по как настроить ОС Raspberry Pi на Raspberry Pi поможет вам начать работу.
- Дополнительные компоненты. Помимо Raspberry Pi и быстрая карта microSD , вам понадобится надежный источник питания (рекомендуется официальный), клавиатура, мышь и монитор для первоначальной настройки (необязательно, если вы используете SSH) и подключение к Интернету для загрузки необходимого программного обеспечения и моделей.
Имея эти компоненты, вы готовы приступить к настройке собственного LLM на Raspberry Pi.
Установить Олламу
Первым шагом в настройке собственного LLM на Raspberry Pi является установка необходимого программного обеспечения. В настоящее время двумя наиболее популярными вариантами локального запуска LLM являются llama.cpp и Ollama.
- лама.cpp — это облегченная C++ реализация LLaMA (Large Language Model Adaptor) от Meta, которая может работать на широком спектре оборудования, включая Raspberry Pi. Он был разработан Георгием Гергановым и выпущен в марте 2023 года.
- Оллама построен на основе llama.cpp и предлагает несколько удобных для пользователя функций. Он автоматически обрабатывает запросы шаблонов чата в формате, ожидаемом каждой моделью, а также загружает и выгружает модели по требованию на основе запроса клиента. Оллама также управляет загрузкой и кэшированием моделей, в том числе квантованных, поэтому вы можете запрашивать их по имени.
С другой стороны,
В этом руководстве мы будем использовать Ollama из-за ее простоты использования и дополнительных функций.
Чтобы установить Ollama на Raspberry Pi, откройте окно терминала на Raspberry Pi. Если вы используете SSH, подключитесь к Raspberry Pi с помощью предпочитаемого клиента SSH. Затем введите в терминал следующую команду:
curl -fsSL httpУстановить Олламу
m/install.sh | sh
Эта команда загружает и выполняет сценарий установки с официального сайта Ollama. Скрипт автоматически установит необходимые зависимости и настроит Ollama на вашем Raspberry Pi.
![Установка Олламы завершена](https://saintist.ru/wp-content/uploads/2024/05/ollama-installation-finished-800x581-1.jpeg)
Загрузите и запустите LLM
После установки Ollama пришло время загрузить большую языковую модель. Если вы используете Raspberry Pi с 8 ГБ ОЗУ, вы можете запускать модели с 7 миллиардами параметров (настройки, которые ИИ использует для определения своих выходных данных).
Некоторые популярные варианты включают Mistral (7B), Gemma (7B или 2B), Llama 2 без цензуры (7B) или Microsoft Phi-3 (3,8B). Вы можете просмотреть все поддерживаемые модели на Страница библиотеки Олламы .
В этом руководстве мы будем использовать Модель Microsoft Phi-3 . Несмотря на свой небольшой размер и эффективность, Фи-3 — чрезвычайно мощная модель. Чтобы установить его, просто запустите в терминале следующую команду:
ollama run phi3
Эта команда загрузит и установит модель Phi-3, а также автоматически запустит сеанс интерактивного чата с моделью.
![Оллама Фи3 Скачать](https://saintist.ru/wp-content/uploads/2024/05/ollama-phi3-download-800x584-1.jpeg)
Использование локального LLM на Raspberry Pi
После загрузки и установки модели Phi-3 вы увидите в терминале подсказку следующего вида:
>>> Send a message (/? for help)
Это означает, что LLM запущен и ожидает вашего ввода. Чтобы начать взаимодействие с моделью, введите свое сообщение и нажмите Enter.
![Оллама отвечает на вопрос](https://saintist.ru/wp-content/uploads/2024/05/ollama-answering-a-question-800x581-1.jpeg)
Вот несколько советов по созданию эффективных подсказок:
- Будьте конкретны. Предоставьте четкие и подробные инструкции или вопросы, которые помогут LLM понять, что вы ищете.
- Задайте контекст. Предоставьте LLM некоторую справочную информацию или сценарий, который поможет ему генерировать более релевантные ответы.
- Определите роли. Укажите роль, которую LLM должен выполнять в своем ответе, например рассказчик, учитель или технический эксперт.
Чтобы завершить сеанс LLM, нажмите Ctrl+ dили введите команд
Загрузите и запустите LLM
е начать другой сеанс позже, просто откройте новый терминал и выполните командуollama run phi3
. Поскольку модель уже загружена, она быстро запустится без необходимости повторной загрузки.
Имейте в виду, что производительность Raspberry Pi 5 имеет свои ограничения: он может выводить только несколько токенов в секунду. Для повышения производительности рассмотрите возможность запуска Ollama на более мощном компьютере с выделенная видеокарта .
Изображение предоставлено: Unsplash . Скриншоты Дэвида Морело.