DeepSeek-r1 вызвал бурное обсуждение в мировом сообществе благодаря своей выдающейся производительности. Однако с ростом числа пользователей и кибератаками на неизвестные территории официальные сервисы часто оказываются перегруженными. Сегодня я расскажу вам, как создать специализированный, никогда не выходящий из строя ИИ-ассистент без особых затрат.
Почему стоит выбрать частное развертывание? В чем преимущества частного развертывания? Помимо стабильности сервиса, частное развертывание дает нам полный контроль над безопасностью данных, а также позволяет свободно настраивать параметры и расширять функции по мере необходимости. Бесплатных ресурсов GPU, предоставляемых Tencent Cloud (эквивалент уровня RTX 4080, 10 000 минут в месяц, облачный сервис 16 Гб графической памяти), более чем достаточно, что позволяет нам наслаждаться плавной работой ИИ без необходимости инвестировать в оборудование. Ниже приведены подробные шаги по развертыванию:
Шаг 1: Подготовительная работа
Посетите Tencent Cloud Studio
чтобы завершить регистрацию и проверку реального имени. Этот шаг очень важен, поскольку только пользователи с реальными именами могут получать бесплатные ресурсы GPU.
Вы также можете выбрать ресурсы, предоставляемые другими поставщиками облачных услуг. В этой статье в качестве примера используется Tencent Cloud. Бесплатные ресурсы GPU теперь доступны
Шаг 2: Создайте рабочее пространство
Поиск "Оллама" в интерфейсе выбора шаблона рабочего пространства и выберите базовый тип (бесплатная версия) для создания рабочего пространства. Подождите 2-5 минут, пока завершится инициализация.
Шаг 3: развертывание модели
Создайте новый терминал в рабочей области и последовательно выполните следующие команды:
Примечание: Загрузка модели занимает около 10-15 минут, в зависимости от состояния сети. После завершения загрузки вы сможете напрямую общаться с AI в терминале.
Шаг 4: Настройка проникновения в интранет
Чтобы разрешить другим устройствам доступ к вашему помощнику ИИ, необходимо настроить проникновение в интрасеть:
- Проверьте работающий порт Ollama
- Начало проникновения в интранет
Примечание: 6399 - это пример номера порта, пожалуйста, замените его в соответствии с результатами предыдущего шага.
После выполнения вы получите адрес доступа к публичной сети в формате:
Шаг 5: Настройте автоматический перезапуск (необязательно, но рекомендуется)
Для поддержания стабильной работы сервиса рекомендуется добавить скрипт автоматического перезапуска:
Шаг 6: Конфигурация
В качестве примера используется CherryStudio. Для подробного ознакомления,
- Загрузите и установите CherryStudio
- Добавьте новую конфигурацию модели в настройках:
- Название модели: deepseek-r1:14b
- Адрес сервера: введите адрес публичной сети gradio.
- Ключ API: оставьте пустым
Советы по оптимизации производительности
Хотите, чтобы ваш ИИ-помощник отвечал быстрее? Попробуйте эти параметры оптимизации:
Часто задаваемые вопросы
Если вы столкнулись с тем, что порт занят:
Загрузка модели прервана:
Недостаточный объем памяти
Советы
- Бесплатные экземпляры GPU будут автоматически переходить в спящий режим в 2 часа ночи каждое утро. Рекомендуется избегать этого периода времени
- Срок действия адреса проникновения в интрасеть истекает через 72 часа. Не забывайте регулярно проверять его
- Вы можете контролировать длину ответа, изменяя параметр -max-tokens, чтобы сбалансировать скорость и полноту.
- Если вы обнаружили, что отклик замедляется, попробуйте перезапустить службу
На этом этапе ваш собственный ИИ-ассистент готов к работе. Он не только стабилен и надежен, но и полностью под вашим контролем. Будь то ежедневная работа, программирование или анализ данных, у вас будет способный помощник, который будет вам помогать.
Не забывайте сохранять свой адрес доступа, а если у вас возникнут вопросы по процессу развертывания, задавайте их в разделе комментариев. Желаю всем вам в новом году достичь новых высот с помощью искусственного интеллекта!
