Локальный ИИ: эксперимент с Mac Studio и агентом Hermes

Почему локальный ИИ

Тебе надоело передавать личные письма, календарь и финансовые таблицы в облако. Я решил проверить, насколько мощные модели работают прямо на твоём компьютере, и насколько это удобно в повседневных задачах.

Настройка и выбор модели

Взял Mac Studio M5 Ultra с 256 ГБ унифицированной памяти, установил открытый агент Hermes – кроссплатформенное приложение, которое управляет локальными LLM. Через встроенный подборщик моделей я скачал Qwen 3.8 Flash Next: 125 млрд параметров, около 105 ГБ на диске. На более скромных устройствах планирую попробовать лёгкие версии Qwen, но для первого прогона выбрал «большой» вариант.

Первые автоматизации

Запустил ежедневный брифинг: скрипт читает почту и календарь, формирует короткое резюме и погоду. Первый запуск падал, потому что macOS спал в момент запуска задачи – после отключения сна всё отработало стабильно. Затем попросил Hermes упорядочить библиотеку Steam (более 400 игр). Выдал API‑ключ, агент за пару минут распределил игры по жанрам и личным категориям, после чего ключ был отозван.

Приватные задачи и дальнейшие планы

Попросил Hermes посчитать финансовые показатели и собрать сравнение ноутбуков – данные остались только на моём диске, без риска утечки. Сейчас разрабатываю скрипт, который автоматически запускает серию бенчмарков ноутбука и собирает результаты в таблицу. Всё это показывает, что локальный ИИ может взять на себя рутинные операции, если ты готов предоставить нужные права.

Что дальше?

Продолжаю экспериментировать с другими ПК, проверяю, насколько быстро можно переключаться между моделями и какие задачи действительно оправдывают вложения в дорогие машины. Если тебе интересны подобные эксперименты, следи за обновлениями.