[Maximilian Schwarzmüller] Локальные LLM через Ollama и LM Studio - Практическое руководство (2025)

***Язык английский. Перевод на русский всех видео лекций с помощью ИИ***

Для кого этот курс:
Beginner and advanced users of AI chatbots & LLMs
Professionals that require a high degree of data privacy
Tech enthusiasts and AI users that want to go beyond the basics
Запускайте открытые большие языковые модели, такие как Gemma, Llama или DeepSeek, локально для выполнения AI-инференса на пользовательском оборудовании.
Это практический курс, который шаг за шагом обучает запуску современных больших языковых моделей (LLM) на вашем собственном компьютере с помощью инструментов Ollama и LM Studio.

Вот основные аспекты и навыки, которые вы получите:
Изучение открытых LLM: Понимание, что такое открытые языковые модели, зачем они нужны и где их найти.
Аппаратные требования: Разбор реальных требований к железу для локального запуска LLM.
Квантование: Объяснение техники, которая позволяет запускать большие модели даже на обычных компьютерах.
LM Studio: Практическая работа с установкой, настройкой, выбором, скачиванием и запуском моделей через LM Studio.
Ollama: Установка, настройка и взаимодействие с моделями через Ollama.
Реальные задачи: Использование LLM для OCR (распознавание текста на изображениях), суммирования PDF-документов, few-shot prompting, генерации креативного контента.
Интеграция: Встраивание локальных моделей в собственные программы и приложения через API Ollama и LM Studio
Требования:
Базовое понимание принципов работы и использования LLM
НЕ требуются навыки программирования или продвинутые технические знания
Если вы хотите запускать модели локально: потребуется не менее 8 ГБ (V)RAM
Откройте силу приватного и мощного ИИ на своем собственном ПК!
ChatGPT, Google Gemini и другие подобные AI-чат-боты стали стандартными инструментами на каждый день.
Но, как и любые инструменты, они подходят не для всех задач.
Когда важны приватность, стоимость, офлайн-доступ или глубокая кастомизация, запуск мощных открытых моделей локально на своем компьютере превосходит все проприетарные модели и сторонние AI-чат-боты.
Этот курс научит вас использовать открытые LLM, такие как Llama от Meta, Gemma от Google или DeepSeek, чтобы запускать AI-нагрузки и чат-ботов прямо на вашем устройстве — неважно, это мощный ПК или обычный ноутбук.

Почему локальные и открытые LLM?
В эпоху облачных AI и чат-ботов вроде ChatGPT локальный запуск современных моделей дает принципиальные преимущества.
Представьте, что вы используете передовой ИИ с такими возможностями:
Нулевая или низкая стоимость: Забудьте о дорогих подписках — используйте мощные модели бесплатно.
100% приватность: Ваши запросы и данные всегда остаются на вашем компьютере.
Оффлайн-доступ: Работайте с ИИ где угодно и когда угодно, даже без интернета.
Свобода от привязки к поставщику: Доступ к разнообразной и быстрорастущей экосистеме открытых моделей.
Потрясающие возможности: Откройте для себя, что такие открытые модели, как Gemma, Llama и DeepSeek, не просто альтернатива, а лидеры рейтингов и бенчмарков!
Обзор курса
Этот курс — ваш подробный и практический путь в мир локальных LLM.
Мы упростим сложные моменты и проведём вас шаг за шагом — от установки до продвинутого использования.

Вы освоите:
Мир открытых LLM: Что такое открытые модели, зачем они нужны и где их искать.
Оборудование без секретов: Реальные требования к железу для локального запуска LLM.
Квантование: Техника, позволяющая запускать большие модели на обычных компьютерах.
LM Studio: Практика установки, настройки, выбора, скачивания и запуска моделей через LM Studio.
Ollama: Установка, настройка и взаимодействие с моделями через Ollama.
Реальные задачи: Применение знаний для OCR изображений, суммирования PDF-документов, few-shot prompting, генерации креативного контента.
Интеграция в свои программы: Как подключать локальные модели к собственным скриптам и приложениям через API (LM Studio и Ollama).
И многое другое! Постройте прочную базу и уверенность для самостоятельного освоения локального ИИ.
Курс идеально подойдет:
Разработчикам, желающим интегрировать мощный и приватный ИИ в свои рабочие процессы или приложения.
Техническим энтузиастам, стремящимся экспериментировать с передовым ИИ без ограничений облака.
Людям, заботящимся о приватности данных при работе с ИИ.
Всем, кто ищет мощные AI-решения без постоянных подписок.
Студентам и профессионалам, желающим добавить востребованные практические навыки ИИ в свой арсенал.
Готовы взять под контроль своё AI-будущее?
Откройте для себя мир мощного, приватного и доступного искусственного интеллекта. Запишитесь на курс «Unlock Local AI Power» и начните запускать невероятные большие языковые модели прямо на своём компьютере уже сегодня!

Материалы курса:
5 разделов • 58 лекций • Общая продолжительность 3 ч 54 мин

Введение
Добро пожаловать на курс!
Что такое «открытые степени магистра права»?
Почему вам стоит проводить открытые программы LLM локально?
Популярные открытые программы LLM — некоторые примеры
Где найти открытые степени магистра права?
Локальное выполнение LLM — доступные варианты
Проверьте лицензии моделей!
Слайды курса
Понимание требований к оборудованию и квантования
Введение в модуль
Требования к оборудованию LLM — первые шаги
Вывод требований к оборудованию из параметров модели
Квантование спешит на помощь!
Работает ли он на вашем компьютере?
Глубокое погружение в LM Studio
Введение в модуль
Локальный и удаленный запуск
Установка и использование LM Studio
Поиск, загрузка и активация открытых LLM
Использование интерфейса чата LM Studio
Работа с системными подсказками и предустановками
Управление чатами
Возможности для опытных пользователей по управлению моделями и чатами
Использование мультимодальных моделей и извлечение контента из изображений (OCR)
Анализ и обобщение PDF-документов
Вперед к более продвинутым настройкам
Понимание температуры, top_k и top_p
Управление температурой, top_k и top_p в LM Studio
Управление базовой средой выполнения и конфигурацией оборудования
Управление длиной контекста
Использование мгновенного внимания
Работа со структурированными результатами
Использование локальных LLM для генерации кода
Генерация контента и подсказки с небольшим количеством кадров (инженерия подсказок)
Вперед к программному использованию
LM Studio и ее совместимость с OpenAI
Еще примеры кода!
Более глубокое изучение API LM Studio
Использование Python/JavaScript SDK
Глубокое погружение в Оллама
Введение в модуль
Установка и запуск Ollama
Поиск пригодных для использования открытых моделей
Локальное выполнение открытых LLM через Ollama
Добавление графического интерфейса с помощью Open WebUI
Работа с многострочными сообщениями и вводом изображений (мультимодальность)
Проверка моделей и извлечение информации о моделях
Редактирование системных сообщений и параметров модели
Сохранение и загрузка сессий и моделей
Управление моделями
Создание чертежей моделей с помощью Modelfiles
Создание моделей из файлов моделей
Понимание шаблонов моделей
Создание модели с нуля из файла GGUF
Начало работы с сервером Ollama (API)
Изучение API Ollama и программного доступа к модели
Получение структурированного вывода
Еще примеры кода!
Использование Python/JavaScript SDK
Обзор курса.
Округлять
Бонусная лекция