[Diogo Resende] [ZTM] Технология поисковой дополненной генерации (RAG) для LLM (2025)

[Diogo Resende] [ZTM] Учебный лагерь по инженерии ИИ: технология поисковой дополненной генерации (RAG) для LLM (2025)

Слив курса Учебный лагерь по инженерии ИИ: технология поисковой дополненной генерации (RAG) для LLM [ZTM] [Diogo Resende]

*** Язык английский + субтитры русском языке, + озвучка на русском языке (ИИ)***

Чему вы научитесь:

Объедините генеративные модели ИИ с расширенной генерацией поиска для создания более интеллектуальных систем ИИ
Используйте API OpenAI для генерации текста и обработки неструктурированных данных
Мастер FAISS для эффективного поиска сходства в больших наборах данных
Применяйте методы оперативной инженерии для оптимальных реакций ИИ
Создавайте реальные проекты ИИ, такие как чат-боты и инструменты финансового анализа.
Изучите передовые концепции RAG, такие как мультимодальный и агентский RAG.
Кто такой инженер ИИ?
Коротко говоря, инженер ИИ работает над всем жизненным циклом приложения ИИ, то есть приложения, которое использует ИИ в своей основе. Инженер ИИ берет модели ИИ, включая большие языковые модели, и настраивает их под свои нужды.
Для этого требуется все: от создания моделей с использованием пользовательских наборов данных до обучения и настройки моделей, развертывания моделей и их масштабирования с использованием облачных технологий.
Роль растет как лесной пожар, но она все еще развивается и, несомненно, будет продолжать развиваться по мере изменения ландшафта ИИ.

Что такое поисковой дополненной генерации (RAG)?
Вы когда-нибудь задумывались, почему некоторые системы ИИ могут ощущаться ограниченными, давая ответы, которые кажутся немного общими или нецелевыми? Ну, это потому, что они ограничены знаниями в своих обучающих данных.
И это много данных. Но это не все. Они не включают в себя частные данные, а также не включают в себя последние данные, которые были созданы с момента обучения модели.
Технология поисковой дополненной генерации (RAG) решает эту проблему, дополняя модели ИИ этой частной или новой информацией.
Вместо того чтобы полагаться только на то, чему он был обучен, RAG извлекает актуальную, релевантную информацию из базы данных или документа.
Вот как это работает: система сначала находит наиболее релевантные фрагменты информации для заданного вопроса (поиск). Затем она использует языковую модель для генерации ответа на основе этой информации (генерация). Вот почему это называется генерацией, дополненной поиском!
Результатом является искусственный интеллект, который сочетает в себе лучшее из обоих миров: доступ к внешним знаниям в режиме реального времени и способность ясно их выражать.

Давайте рассмотрим пример.
Представьте себе: вы просматриваете сайт магазина одежды, ищете определенную куртку вашего размера и любимого цвета, но не уверены, есть ли она в наличии. Вместо того, чтобы кликать по бесконечным фильтрам, чат-бот на базе RAG может сделать это без усилий.
Когда вы спрашиваете: «У вас есть синяя куртка среднего размера?», система RAG извлекает данные о запасах в режиме реального времени из базы данных магазина. Она находит точные данные, такие как наличие в близлежащих магазинах или предполагаемые даты доставки — информацию, которой не было бы в данных обучения модели ИИ. А затем она использует эту информацию для генерации полезного ответа: «Да, у нас есть на складе! Вы можете забрать его в нашем магазине в центре города или заказать доставку к пятнице».
Такое динамичное и точное взаимодействие делает процесс покупок проще и быстрее, гарантируя, что вы получите необходимые ответы без лишних хлопот.
RAG все чаще используется в приложениях ИИ, таких как чат-боты, исследовательские инструменты и системы анализа данных, где точность и контекст имеют важное значение. Это практичный способ сделать ИИ более надежным и полезным в сложных сценариях.

Почему именно этот курс RAG?
Ну, потому что это лучший, самый современный и практичный онлайн-курс по разработке искусственного интеллекта, который научит вас реальным навыкам RAG и позволит вам получить практические навыки, которые вы сможете использовать в реальном мире.
Но, конечно, мы предвзяты.

Итак, вот краткое изложение того, что рассматривается в этом курсе RAG Bootcamp, чтобы вы могли составить собственное мнение:

Основы систем поиска : этот раздел закладывает основу для понимания того, как искать и извлекать информацию из больших наборов данных. Вы узнаете, как подготовить текстовые данные для извлечения, изучите различные модели поиска (булевы, векторные, вероятностные) и поймете концепции индексации, запросов и ранжирования. Цель состоит в том, чтобы вооружить вас навыками эффективного поиска релевантной информации в больших наборах данных.
Основы моделей генерации : основываясь на концепциях поиска, этот раздел знакомит с принципами генерации текста с использованием ИИ. Вы узнаете об архитектуре трансформатора, которая произвела революцию в обработке естественного языка, и о том, как механизмы внимания в трансформаторах позволяют моделям фокусироваться на наиболее важных частях ввода. Вы также получите представление о методах подготовки данных и обучения для этих моделей.
Введение в RAG : в этом разделе представлены основные концепции Retrieval-Augmented Generation, объясняющие, как он объединяет сильные стороны моделей поиска и генерации для создания более точных, контекстно-релевантных и всесторонних ответов. Вы узнаете о базовой архитектуре RAG и поймете, почему она становится все более важной в различных приложениях ИИ.
Работа с API OpenAI : этот раздел посвящен обучению вас использованию API OpenAI для доступа и использования их мощных моделей ИИ, в частности для генерации текста и обработки изображений. Вы узнаете о получении ключей API, настройке среды, создании эффективных подсказок, настройке параметров и понимании влияния системных подсказок на поведение ИИ.
RAG с реализацией OpenAI : этот раздел объединяет все, что вы узнали до сих пор, чтобы научить вас создавать полностью функциональные системы RAG с использованием моделей OpenAI. Вы интегрируете компоненты поиска и генерации, изучите передовые концепции RAG, такие как многомодальный RAG, и используете API OpenAI для создания интеллектуальных систем, способных выполнять сложные задачи.
Работа с неструктурированными данными : в этом разделе рассматриваются проблемы и методы работы с неструктурированными данными, которые составляют подавляющее большинство информации в реальном мире. Вы узнаете, как обрабатывать и извлекать информацию из различных форматов, таких как PDF-файлы, документы Word, презентации PowerPoint, EPUB, изображения и данные Excel. Этот раздел снабжает вас инструментами для раскрытия ценности, скрытой в неструктурированных данных.
Мультимодальный RAG : основываясь на вашем понимании RAG, этот раздел знакомит с концепцией мультимодального RAG, которая расширяет возможности RAG для обработки данных из нескольких модальностей, таких как текст и изображения. Вы узнаете, как создавать системы, которые могут интегрировать различные типы данных для генерации более богатых и более контекстно релевантных ответов.
8. Агентный RAG : в этом разделе представлена концепция агентного RAG, с упором на создание агентов ИИ, которые могут взаимодействовать с пользователями, выполнять задачи и принимать решения автономно. Курс охватывает управление состоянием агента, рабочие процессы и интеграцию поиска и генерации в агентные системы. В этом разделе представлены передовые разработки RAG и рассматривается, как агенты ИИ могут динамически реагировать на запросы пользователей и выполнять сложные задачи.
Длительность курса: 17 часов 53 минуты, 150 уроков.