Промпт-инжиниринг в информационной безопасности. Как искусственный интеллект станет вашим союзником
© Константин Михайлович Саматов, 2025
ISBN 978-5-0065-8262-0
Создано в интеллектуальной издательской системе Ridero
Введение: почему искусственный интеллект – ваш новый союзник в ИБ?
Искусственный интеллект уже здесь – и он не ждет
Вы просыпаетесь утром, проверяете почту и видите 200 новых инцидентов в SIEM1. Фишинговые атаки, подозрительные подключения, уязвимости в коде… Знакомо? Теперь представьте, что 80% из них уже проанализированы – не вами, а искусственным интеллектом.
Пример:
В 2023 году ChatGPT сократил время анализа логов на 60% в одной из компаний из Fortune 500.
Не потому, что он умнее вас, а потому, что он быстрее.
Ваш вопрос: «А если я не разбираюсь в AI?»2
Ответ: Вам и не нужно. Эта книга – не про математику нейросетей, а про то, как заставить их работать на вас.
Следует отметить, что в 2024 году ChatGPT с обновлением GPT-4Turbo значительно улучшил анализ логов, позволяя компаниям из Fortune 500, таким как Adobe и Uber, ускорить обработку данных и выявление ошибок. Благодаря интеграции с Python и возможностям автоматизации, время анализа сократилось на 50—70% в зависимости от объема данных3.
Однако, в России пока сохраняется некоторое недоверие в части применения искусственного интеллекта в деловых процессах организации. Особенно в сфере информационной безопасности (ИБ).
Я проанализировал множество книг и курсов на русском языке, посвященных искусственному интеллекту – все они либо посвящены применению одной из конкретных моделей AI (ChatGPT от OpenaAI) для генерации продающего контента, либо подробно рассказывают как устроены и работают нейросети и иные модели искусственного интеллекта языком сложной математики.
В этой связи, у меня появилась идея рассказть Вам, специалистам по информационной безопасности, как применять доступные модели искусственного интеллекта, в ваших практических задачах. Все свои мысли я постарался изложить простым языком и снабдить примерами.
Почему именно вы?
ИБ-специалисты4 – идеальные кандидаты для работы с искусственным интеллектом. Почему?
Вы знаете контекст.
AI не понимает, что такое «нормальное поведение» в вашей информационной инфраструктуре. Вы – понимаете.
Вы умеете формулировать задачи.
Промпт-инжиниринг – это не программирование. Это навык ставить четкие задачи – то, чем вы занимаетесь каждый день.
Вы уже используете автоматизацию.
– SIEM, SOAR5, EDR6, сканеры уязвимостей… Искусственный интеллект – просто следующий шаг.
Что такое промпт-инжиниринг?
Промпт – это инструкция для модели искусственного интеллекта. Промпт-инжиниринг – искусство составлять эти инструкции так, чтобы модель делала именно то, что вам нужно.
Пример:
Плохой промпт: «Напиши политику безопасности».
Результат: Общие фразы, которые не подойдут вашей компании.
Хороший промпт: «Ты – CISO7 банка. Напиши политику для сотрудников по работе с ChatGPT. Учитывай:
– Запрещено загружать клиентские данные.
– Все запросы должны логироваться.
– Санкции за нарушения: предупреждение, блокировка доступа, увольнение».
Результат: Готовый документ, который можно внедрить завтра.
Важно: Все промпты, которые вы найдёте в этой книге, работают не только в ChatGPT. Они адаптированы для использования в любых современных больших языковых моделях (так называемых LLM – large language model): Claude, Gemini, YandexGPT, GigaChat, Qwen и других. Это возможно, потому что все они построены на схожих принципах, хотя каждая имеет свои уникальные особенности. Например, Claude лучше справляется с анализом длинных текстов, а Qwen идеально подходит для локального (внутри организации или на вашем компьютере) использования. Вы сможете выбрать инструмент, который лучше всего подходит под ваши задачи и требования к безопасности.
Чем промпт-инженер отличается от Data Scientist и ML Engineer?
Data Scientist – это специалист, который строит модели машинного обучения с нуля. Он разбирается в алгоритмах, пишет код на Python, оптимизирует нейронные сети и работает с большими данными. Его задача – создать модель, которая решает конкретную задачу, будь то классификация изображений или прогнозирование спроса.
ML Engineer – это инженер, который внедряет модели, созданные Data Scientist, в реальные системы. Он отвечает за масштабирование, интеграцию с существующей инфраструктурой и обеспечение стабильной работы моделей при вводе и после ввода в эксплуатацию.
Промпт-инженер – это специалист, который не создаёт модели и не внедряет их. Он знает, как использовать уже готовые модели для решения задач. Его инструмент – не код, а язык. Он формулирует запросы так, чтобы модель искусственного интеллекта выдавала полезные и точные результаты.
Почему это важно для ИБ? Вам не нужно разбираться в тонкостях машинного обучения или писать код. Ваша экспертиза – в понимании контекста безопасности. Промпт-инжиниринг позволяет использовать искусственный интеллект как инструмент, не углубляясь в его устройство. По сути – промпт-инжиниринг, это больше навык (навык будущего), а не отдельная профессия. Освоение этого навыка поможет вам оставаться на плаву в быстро меняющемся мире.
Что вы получите от этой книги?
Готовые инструменты. Шаблоны промптов для анализа угроз, составления отчетов, настройки и внедрения средств защиты, обучения сотрудников и т. п.
Практические кейсы. Как с помощью искусственного интеллекта проанализировать исходный код, разработать пакет организационно-распорядительных документов, подготовиться к аудиту или сократить время анализа инцидентов.
Безопасность. Как использовать искусственный интеллект, не рискуя конфиденциальными данными.
Как читать эту книгу?
Если вы новичок в тематике исусственного интеллекта — читайте последовательно. Каждая глава – шаг к уверенной работе с AI.
Если у вас есть опыт: Переходите к кейсам и шаблонам.
Главное правило: Не просто читайте – пробуйте. Каждая глава заканчивается заданием, которое можно выполнить за 5—10 минут (а иногда и меньше).
Ваш первый шаг
Откройте ChatGPT или любой другой сервис с большими языковым моделями (например, chat.qwenlm.ai, chat.mistral.ai).
Введите: «Действуй как эксперт по кибербезопасности. Перечисли 5 самых частых векторов атак на FinTech-стартапы в 2024 году. Формат: Название/Пример/Рекомендации по защите».
Результат – ваш первый промпт.
Дальше будет только интереснее!
Резюме главы
Искусственный интелелкт (AI8) – не угроза вашей работе, а инструмент, который сделает её эффективнее. Эта книга – ваш гид по миру промпт-инжиниринга. Не важно, сталкивались ли вы с AI раньше – через несколько страниц вы начнёте использовать его в своей работе.
Каждая часть данной книги заканчивается «Практикумом» – заданием, которое можно выполнить, не отходя от книги.
Нет абстрактной теории – только то, что работает и именно в реалиях ИБ: от анализа кода до подготовки к аудиту.
И последнее
Пусть эта книга станет вашим настольным справочником. Вот простое соглашение: в ближайшие две недели каждый раз, когда перед вами встанет задача – будь то анализ угроз, составление отчетов, обучение сотрудников или подготовка к аудиту, – прежде чем браться за неё вручную, загляните в эту книгу. Проверьте, можно ли решить её с помощью AI.
А через две недели – проанализируйте, сколько часов вы сэкономили, сколько рутинных задач делегировали AI и какие идеи удалось реализовать быстрее.
Часть 1. Основы промпт-инжиниринга
1.1. Промпт-инжиниринг – это не магия, а навык
AI – это инструмент, который работает только тогда, когда вы знаете, как им пользоваться. Он не умеет читать мысли, не знает контекста вашей компании и не понимает, что для вас важно.
Пример:
Плохо: «Напиши сценарий для тренировки SOC9».
Результат: Общий сценарий, который не учитывает специфику вашей инфраструктуры или текущих угроз.
Хорошо: «Ты – эксперт по кибербезопасности. Напиши сценарий для тренировки SOC, который включает:
– фишинговую атаку с использованием поддельного домена, похожего на наш корпоративный;
– попытку эксплуатации уязвимости в устаревшей версии VPN10;
– действия злоумышленника после успешного проникновения: поиск и кража данных клиентов.
Учитывай, что наша инфраструктура включает облачные сервисы и локальные серверы».
Результат: Сценарий, который можно сразу использовать для тренировки вашей команды.
Почему это важно: AI не умеет читать мысли. Чем точнее ваш запрос, тем лучше результат.
Промпт-инжиниринг – это искусство формулировать задачи так, чтобы AI понимал, что от него хотят, и выдавал полезный результат.
1.2. Как устроен промпт: 4 ключевых элемента
Каждый промпт – это мини техническое задание. Пропустите один элемент – AI «додумает» вместо вас. Чтобы получить предсказуемый результат, каждый запрос должен содержать четыре элемента.
Разберем их на примерах из практики ИБ:
1. Роль: Кто вы и зачем спрашиваете?
AI не знает вашу роль, компанию или текущие угрозы. Установка роли помогает ему «войти в положение».
Примеры:
Базовый уровень: «Ты (Действуй как) – аналитик SOC».
Проблема: Слишком общо. AI не поймёт, на чём фокусироваться.
Хороший вариант: «Ты (Действуй как) – senior-аналитик SOC в финтех-стартапе [энергетической компании, металлургическом предприятии и т.п.11]».
Почему работает: модель AI понимает, в роли какого эксперта и какой отрасли она должна выступать.
В большинстве случаев для специалиста по ИБ характерны такие роли: пентестер, аудитор, CISO, эксперт. Однако, большое преимущество применения AI моделей в том, что мы можем использовать и иные (не характерные для ИБ) роли: юрист, HR, Software Engineer, Data Scientist и даже роль промпт-инженера для создания продвинутых промптов (о них мы поговорим позже).
2. Задача: Что именно нужно сделать?
Чем конкретнее задача, тем меньше придется переделывать результат.
Примеры:
Плохо: «Проверь безопасность» – AI выдаст общие рекомендации по ISO 27001.
Хорошо: «Проанализируй этот фрагмент кода API на уязвимости типа IDOR (Insecure Direct Object Reference). Укажи номера строк с рисками и предложи патчи или меры по их устранению».
Ещё лучше: «Сгенерируй 5 реалистичных сценариев атак на наш VPN (версия х.х.х), которые могут использовать уязвимость CVE-2023-12345. Для каждого сценария укажи: вектор атаки, методы обнаружения, рекомендации по блокировке».
Типичные ошибки:
Расплывчатые глаголы: «Проверь», «Проанализируй», «Улучши».
Решение:
Заменяйте на конкретные действия: «Сравни с базой MITRE ATT&CK», «Классифицируй по CVSS», «Сгенерируй пошаговый план».
3. Ограничения: Чего AI делать не должен?
Без ограничений AI может предлагать нереалистичные решения или нарушать политики безопасности.
Примеры:
Технические ограничения: «Не предлагать решения, требующие обновления программного обеспечения: наша система работает на Windows Server 2012».
Бюджетные ограничения: «Максимальная стоимость внедрения – 500 000 рублей» или «Предлагай только Open Source. Не предлагай коммерческие инструменты».
Организационные оганичения: «Не использовать внешние сервисы для обработки данных. Все решения должны работать внутри нашего периметра».
Кейс из практики:
Промпт без ограничений: «Напиши политику паролей для сотрудников».
Результат выполнения промпта представлен на рисунке 1.
Рисунок 1. Результат выполнения промпта
Модель AI предложит 12 символов, возможно биометрию или многофакторную аутентификаци, но у вас, к примеру, есть промышленные системы поддерживающие только 8 символов.
Промпт с ограничениями: «Учитывай: 1) Максимальная длина пароля – 8 символов. 2) Нет поддержки двухфакторной аутентификации.»
Результат выполнения скорректированного промпта представлен на рисунке 2.
Рисунок 2. Скорректированный результат
4. Формат ответа: Как вы хотите получить результат (в какой форме)?
Модель AI может выдать ответ в виде эссе, таблицы или пошагового руководства. Ваш выбор формата сэкономит часы на обработке данных.
Примеры:
Для анализа логов: «Ответ предоставь в виде таблицы с колонками: Время события\IP-источник\Уровень угрозы (низкий/средний/высокий) \Рекомендуемое действие».
Для аудита политик: «Создай чек-лист соответствия 152-ФЗ в формате: Требование\Наш статус (соответствует/не соответствует) \Комментарий».
Результат выполнения промпта представлен на рисунке 3
Рисунок 3. Результат выполнения запроса по созданию чек-листа
На рисунке 3 обратите внимание, что так как не было задано условие оставить колонку «наш статус» пустой, модель сама поставила везде статус «соответствует».
Для генерации отчётов: «Напиши executive summary на 1 страницу. Структура: Основные угрозы за квартал. Топ-3 инцидента. Рекомендации для руководства».
Вы можете использовать шаблоны, которые уже работают в вашей компании. Если вы привыкли к определённому формату отчётов – просто скопируйте его структуру в промпт.
1.3. Где промпт-инжиниринг применяется в ИБ
Промпт-инжиниринг, активно используется в информационной безопасности для повышения эффективности работы с искусственным интеллектом и решения сложных задач. Вот основные области применения промпт-инжиниринга в ИБ:
1. Обнаружение уязвимостей и анализ кода
Промпт-инженеры создают запросы, которые помогают AI анализировать исходный код программного обеспечения, выявлять потенциальные уязвимости и предлагать способы их устранения.
Например, AI может быть настроен на поиск SQL-инъекций, XSS-атак или других распространенных угроз в коде.
Использование промптов позволяет автоматизировать процесс анализа больших объемов кода, что значительно ускоряет работу специалистов по ИБ.
2. Противодействие атакам на основе AI
Промпт-инжиниринг используется для защиты от атак, таких как prompt injection (внедрение вредоносных запросов). Это достигается путем разработки безопасных и устойчивых к манипуляциям промптов, которые минимизируют риск неправильной интерпретации данных моделью AI.
Например, специалисты могут создавать защитные механизмы, которые фильтруют или проверяют вводимые данные перед их обработкой AI.
3. Реагирование на инциденты и анализ угроз
С помощью промпт-инжиниринга можно настраивать AI для анализа данных о кибератаках в реальном времени: обработка логов, выявление аномалий и предоставление рекомендаций по реагированию на инциденты.
Промпты могут быть разработаны для генерации отчетов о текущих угрозах, что помогает специалистам по ИБ быстрее принимать решения.
4. Автоматизация тестирования безопасности
Промпт-инженеры создают запросы для автоматизации процессов тестирования, таких как penetration testing (тестирование на проникновение). Это позволяет моделям AI имитировать действия злоумышленников и выявлять слабые места в системах безопасности.
Например, AI может быть настроен на генерацию сценариев атак, которые затем проверяют на защищенность системы.
5. Обучение и повышение осведомленности
Промпт-инжиниринг используется для создания обучающих материалов и симуляций, которые помогают сотрудникам компаний лучше понимать угрозы информационной безопасности. Например, AI может генерировать сценарии фишинговых атак для тренировки персонала, сценарии командно-штабных учений.
Это также может включать разработку интерактивных инструментов, которые объясняют сложные концепции информационной безопасности доступным языком.
6. Улучшение мониторинга и управления данными
Промпты помогают AI-системам эффективно обрабатывать большие объемы данных, такие как сетевые логи или данные о трафике, для выявления подозрительных действий. Это особенно важно для предотвращения атак, таких как DDoS12 или несанкционированный доступ.
Промпт-инженеры разрабатывают запросы, которые позволяют моделям AI выделять ключевые данные и предоставлять аналитические выводы.
7. Интеграция с инструментами безопасности
Промпт-инжиниринг используется для настройки взаимодействия AI с существующими инструментами безопасности, установку и настройку программ и средств защиты информации.
8. Киберразведка и OSINT13
Создание запросов для сбора информации из открытых источников, таких как социальные сети, форумы и DarkNet14, в том числе таких как индикаторы компрометации (IOC), способы атак, используемые эксплойты и уязвимости.
9. Разработка политик безопасности
Промпт-инжиниринг может быть использован для автоматического создания и оптимизации политик безопасности (документов), а также для обучения персонала работе с этими документами
Это лишь основные примеры применения промпт-инжиниринга в ИБ. На самом деле спектр его применения достаточно широк, в том числе и возможность использования в смежных с ИБ направлениях деятельности: работа с персоналом, решение управленческих вопросов, подготовка маркетинговых материалов (по вопросам ИБ).
1.4. Риски промпт-инжиниринга
Промпт-инжиниринг – мощный инструмент, но, как и любой инструмент, он требует осторожности. Если не учитывать риски, AI может не только не помочь, но и создать новые проблемы. Разберём три ключевых риска и способы их минимизации.
1. Галлюцинации. Когда AI «придумывает» факты.
AI не всегда различает правду и вымысел. Он может сгенерировать убедительный, но ложный ответ.
Пример:
Промпт: «Перечисли уязвимости в OpenVPN, которые использовались в атаках на корпоративные сети за последний год. Укажи CVE, методы эксплуатации и рекомендации по патчингу».
Результат: AI может указать несуществующие CVE или приписать уязвимости к неправильным версиям программного обеспечения, или вообще выдуманные уязвимости в виду ограничениченности периода обучения (обычно модели имеют «знания» приблезительно на год – два отстающие от актуальных).
Как избежать?
Уточняйте источники: «Указывай только подтверждённые CVE с 2020 года».
Проверяйте ответы: сравнивайте с официальными базами.
Используйте перекрёстную проверку: задайте тот же вопрос другой нейросети. В ряде случаев, если сервис большой языковой модели позволяет, можете использовать поиск по ресурсам сети Интернтет.
Добавляйте ограничения: «Не используй данные старше 2022 года» или «Учитывай только уязвимости с публичными эксплойтами».
2. Утечки данных. Когда AI становится угрозой безопасности
Публичные AI-сервисы, такие как ChatGPT, сохраняют ваши запросы. Если вы загрузите конфиденциальные данные, они могут попасть в руки злоумышленников.
Пример:
Промпт: «Проанализируй этот лог: [вставка реальных данных с IP-адресами и именами пользователей]».
Риск: данные могут быть использованы для тренировки модели или утечь в открытый доступ или DarkNet.
Как избежать?
Используйте анонимизированные данные: заменяйте реальные IP на вымышленные. Удаляйте имена пользователей и другую персональную (критичную) информацию.
Выбирайте локальные модели, которые можно установить внутри контролируемой зоны для работы с конфиденциальными данными. Как развернуть локальную модель мы рассмотрим в третьей части данной книги.
3. Переоценка возможностей. Когда AI не справляется
AI – не эксперт. Он не понимает контекста вашей компании и не может принимать стратегические решения.
Пример:
Промпт: «Предложи план защиты от APT-атак».
Результат: AI выдаст общие рекомендации (например, «установите средства обнаружения/предотвращения вторжений»), но не учтёт вашу инфраструктуру, бюджет или текущие угрозы.
Как избежать?
Делите задачи на части: вместо промпта «Предложи план защиты» используйте:
Промпт 1: «Перечисли 5 самых частых векторов атак на FinTech-компании в 2024 году»
Промпт 2: «Предложи инструменты для защиты от этих векторов».
Уточняйте контекст: «Учитывай: 1) Наша инфраструктура включает облачные сервисы и локальные серверы. 2) Бюджет на новые решения – 10 000 000 рублей».
Используйте AI как помощника (ассистента), а не замену – AI может предложить идеи, но окончательное решение должно оставаться за вами.
1.5. Инструменты и сервисы
AI – это не один универсальный инструмент, а целый набор решений, каждое из которых подходит для определённых задач. Если вы выберете неподходящую модель, результат будет либо неточным, либо небезопасным. В этом параграфе мы разберём, как подобрать AI-инструмент под ваши задачи в области информационной безопасности.
АI инструменты с сугубо практической точки зрения можно разделить на два вида: модели и интерфейсы (обеспечивающие взаимодействие пользователя с моделями). Достаточно часто, модели и интерфейсы объединены в сервисы предоставляющие как саму модель, так и интерфейс взаимоедействия. Например, всем известный ChatGPT представляет собой сервис, который позволяет пользователю взаимодействовать с несколькими большими языковыми моделями: GPT-4o, GPT-4 Turbo, GPT-4o1-mini и т. п.
С точки зрения практического применения в ИБ нас больше интересуют, как правило, параметры самой большой языковой модели. Сервисы, обычо размещаемые в сети Интернет, как правило, предоставляют схожие наборы функций, поэтому останавливаться на их оценке, считаю, смысла нет.
Также, следует упомянут, что существуюет огромное множество различных типов и видов моделей искусственного интллекта, однако в практической ИБ нас больше всего интересуют большие языковые модели и совсем немного диффузионны модели (для генерации изображений).
Современные языковые модели используются для генерации текста и имеют в своей основе архитектуру «Transformer». Перед тем, как модель вводится в эксплутацию она проходит общее обучение (Pre-training), поэтому большинство современных моделей принято называть «Generative Pre-trained Transformer» – генеративные предварительно обученные трансформеры.
Понятие GPT (Generative Pre-trained Transformer) и понятие Большая Языковая Модель (LLM, Large Language Model) тесно связаны, но они не являются синонимами. LLM – это широкая категория моделей, к которой относится как GPT, так и языковые модели, построенные на другой архитектуре.
Таким образом большая языковая модель (LLM) – это общий термин, описывающий любую нейронную сеть, которая:
1) обучена на огромных объемах текстовых данных;
2) имеет большое количество параметров (обычно миллиарды или даже триллионы);
3) способна генерировать текст, отвечать на вопросы, переводить, писать код, решать задачи и выполнять другие языковые функции.
На этом предлгаю краткий экскурс в тематику моделей AI закончить, углубляться в данную тему мы не будем, цель данной книги научится разговаривать с моделями, а не создавать их.
Теперь давайте перейдем к рассмотрению конкретных LLM и их особвенностям.
Краткий обзор доступных LLM
1. GPT (https://chatgpt.com)
Для чего: управленческие задачи, генерация отчётов, составление шаблонов документов, разработка презентаций, инструкции по настройке программного обеспечения и средств защиты информации, обучающие материалы для сотрудников и т. п.
Плюсы: простота использования, интеграция с API.
Минусы: данные могут сохраняться у владельца сервиса. Не подходит для конфиденциальной информации. Нет моделей доступных для локального использования.
2. Claude (https://claude.ai)
Для чего: работа с длинными текстами (до 150 тысяч токенов15), анализ кода, разработка кода.
Плюсы: простота использования, интеграция с API.
Минусы: медленнее ChatGPT при больших объёмах данных. Не подходит для конфиденциальной информации. Нет моделей доступных для локального использования.
3. Mistral (mistral.ai)
Для чего: быстрый анализ данных в реальном времени (мониторинг инцидентов, первичный анализ угроз).
Плюсы: низкие требования к ресурсам, высокая скорость. Есть бесплатный API, есть версии для использования локально.
Минусы: ограниченный контекст (до 8 тысяч токенов), меньшее количество параметров (менее умная) по сравнению с двумя предыдущими.
4. Qwen (chat.qwenlm.ai)
Для чего: мультиязычный анализ угроз, особенно хорошо работает с азиатскими языками, достаточно хорошо работает с русским языком. Достаточно умная, поэтому может быть использована в широком спектре задач.
Плюсы: поддержка китайского, японского, корейского языков, русского языка. Есть версии для использования локально (на своем компьютере или сервере организации). Много версий с различным набором параметров (что позволяет подбирать оптимальную модель под производительность оборудования). У внешнего (онлайн) сервиса нет региональных ограничений для России (как например у ChatGPT или Claude).
Минусы: меньшее количество параметров (менее умная) по сравнению с моделями OpenAI, Claude и DeepSeek (если сравнивать топовые версии).
5. DeepSeek (chat.deepseek.com)
Для чего: анализ сложных векторов атак, математические, логические задачи.
Плюсы: Reasоnіng модель (модель рассуждений), способна выполнять логические или аналитические операции для решения сложных задач. Высокая точность в логических и математических расчётах. Есть версии для использования локально (с функцией Reasоnіng).
Минусы: внешняя (онлайн) модель имеет крайне низкую защищенность. Локальные модели с небольшим количеством параметров (до 72 миллиардов), отличаются склонностью к галлюцинациям (по наблюдениям автора).
6. Qwen Coder (chat.qwenlm.ai)
Для чего: анализ и генерация кода, поиск уязвимостей кода.
Плюсы: специализация на коде, поддержка Python, Java, C++. Есть локальные версии.
Минусы: иногда генерирует избыточный код.
7. CodeStral (mistral.ai)
Для чего: генерация и анализ кода, поиск уязвимостей кода.
Плюсы: поддержка множества языков программирования (более 80 языков программирования, в т. ч. Python, Java, C, C++, JavaScript, Bash). Есть локальные версии.
Минусы: иногда генерирует избыточный код.
8. GigaChat (https://giga.chat/)
Для чего: русскоязычная модель с акцентом на бизнес-задачи.
Плюсы: подходит для генерации отчётов и анализа данных на русском языке. Хорошо работает с русским языком. Есть локальные модели которые работают с высокой скоростью.
Минусы: менее умная по сравнению с зарубежными аналогами.
9. YandexGPT (alice.yandex.ru)
Для чего: решение для русскоязычных пользователей.
Плюсы: подходит для анализа текстов на русском языке.
Минусы: ограниченная функциональность по сравнению с конкурентами. По оценкам (бэнчмаркам) на момент подготовки данной книги (начало 2025 года) находится на уровне Qwen 2.5 32b. Нет локальных версий.
10. T-Lite (только локальная версия)
Для чего: локальная автоматизация, RAG16 (о нем поговорим в третьей части книги).
Плюсы: низкие требования к ресурсам (можно развернуть на своем компьютере). Хорошо работает с русским языком. Можно использовать для работы с конфиденциальными данными.
Минусы: ограниченный контекст. Всего 7 миллиардов параметров.
11. T-Pro (только локальная версия)
Для чего: локальная автоматизация, RAG.
Плюсы: достаточно умная (32 миллиарда параметров) при сравнительно небольшой загрузке вычислительных ресурсов.
Минусы: требует мощного железа для больших объёмов данных.
Как выбрать сервис: критерии для ИБ
1. Безопасность данных
Локальные модели (Mistral, Qwen, T-Lite, T-Pro, GigaChat) – для конфиденциальных данных.
Облачные (ChatGPT, Claude) – только для задач не связанных с обработкой информации ограниченного доступа (критичной для компании информации).
2. Точность
Для анализа кода – Qwen Coder, CodeStral.
Для длинных текстов – Claude, T-Pro.
3. Стоимость
Бесплатные и не требовательные к ресурсам – Mistral, T-Lite (подходят для старта).
Корпоративные решения – T-Pro, Qwen и DeepSeek 72B и выше. Достаточно неплохо (стоит рассмотреть) показывает себя локальная версия GigaChat (20 миллиардов параметров).
4. Интеграция
Через API – ChatGPT, Claude, DeepSeek, Mistral, GigaChat, YandexGPT
В локальную инфраструктуру – Qwen, Mistral, DeepSeek, T-Lite (Pro), GigaChat
5. Скорость
Реальное время – Mistral, T-Lite, GigaChat
Глубокий анализ – Claude, T-Pro, Qwen
6. Поддержка языков
Русский – YandexGPT, GigaChat, T-Lite (Pro)
Азиатские языки – Qwen, DeepSeek.
Универсальные – ChatGPT, Claude.
Как выбрать модель на основе тестов (бэнчмарков)?
Бэнчмарки – это стандартизированные тесты, которые оценивают производительность моделей по разным параметрам: точность, скорость, поддержка языков, безопасность данных.
Как использовать бэнчмарки?
Определите ключевые параметры: точность (например, для анализа кода или текста), скорость (для задач в реальном времени), поддержка языков (русский, китайский) и т. д.
Сравните модели по бэнчмаркам:
– MMLU (Massive Multitask Language Understanding) – оценивает общую эрудицию модели.
– HumanEval – тестирует способность модели писать код.
– SQuAD (Stanford Question Answering Dataset) – проверяет точность ответов на вопросы.
Пример. Если вам нужна модель для анализа кода, сравните результаты Qwen Coder и CodeStral по HumanEval (рисунок 4).
Рисунок 4. Пример сравнения моделей для работы с кодом
Если важна поддержка русского языка, проверьте модели по тестам на русскоязычных датасетах (рисунок 5).