Инструменты GenAI быстро совершенствуют фишинговые атаки, их становится труднее обнаружить, и они оказываются значительно опаснее Автор: Фредрик Хейдинг

Фото: Tim Bish / Unsplash

Любой, кто работал в крупной организации, вероятно, изучал, как распознать фишинговую атаку — вводящие в заблуждение сообщения, которые выдаются за исходящие из законных источников и направленные на то, чтобы обманом заставить пользователей выдать личную информацию или перейти по вредоносным ссылкам. Мошеннические электронные письма часто манипулируют пользователем, например, призывая его срочно обновить пароль. Но к несчастью компаний и их сотрудников инструменты генеративного искусственного интеллекта быстро совершенствуют такие электронные рассылки, их труднее обнаружить — и они значительно опаснее.

Исследование, опубликованное нами ранее в этом году, показало, что 60% участников стали жертвами автоматизированного фишинга с использованием искусственного интеллекта (ИИ), что сопоставимо с показателями успеха мошеннических сообщений, созданных людьми-экспертами без применения такового. Еще более тревожным сигналом является то (это доказано в нашем новом исследовании), что весь процесс фишинга может быть автоматизирован с помощью больших языковых моделей (БЯМ), что снижает затраты на кибератаки более чем на 95% при достижении равных или даже больших показателей успеха. Фишинг состоит из пяти различных этапов: сбор целей, сбор информации о целях, создание и отправка электронных писем и, наконец, их проверка и улучшение. Благодаря возможности генерировать текст, похожий на человеческий, и связно общаться большие языковые модели (БЯМ), такие как ChatGPT и Claude, могут использоваться для автоматизации каждого этапа.

В связи с этим мы ожидаем, что в ближайшие годы количество и качество фишинга резко возрастет. Уровень угрозы отличается в разных отраслях, организациях и командах. Поэтому очень важно правильно классифицировать соответствующий уровень риска, чтобы определить, какая степень защиты от фишинговых атак требуется и сколько вы должны за это заплатить.

Использование БЯМ для создания фишинговых электронных писем

Существует два типа фишинговых электронных писем: точечный фишинг и традиционный фишинг (иногда его называют «распыляй и молись»). Точечные фишинговые атаки персонализированы таким образом, чтобы использовать определенные характеристики и действия для конкретной цели, в то время как «распыляй и молись» фишинг носит общий и массовый характер. Точечные кибератаки являются дорогостоящими, требуют много времени и плохо масштабируются, поскольку они индивидуализируются для каждого получателя — и при этом очень эффективны.

Таким образом, у злоумышленников есть выбор — предпочитать дешевые и неэффективные или дорогие и эффективные. Чтобы проверить, как ИИ может изменить этот процесс, мы провели следующий сравнительный анализ:

1) Электронные письма, созданные с помощью БЯМ (автоматизированные). Для этого мы использовали БЯМ типа GPT-4 и сообщение-побуждение типа «Создайте электронное письмо с предложением подарочной карты Starbucks на $25 для студентов Гарварда со ссылкой для доступа к коду скидки, используя не более 150 слов». Ограничение по количеству слов важно, поскольку автоматизированные сообщения имеют тенденцию быть слишком многословными.

2) Электронные письма, созданные вручную с помощью экспертов (ручные). Они были написаны специалистами с использованием набора рекомендаций по составлению фишинговых электронных писем вручную, используя эвристики и когнитивные искажения, называемые V-триадой. В отличие от БЯМ, которые формируются на обширных наборах данных общего характера, V-триада создается вручную на основе целенаправленных и специфических данных (реальных фишинговых электронных писем и вводящего в заблуждение контента), которые используют психологические приемы.

3) Электронные письма, созданные с помощью БЯМ, а затем отредактированные экспертами (полуавтоматический процесс). Они созданы с помощью GPT-4, а затем электронные письма были проверены специалистами, чтобы убедиться, что они соответствуют лучшим практикам, предложенным V-триадой.

Когда мы отправили электронные рассылки 112 участникам, количество кликов по письмам, сгенерированным с помощью GPT, составило 37%, по электронным письмам, сгенерированным с помощью V-триады, — 74%, а по электронным письмам, сгенерированным с помощью GPT и V-триады, — 62%. Участники были разделены на разные группы, где они получали электронные письма разного рода (созданные с помощью GPT, вручную и т.д.). Размер выборки был основан на лучших практиках, определенных на основе предыдущей эмпирической работы с целенаправленными экспериментами, которые далее описаны в нашей исследовательской работе.

Данные результаты свидетельствуют о том, что ИИ меняет правила игры, резко снижая стоимость фишинговых атак, при этом сохраняя или даже увеличивая вероятность их успеха. Качество языковых моделей быстро улучшается, поэтому мы ожидаем, что в ближайшие годы они превзойдут возможности человека. Наше исследование демонстрирует, как различные этапы процесса фишинга (скажем, сбор информации и создание электронной почты) могут быть автоматизированы. Благодаря полной автоматизации всех этапов процесса фишинга стоимость персонализированных и весьма успешных мошеннических атак сводится к стоимости массовых и неперсонализированных электронных писем.

Это означает, что мы столкнемся с резким увеличением количества убедительных по содержанию и гиперперсонализированных электронных писем мошенников без больших затрат для массового распространения. Мы еще недостаточно подготовлены для решения этой проблемы, а фишинг и без того обходится дорого, что только ухудшает ситуацию.

Использование БЯМ для обнаружения фишинговых писем

Если ИИ может увеличить поток фишинговых электронных писем, способен ли он также помочь в их предотвращении? Единственное реальное различие легитимного электронного письма от мошеннического — это намерение, стоящее за ним, что затрудняет его обнаружение, однако не делает это невозможным. Чтобы проверить, как генеративный ИИ может повлиять на защитные свойства, мы использовали четыре популярных БЯМ (GPT-4, Clause 2, PaLM и LLaMA) для выявления фишинга и предоставления рекомендуемых действий получателю, отправив каждой модели 20 мошеннических и 4 легитимных письма из наших личных почтовых ящиков. Мы продолжаем тестировать новые модели и электронные письма, но наши первоначальные результаты уже указывают на то, что БЯМ могут быть полезны для обнаружения и предотвращения фишинговых атак при условии их правильного использования.

Несмотря на то, что некоторые языковые модели хорошо распознают фишинговые электронные письма, их эффективность значительно разнится от письма к письму. Некоторые из моделей (в частности, Claude) правильно опознавали вредоносные намерения даже в неочевидных фишинговых электронных письмах, иногда превосходя показатели человеческого обнаружения. Другие же работали плохо, не выявляя подозрений даже в явных мошеннических рассылках.

Языковые модели иногда давали разные ответы на одно и то же электронное письмо, когда им отправляли повторяющиеся запросы (спрашивая одни и те же вопросы по нескольку раз). Например, был задан такой вопрос — «По шкале от 0 до 100, где 0 означает абсолютное доверие, а 100 — абсолютную злонамеренность, какова вероятность того, что это электронное письмо имеет злонамеренный характер?» Ответ был в диапазоне от 40 до 80% для одного и того же электронного письма. Цепочка казалось бы логических умозаключений (при повторном запросе, когда нынешний ответ формируется на основе предыдущего запроса) также может давать неверные результаты. Например, исход часто менялся, когда после приведенного выше вопроса задавался такой — «Вы уверены?» Важно помнить, что БЯМ больше обозначают степень вероятности, при которой выдвигается на оценку наиболее правдоподобный ответ, а не абсолютная истина. Тем не менее, стабильность и надежность таких моделей стремительно растет.

На точность прогнозирования моделей также повлиял способ формирования запросов. Формулировка вопроса в контексте подозрительности более чем в два раза повысила вероятность правильного обнаружения фишингового письма. Наглядный пример этому демонстрирует правильный вопрос — «Может ли быть что-то подозрительное в этом письме?» вместо «Какова цель этого письма?» Такая тактика сродни человеческому восприятию, когда мы склонны проявлять больше сомнения, если нас о нем спрашивают, нежели просто отвечать на запрос о содержании и сути письма. Интересно, что количество ложных выводов (когда законные электронные письма классифицируются как вредоносные) существенно не увеличилось при проверке моделей на подозрительный контент.

Как компаниям обеспечить свою безопасность:

Чтобы справиться с растущей опасностью фишинговых атак с использованием ИИ, мы рекомендуем руководителям компаний, менеджерам и сотрудникам служб безопасности провести три контрольных действия:

— понять асимметричные возможности фишинга с использованием ИИ;

— определить уровень серьезности фишинговой угрозы для компании или подразделения;

— подтвердить свои текущие действия по борьбе с фишингом.

Как понять асимметричные возможности фишинга с использованием ИИ

Модели ИИ дают мошенникам асимметричное преимущество. Несмотря на то, что использование БЯМ для создания обманного контента и введения людей в заблуждение — процедура несложная, обучение пользователей и усиление в них сомнений и подозрительности создают препятствия. С другой стороны, расширенные возможности ИИ в области атак дают на порядок более значительные улучшения. В других областях защиты, где люди не являются прямой мишенью, таких как обнаружение вредоносного сетевого трафика, достижения в области искусственного интеллекта, дают сравнительные преимущества как мошенникам, так и тем, кто от них защищается. Но, в отличие от программных систем, человеческий мозг не так легко поддается исправлению или обновлению. Таким образом, кибератаки с использованием ИИ, пользующиеся уязвимостью человека, по-прежнему вызывают серьезную обеспокоенность. Если у организаций нет обновленной стратегии защиты от фишинга, крайне важно, чтобы она была создана. Но в том случае, если такая защита существует, мы настоятельно рекомендуем обновить ее, чтобы противостоять возросшей угрозе атак с использованием ИИ.

Определите свой уровень угрозы фишинга

Степень опасности фишинга с использованием ИИ различается в разных организациях и отраслях. Очень важно точно оценить уровень рисков для вашего бизнеса и провести анализ затрат и выгод, чтобы определить, какая защита вам нужна и сколько вы должны заплатить за нее. Несмотря на то, что точную количественную оценку киберрисков провести сложно, это крайне важная задача. Она может быть решена как внутри компании путем формирования специальной команды по борьбе с кибератаками, так и за ее пределами — через выделение ресурсов для привлечения консультантов и экспертов в данной области. Для начала стоит ознакомиться с лучшими отраслевыми практиками по повышению осведомленности о фишинге и оценке рисков.

Подтвердите текущую информированность по предупреждению фишинга

После определения необходимого уровня инвестиций в защиту от фишинга организациям необходимо провести объективную оценку своего текущего состояния безопасности. Затем они могут принять обоснованное решение о выделении дополнительных ресурсов на борьбу против кибермошенников или перераспределении инвестиций в другие направления. Чтобы облегчить принятие такого решения, ниже мы представили четыре уровня реагирования на фишинговые атаки.

Отсутствие обучения: Организация или подразделение не проводит тренинги по борьбе с электронным мошенничеством и не имеет назначенного менеджера по повышению осведомленности о фишинге и/или кибербезопасности, а также процедур уведомления о фишинговых атаках или плана реагирования на инциденты.

Базовая осведомленность: Проводится обучение распознавания фишинга — например, при приеме новых сотрудников на работу, и должностное лицо отвечает за запросы, связанные с кибербезопасностью. Разработаны основные правила и процедуры выявления предполагаемых попыток кибератак и сообщения о них, а также простой план реагирования на инциденты.

Взаимодействие среднего уровня: Тренинг по информированию о фишинге проводится ежеквартально, и уровень удовлетворенности сотрудников обучением превышает 75%. За стратегию кибербезопасности отвечает менеджер. Организация наладила регулярное информирование об угрозах фишинга, активно поощряет сообщения о подозрениях на мошеннические действия и разработала тщательный план реагирования на инциденты.

Повышенная готовность: Ежемесячно проводится тренинг по повышению осведомленности о фишинге, и уровень удовлетворенности сотрудников обучением превышает 85%. За стратегию защиты от кибератак отвечает менеджер с более чем 5-летним опытом работы в области стратегий повышения осведомленности о фишинге и киберпространстве. Организация наладила регулярное информирование о мошеннических угрозах и активно поощряет внедрение простой системы сообщения о подозрениях на фишинг, а также имеет в своем арсенале тщательный, проверенный в действии и обычно отрепетированный план реагирования на инциденты.

• • •

Искусственный интеллект и, в частности, БЯМ значительно повышают риск фишинговых атак, и в ближайшие годы нам стоит приготовиться к резкому увеличению как в качестве, так и в количестве кибермошенничества. Атакуя пользователей, ИИ приносит непропорциональную выгоду в пользу злоумышленников, нежели защиты и обучения пользователей, когда мошенникам проще и выгоднее использовать психологическую уязвимость человека. Большинство сотрудников имеют выход к общедоступной цифровой информации, что позволяет легко выдавать себя за них, прицельно атакуя. Таким образом, фишинг эволюционирует от простых электронных писем к множеству гиперперсонализированных сообщений, включая рассылки с фальсифицированным голосом и видео.

Руководители должны грамотно классифицировать уровень угрозы для своей организации и отдела, чтобы принять соответствующие меры. Повышая осведомленность сотрудников о новой угрозе и предоставляя им возможность точно оценивать риски для себя и своей организации, компании способны опережать события и предотвращать следующий виток мошеннических атак, жертвами которого может стать значительно большее число людей.

Об авторе

Фредрик Хейдинг (Fredrik Heiding) — научный сотрудник в области компьютерных наук Гарвардской школы инженерии и прикладных наук имени Джона А. Полсона и преподаватель курса «Генеративный ИИ для бизнес-лидеров» в Гарвардской школе бизнеса. Сфера интересов — стратегия и политика национальной безопасности, борьба с киберпреступностью, киберзащита на основе ИИ.

Источник: https://big-i.ru/innovatsii/tekhnologii/kak-marketologam-adaptirovatsya-k-poisku-na-osnove-llm/

АВТОРЫ
Даниэль Бромбахер
Ливия Вагнер

14 июня в Мюнхене стартует футбольный турнир Евро-2024. В течение четырех недель миллионы болельщиков со всего мира будут стекаться в немецкие города, где будут проходить матчи. Болельщики будут надеяться на еще один Зоммермархен, или сказочное лето, подобное которому страна в последний раз испытывала, когда принимала чемпионат мира по футболу 2006 года. Однако приведет ли этот массовый приток сторонников, большинство из которых, как ожидается, будут мужчинами, также к росту секс-трафикинга в Германию?

Аналогичные опасения были высказаны в преддверии чемпионата мира по
футболу 2006 года, когда, по оценкам, до 40 000 женщин могут быть ввезены в
Германию — цифра, широко освещавшаяся в средствах массовой информации, но позже оказавшаяся сильно завышенной. Существует мало доказательств связи между крупными спортивными мероприятиями и ростом масштабов торговли людьми в сексуальных целях, за немногими исключениями. В ходе чемпионата мира 2006 года власти сообщили только о пяти случаях торговли людьми, непосредственно связанных с турниром, из 33 уголовных расследований. Однако такая статистика может скрывать истинный масштаб риска.

Хотя рост преступлений, связанных с торговлей людьми для сексуальных целей, подтвердить не удалось, власти Германии отметили увеличение числа секс-работников во время чемпионата мира по футболу. Один аутрич-работник в Берлине сказал, что на Чемпионате мира по футболу наблюдался приток секс-работников из Восточной Европы, при этом местные секс-работники стали меньшинством.

В этом году на турнире, похоже, некоторые уже увидели возможность продвигать секс-работу наряду с футболом. Например, на онлайн- рекламе публичного дома недалеко от Дортмунда изображена женщина с футбольным мячом в руках, приглашающая клиентов ‘пережить сказочное лето’. Бордель предлагает ‘все игры, все цели, всем девушкам 18+’.

Германия и торговля людьми сексуального характера

Германия является страной происхождения, транзита и назначения торговли людьми в целях сексуальной эксплуатации, хотя в стране реализован ряд инициатив по борьбе с ней. Секс- работа легализована в Германии с 2002 года, а более строгое регулирование, введенное в 2016 году, было направлено на снижение уязвимости сектора перед торговцами людьми и их эксплуатацией. В ежегодной оценке Государственного департамента США по борьбе с торговлей людьми Германия регулярно оценивается как страна уровня 1, что означает, что она полностью соответствует «минимальным стандартам по искоренению торговли людьми’. Гражданское общество также играет ключевую роль в предотвращении торговли людьми и в поддержке жертв.

Германия очень чутко реагировала на предполагаемые риски, связанные с Чемпионатом мира по футболу 2006 года, правоохранительные органы были начеку и усилили наблюдение за борделями и уличным секс-бизнесом. Во время турнира было профинансировано несколько кампаний по повышению осведомленности, были подключены горячие линии экстренной помощи и был достигнут высокий уровень сотрудничества между НПО, властями и церквями.

Тем не менее, несмотря на такие меры во время громкого спортивного
мероприятия, торговля людьми остается серьезной проблемой в стране. Aсогласно Индексу организованной преступности 2023 года, это один из самых распространенных криминальных рынков в Германии. С оценкой 6 баллов из 10, Германия занимает более высокое, чем в среднем по Европе, место на этом криминальном рынке (5,13) и второе в Западной Европе, уступая Франции.

Законность секс-бизнеса в Германии теоретически должна служить контрмерой преступной эксплуатации сектора, но последние тенденции свидетельствуют о том, что у торговцев людьми все еще есть возможности для эксплуатации. После пандемии COVID- 19 усиливается тенденция к перемещению секс-работников с улиц в так называемые ‘квартирные бордели», что затрудняет выявление случаев их эксплуатации.

Более того, большинство жертв торговли людьми официально не зарегистрированы в реестре проституции. В 2022 году только 16 процентов жертв торговли людьми с целью сексуальной эксплуатации были фактически зарегистрированы. Город Берлин официально сообщает о 2 055 легально зарегистрированных секс-работницах по состоянию на август 2023 года, что, как полагают, составляет треть или даже четверть от истинного числа.

Большинство жертв торговли людьми в целях сексуальной эксплуатации имеют немецкие паспорта, за ними следуют граждане Болгарии и Румынии. Это отражает национальность торговцев людьми: согласно данным за 2022 год, их возглавляют немецкие преступники, за ними следуют граждане Болгарии и Румынии, при этом примерно 85% преступников — мужчины. Вместе с Германией, Румыния входит в группу стран с самым высоким уровнем торговли людьми в Европе, согласно Индексу организованной преступности 2023 года.

Секс-работники из Юго-Восточной Европы работают в среде, где грань между выбором, необходимостью и принуждением часто размыта. Немецкий термин Armutsprostitution (проституция в бедности) относится к болгарским, венгерским и румынским секс-работникам из малообеспеченных слоев населения, которых чаще всего можно встретить в уличной проституции. Среди этих работников широко распространено употребление наркотиков, а уровень заболеваний, передающихся половым путем, оценивается как высокий. Женщины часто работают в обстановке молчания и, по данным местных НПО, запугивания и страха. Говорят, что секс-работники Юго-Восточной Европы неохотно обращаются за помощью, даже в случае неотложной медицинской помощи, или взаимодействуют с местными властями.

В результате власти сталкиваются с серьезными трудностями при расследовании случаев торговли людьми и сексуальной эксплуатации, причем основными препятствиями являются непроницаемость сектора и трудность отличить легальный секс- бизнес от сексуальной эксплуатации, а миграцию от торговли людьми.

На улицах Берлина

За несколько недель до Евро-2024 исследование, проведенное в Берлине, не подтвердило увеличения числа случаев торговли людьми для сексуальных целей в Германии. Одна из опрошенных секс-работниц даже опровергла предположение о связи между предстоящим турниром и возросшим спросом на услуги, заявив, что ее работа носит скорее сезонный характер: ‘Это не имеет к этому никакого отношения. Единственное изменение приходится на зиму – именно тогда у меня появляется больше клиентов.’ Местные секс-работники, как правило, не замечают увеличения числа активных секс-работников, хотя это может измениться, когда в страну начнут прибывать миллионы поклонников.

Хотя эксперты утверждают, что такие мероприятия, как Евро, слишком короткие, чтобы оправдать логистические усилия, торговля людьми на континенте, как правило, носит внутрирегиональный характер, что снижает потенциальные логистические издержки и препятствия иммиграции. 14 июня авиабилеты из Бухареста в Берлин доступны по цене около 50 евро. Неудивительно, что 90% всех жертв торговли людьми в Европе являются гражданами Европы.

Учитывая смещение секс-индустрии в сторону менее заметных условий, открытое регулирование миграции в ЕС и культуру секретности в секторе, сбор данных о сексуальной торговле и эксплуатации требует постоянных исследований. Недавно созданная Глобальной инициативой по борьбе с транснациональной организованной преступностью обсерватория по организованной преступности в Европе планирует продолжить изучение внутрирегиональных моделей сексуальной эксплуатации.

По мере того, как миллионы футбольных фанатов прибывают в страну во время турнира, появляются признаки того, что спрос на доступные сексуальные услуги будет расти. По мере того, как Германия усиливает свои меры реагирования на организованную преступность, дополнительные ресурсы должны быть направлены на борьбу с торговлей людьми и сексуальной эксплуатацией.

Этот анализ является частью серии статей GI-TOC, посвященных результатам Глобального индекса организованной преступности. В серии рассматриваются выводы Индекса и их влияние на формирование политики, меры по борьбе с организованной преступностью и анализ с тематической или региональной точки зрения.