Sony запатентовала ИИ-аккаунты, имитирующие детей для защиты игроков
Если живой пользователь начинает вести себя с таким ботом подозрительно, например проявляет агрессию или пытается склонить «ребёнка» к нежелательному разговору, система ставит на его учётную запись скрытую пометку. Эта пометка не видна самому пользователю, но позволяет службам безопасности PlayStation внимательнее следить за его действиями. В патентной заявке говорится, что цель технологии — активное выявление подозрительных людей и помощь игрокам в борьбе с мошенниками, спамерами и теми, кто может представлять угрозу для детей. ИИ-боты выступают в роли приманки: они внешне ничем не отличаются от обычных аккаунтов, поэтому злоумышленник не знает, что общается с программой. Система анализирует диалог и решает, есть ли основания считать поведение пользователя опасным.
Важно, что одно лишь общение с ИИ-аккаунтом не ведёт к наказанию. Это не нарушение правил, а основание для дополнительной проверки. Если человек просто поболтал с ботом, не сделав ничего предосудительного, его аккаунт останется в норме. Но если в ходе беседы проявятся маркеры риска, учётная запись получит внутренний статус потенциально опасной. За ней будут наблюдать, а при следующем обращении к реальным игрокам система сможет заранее предупредить их или применить дополнительные меры защиты. Повторные подозрительные действия могут привести к блокировке.
Как и большинство патентных заявок, эта не гарантирует появления подобной функции в реальных продуктах. Компании, в том числе Sony, регулярно патентуют десятки технологий, значительная часть которых никогда не доходит до стадии внедрения. Поэтому данную новость стоит рассматривать скорее как указание на стратегическое направление, а не как обещание выпустить функцию. Тем не менее сам факт заявки показывает: Sony всерьёз изучает возможность использовать большие языковые модели для защиты сообщества PlayStation и раннего обнаружения злоумышленников.
Источник: www.ithome.com
Поделиться