Исследователи из Университета Пенсильвании предложили новое объяснение тому, как люди взаимодействуют с ИИ. По их мнению, всё чаще пользователи не просто пользуются нейросетями, а буквально "сдаются" им. Этот феномен специалисты назвали "когнитивной капитуляцией" (cognitive surrender).

Если раньше люди использовали технологии вроде калькуляторов или GPS для отдельных задач - "разгружали" мозг, но сохраняли контроль, - то с ИИ ситуация меняется.

Всё чаще пользователи просто принимают ответы модели за истину, не проверяя и не анализируя их. Причём, как отмечают исследователи, это особенно заметно, если ответ звучит уверенно, гладко и без лишних сложностей. В таком случае у человека просто не включается внутренний "режим сомнения".

Чтобы проверить это, учёные провели серию экспериментов с участием более 1300 человек. Им предложили задачи на когнитивное мышление с подвохом, который требует не интуиции, а вдумчивого анализа.

Часть участников могла пользоваться ИИ-помощником, но с нюансом: модель специально давала неправильные ответы примерно в половине случаев. Результат оказался показательным.

Когда ИИ отвечал правильно, пользователи соглашались с ним в 93% случаев. Но даже когда он ошибался, люди всё равно принимали его ответ в 80% случаев. То есть большинство просто не перепроверяло результат, даже если он был неверным.

В среднем участники соглашались с ошибочным ИИ в 73% случаев и оспаривали его лишь в 19,7% случаев.

Более того, у тех, кто пользовался ИИ, уровень уверенности в своих ответах оказался выше - даже несмотря на то, что половина этих ответов была неправильной.

Интересно, что поведение менялось в зависимости от условий. Например, если участникам давали небольшие денежные стимулы за правильные ответы и мгновенную обратную связь, они чаще перепроверяли ИИ и исправляли ошибки. А вот дефицит времени, наоборот, усиливал зависимость от модели: под давлением дедлайна люди ещё охотнее доверяли ИИ.

Не все оказались одинаково уязвимы. Люди с более высоким уровнем так называемого флюидного интеллекта (fluid IQ) реже полагались на ИИ и чаще замечали его ошибки. А вот те, кто изначально воспринимал ИИ как авторитетный источник, чаще попадались на неверные ответы.

При этом сами исследователи подчёркивают: "когнитивная капитуляция" - не обязательно зло сама по себе. Если ИИ действительно работает лучше человека, логично ему доверять, особенно в задачах вроде анализа данных или оценки рисков.

Но есть важный нюанс: качество мышления в таком случае напрямую зависит от качества самой модели.

Интернет с британским акцентом.

Интернет долго воспринимался как что-то единое и неделимое: либо он есть, либо его нет. Маааааксимум, что нового в нем появилось за последние годы, так это всякие белые и черные списки, которые работают чаще всего в зависимости от региона. Где-то это называют цензурой, где-то заботой, но сегодня не об этом.

Какие страны вам приходят в голову, когда речь заходит о той самой цензуре и цифровой свободе? Правильно - Северная Корея, Китай и Иран с их локальными сетями, блокировками и тотальным контролем. Но похожие механизмы начинают появляться и в странах, которые ещё недавно ставили в пример как образец свободного интернета. И я сейчас не о той стране, о которой вы подумали.

Я говорю про Британию, находящуюся в верхних строчках рейтинга цифровой свободы (https://gtmarket.ru/ratings/freedom-on-the-net). Она фактически первой в Европе реализовала модель "двух интернетов" - с полным доступом для верифицированных пользователей и урезанной версией для всех остальных. А произошло это в прошлом году.

Изменения правил подавались избирателям под соусом защиты детей от порнографии, саморазрушительного контента и травли. Формальным поводом стала трагическая история девочки-подростка (https://www.theguardian.com/technology/2022/sep/30/how-molly-russell-fell-into-a-vortex-of-despair-on-social-media), которая столкнулась с токсичным контентом в социальных сетях. При продвижении закона об онлайн-безопасности власти ссылались именно на эту историю.

На практике под требования закона попали почти все крупные сервисы: соцсети, видеоплатформы, игры, мессенджеры и даже стриминговые сервисы. Если пользователь не подтверждает возраст, он получает "детскую" версию платформы с ограниченными функциями. А если сервис не внедряет такую проверку - ему грозят штрафы, сопоставимые с годовыми доходами.

И в целом, общество готово отстаивать благородную цель - защиту детей. Но способ ее достижения оказался куда радикальнее, чем многие ожидали. Проверка возраста больше не просто галочка "мне есть 18", теперь это паспорт, банк, оператор связи или распознавание лица. Возникает ощущение, что безопасность покупается ценой приватности (внезапно, да?). И вот здесь люди уже не так рьяно поддерживают закон, потому что не готовы загружать свои данные на сайты, особенно чувствительного характера.

А все потому что утечки, шантаж, продажа и злоупотребление никуда не пропадают с внедрением этих новых механизмов безопасных интернетов. Неудивительно, что на фоне этого в Британии резко вырос интерес (https://www.kommersant.ru/doc/7923080) к VPN и другим способам выглядеть для сервиса пользователем из "другой страны".

В итоге мы приходим к сложному и неприятному вопросу: как защитить уязвимых, не превратив интернет в стерильное, отслеживаемое пространство с доступом по документам. И где проходит граница между заботой и контролем. Пока одни страны только обсуждают эти идеи, другие уже живут в реальности, где интернет перестаёт быть одинаковым для всех. И, кажется, назад эта дорога будет куда сложнее, чем вперёд.

⚡ ПБ (https://t.me/package_security) | 😎 Чат (https://t.me/+pMuo0wo0ctkwNmFi) | 🛍 Проекты (https://t.me/package_with_packages) | 📹 YT (https://www.youtube.com/@package_security/videos)

Скоро нас атакуют.

Многие ИБшники и ITшники не раз слышали такую аббревиатуру, как TI. Но далеко не у всех доходили руки до того, чтобы загуглить или осознать, а что же это вообще такое. Сегодня пробежимся по верхам и попробуем понять, насколько это важное направление в рамках всего ИБ, что там происходит внутри и стоит ли вообще идти туда работать. Так что заваривай свой чай и погнали.

Начнем, как и всегда, с расшифровки - Threat Intelligence. Если описывать этот домен один словом, то лучше всего, как по мне, подходит киберразведка (не путаем с OSINT, хоть оно и похоже). Эти ребята сидят внутри синей команды (то есть защищают), а основная их задача - это отслеживать киберугрозы до того, как они реализовались. А это значит, что на этой работе нужно будет следить за тем, кто и кого сейчас в мире атакует, как это делают и какие у всего этого последствия. По сути, эти ребята должны приглядывать одновременно и за хакерскими группировками, и за их жертвами.

TI в компании может быть реализован как на основе человеческого ресурса, так и при помощи автоматизированной платформы. Но, само собой, лучше эти два метода комбинировать. Автоматизированная платформа работает с достаточно большими объемами данных, выявляя релевантные угрозы для конкретной компании или ее активов (мобильных приложений, сайтов, данных, API и т.д.), выдает некоторый регулярный отчет, а инженер TI уже адаптирует это всё под текущий ландшафт, технологии и продукты, донося эту информацию до тех, кто отвечает за настройку WAF, AntiDDoS, IPS/IDS, EDR и прочие средства защиты информации.

Что за большие данные такие и откуда их получают? Те самые большие данные платформа TI может получать из огромного количества источников, как открытых (бесплатных), так и закрытых (платных). Это всё тоже лучше комбинировать и сравнивать между собой, чтобы получать наиболее точные данные о возможных угрозах. А содержат эти данные информацию, например, о том, какие домены или IP-адреса были засвечены в рамках проведения хакерских атак (чтобы мы могли их у себя заблокировать), или какие техники и тактики (TTP) сейчас используются хакерскими группировками из определенного региона или для атак на конкретный сектор компаний.

Кажется, что можно жить и без TI. Вообще, да, можно. Просто более тревожно. По сути, TI - это отличный вспомогательный инструмент для того, чтобы поддерживать в актуальном боеготовном состоянии все остальные средства защиты и знать, с какой стороны на нас могут напасть. Организовывается Threat Intelligence на достаточно зрелом уровне развития ИБ, так как он не помогает тушить активные пожары, а лишь вовремя подносит огнетушители туда, где скоро может загореться (да-да, именно туда).

Идти в TI работать можно, но нужно понимать, что ребят, к сожалению, там недооценивают по ЗП. С другой стороны - это отличная точка входа в кибербезопасность и отличное место для того, чтобы понять, куда расти дальше. А еще туда достаточно интересно собесят и дают интересные тестовые задания - так, например, одна кибербезопасная контра даёт задания на исследования конкретных хакерских группировок (существующих) - их языка общения, локации, мотивации, используемого вредоносного ПО и тактик, и (что мне понравилось больше всего) способов внедрения в эти группировки, включая варианты первого контакта, вхождения в доверие и далее по списку. И всё это надо сделать на основе открытых источников информации.

В общем, как-то так. Если вам понравился такой формат разбора, то наваливайте реакций и вариантов того, что можно разобраться еще в комментариях. Всем мир.

#Разбор

Твой Пакет Безопасности (https://t.me/package_security)

Если джунов заменит ИИ, то из кого мы будем выращивать миддлов и синьоров?

Каждая вторая компания сейчас пытается выкрикнуть о том, что "если есть ИИ, зачем вообще брать джунов?", "давайте заменим джунов на ИИ", "да мы уже заменили половину джунов на ИИ". ИИ пишет код, тексты, тесты, отвечает на вопросы - быстро, в нужном формате, без перекуров или поездок в поликлинику. На короткой дистанции это звучит разумно. Но чем дольше об этом думаешь, тем больше вопросов возникает.

Джун - это ведь не просто человек, который делает простые задачи. Это вход в профессию. Место, где можно ошибаться, тупить, задавать странные вопросы и постепенно начинать понимать, как всё работает в реальности, а не в учебниках. Джун - это суперзамотивированный молодой специалист, который будет брать препятствия не опытом и насмотренностью, а смекалкой и упорством. И поверьте, порой для решения большинства задач этот способ подходит намного лучше. Если эту ступень убрать, то мы просто перекрываем людям дорогу внутрь. И инструмент насыщения рынка и целой отрасли.

Миддлы и сеньоры не появляются внезапно. Они не возникают "готовыми". Каждый опытный специалист когда-то был тем самым джуном, который писал криво, переделывал по три раза, переживал и не понимал, почему "так нельзя". Это нормальный путь роста. И если сейчас сказать: "джуны нам больше не нужны", то через несколько лет внезапно выяснится, что расти-то некому.

ИИ при этом вообще не враг этой системе. Он классно ускоряет обучение, помогает разбираться, снимает рутину, даёт возможность раньше браться за что-то сложное. Но он не проходит путь ответственности, не учится чувствовать последствия решений и не берёт на себя контекст. Это всё всё равно делают люди. Не ИИ будет двигать кибербез вперед.

Самая большая ловушка здесь - думать слишком узко. Да, сегодня можно сэкономить, не вкладываться в новичков, переложить простые задачи на ИИ и их новомодных агентов. А потом - удивляться, почему сеньоры перегружены, миддлов не хватает, а рынок перегрет (если сейчас уже почти так, то что будет дальше?).

Если ИИ действительно заменит джунов, то очень скоро станет очевидно, что миддлам и сеньорам просто не из кого расти.

👨‍🏫 Менторство ИБ (https://t.me/+iIBAFNXwZt03Nzcy) | Отзывы (https://t.me/+dFX_CyW1R4M0YjZi) | 📹 YT (https://www.youtube.com/@package_security/videos)

А вы знали, как работает антиспам в почте?

Мы привыкли ругать почту за то, что "опять письмо улетело в спам". Но редко задумываемся, что этот же фильтр, возможно, не раз спасал нас от очень дорогих ошибок. Собственно, настало время разобраться в том, как почтовый ящик отсортировывает "мусорные письма" и почему он все-таки пропускает фишинговые сообщения.

Начнем с того, что спам-фильтр не читает письма как человек. Он оценивает риски. Каждое входящее сообщение проходит через цепочку проверок, и на выходе получается простой ответ: это похоже на нормальную переписку или на попытку вас обмануть. В банках и схожих организациях подобные процедуры называются скорингом.

Первое, на что смотрит почта, кто вообще написал. Откуда это письмо, с какого IP, с какого домена, и чем этот отправитель занимался раньше (ну условно). Если IP уже попал в чёрные списки, светился в рассылках или домен молодой, не подтверждены базовые вещи вроде SPF, DKIM и DMARC (это такие специфичные протоколы аутентификации электронной почты), письмо начинает путь с минуса.

Дальше начинается разбор содержимого. Алгоритм не просто ищет стоп-слова вроде "выигрыш" или "срочно", он считает их плотность, сочетания и контекст. Семантический анализ, да. Странная вёрстка, картинка вместо текста, ссылки с маскировкой, вложения непонятного формата - всё это не по отдельности, а в сумме повышает вероятность, что письмо небезопасно. Само собой, тут тоже есть своя гонка вооружений и авторы фишинга постоянно работают над тем, чтобы мимикрировать под нормальные письма и обойти алгоритмы/фильтры.

Но тут в игру вступает самая интересная механика. Почтовый сервис внимательно смотрит, что делают пользователи. Если письма от этого отправителя массово удаляют, не открывая, или помечают как спам, репутация у этого адресата падает очень быстро. Если по ссылкам никто не переходит или, наоборот, переходят и сразу жалуются - это тоже сигнал.

Именно обучение на коллективном поведении помогает спам-фильтрам эффективно защищать нас от фишинга. Даже если письмо выглядит правдоподобно и имитирует банк, доставку или коллегу, оно часто ломается на одном из уровней: домен не тот, шаблон уже где-то встречался, есть признаки манипуляции или призыва в тексте. Поэтому многие атаки не доходят до пользователя вовсе - их ловят ещё до того, как у вас появится шанс кликнуть не туда.

Плюс к этому алгоритмы дообучаются, следят за инфополем (порой не без помощи TI (https://t.me/package_security/686)) и актуальными фишинговыми кампаниями. А еще много где уже встроены ИИшки, которые нормально отрабатывают и иногда даже помогают выявлять новые вектора атак.

Но не стоит расслабляться и доверять проверкам на 100%. Если хакеры проводят целенаправленную атаку с "чистого" адреса (например, со взломанной почты), то распознать фишинг защитным системам будет крайне сложно.

Думаю, что вы и сами не раз видели, как в основной ящик просачивается что-то из серии акционных предложений от магазинов или прощальные письма от дядюшки из Нигерии. Так что наличие спам-фильтров не отменяет необходимость быть внимательным и использовать критическое мышление. Это всего лишь первая линия обороны, которая останавливает львиную долю мусора и мошенничества ещё до того, как оно доберётся до вас. Как-то так.

⚡ ПБ (https://t.me/package_security) | 😎 Чат (https://t.me/+pMuo0wo0ctkwNmFi) | 🛍 Проекты (https://t.me/package_with_packages) | 📹 YT (https://www.youtube.com/@package_security/videos)

Экспертами кибербезопасности Сбера подготовлена первая версия модели угроз для систем искусственного интеллекта (AI), которая охватывает все ключевые этапы жизненного цикла AI-систем - от подготовки данных и разработки AI-модели до интеграции в приложение. Документ пригодится командам, которым требуется системный подход к моделированию угроз, опирающийся на объединение экспертизы команды Сбера и лучших мировых практик по кибербезопасности AI.

Документ описывает 70 угроз моделей генеративного (GenAI) и предиктивного (PredAI) искусственного интеллекта. Создание подобной модели особенно актуально в свете растущего использования GenAI-моделей в критически важных бизнес-процессах и возникающих в связи с этим новых киберугроз.