[Докопипастились...] «Воровство беспрецедентных масштабов»: OpenAI и Microsoft признали, что ИИ построен на краже данных и неумолимо разрушает интернет скрапингом* и парсингом**
Судя по рассекреченным недавно документам, руководители Microsoft и OpenAI осознавали, что большие языковые модели — это хищнические технологии, построенные на том, что один из руководителей Microsoft назвал «поразительным воровством беспрецедентных масштабов» и «крупнейшей кражей труда в истории человечества». Во внутреннем документе Microsoft также говорится, что продукты генеративного ИИ создали «петлю погибели», которая убивает «весь интернет».

Эти заявления и ряд других откровенных высказываний занимают важное место в неотредактированном судебном документе, который был рассекречен в четверг в рамках масштабного судебного процесса New York Times против OpenAI по вопросам авторского права. В ходатайстве о вынесении решения в порядке упрощённого производства юристы New York Times изложили ряд признаний, сделанных руководителями Microsoft и OpenAI в документах и показаниях, которые до сих пор оставались засекреченными или отредактированными по просьбе Microsoft и OpenAI.
В иске цитируется внутренний документ Microsoft, в котором говорится, что продукты на основе ИИ воруют контент у его создателей, а затем замыкают на себя трафик, тем самым разрушая их бизнес-модели. «Миллионы людей по всему миру вскоре сочтут, что использование крупных моделей для “захвата” всей их работы — это поразительная кража беспрецедентных масштабов, — говорится во внутреннем документе Microsoft. — Почти никто не предполагал, что созданный ими контент будет использоваться таким образом, и никто не получает за это компенсацию».
Руководители Microsoft, включая генерального директора Сатью Наделлу (Satya Nadella), под присягой подтвердили, что после копирования контента из New York Times и других новостных сайтов количество переходов на них снизилось более чем на 90 %. «Наша стратегия в отношении контента на основе ИИ запустила “цикл разрушения“, который одновременно нанесёт ущерб производительности наших моделей и всей сети: крайне необычно, чтобы конечный продукт угрожал экономическим основам своих основных поставщиков, но именно такую ситуацию мы создали для нашего бизнеса LLM в отношении его “цепочки поставок контента“», — говорится в документе.

Документы, полученные в ходе судебного разбирательства, также показали, что OpenAI создала «взлом, чтобы обойти платный доступ к New York Times». Компания признала, что представляет собой «экзистенциальную угрозу» для новостных издателей, а один из инженеров-программистов компании признал: «Как бы заметно мы ни размещали ссылки, пользователи по ним не переходят». Директор OpenAI по вопросам политики Джек Кларк заявил, что компания «создаёт системы, замещающие труд людей, которые формируют «культуру» общества».
«Генеративный ИИ может серьёзно подорвать занятость тех самых людей, чьи данные использовались для обучения базовой модели […] Большие языковые модели (LLM) — это продукт, уничтожающий собственную цепочку поставок», — признаёт Microsoft.
Эти заявления представляют собой одни из самых убедительных обвинений в адрес методов обучения нейросетей, принципов их работы и непосредственной угрозы, которую они представляют для человеческого труда. Они вряд ли удивят тех, кто следит за развитием генеративного ИИ, однако этот документ в целом представляет собой тот самый случай, когда разработчики открыто признают истинное положение дел. Практически все инструменты ИИ были разработаны путём заимствования человеческого творчества и представляют собой экзистенциальную угрозу для рынка труда.

Юристы OpenAI и Microsoft пытаются доказать, что обучение их моделей подпадает под доктрину добросовестного использования (fair use) и носит преобразующий характер в контексте авторского права, а создаваемый ими продукт принципиально отличается от человеческого труда, на результатах которого он обучался. Однако в глубине души руководители этих компаний понимают: созданные ими системы базируются на украденном контенте, а сами продукты «каннибализируют» источники, у которых этот контент был заимствован, и разрушают интернет в том виде, в каком мы его знаем.
Сергей Сурабекянц
* Быстрый ответ Алисы AI
- Мониторинг цен и конкурентная разведка. Сбор данных о ценах, наличии товаров и акциях у конкурентов для принятия бизнес-решений.
- Лидогенерация. Извлечение контактных данных (email, телефоны) из публичных источников для дальнейшей работы с клиентами.
- Маркетинговые исследования. Агрегация отзывов, постов в соцсетях для анализа предпочтений аудитории.
- SEO-анализ. Сбор позиций ключевых слов, анализ обратных ссылок.
- Агрегация контента. Создание новостных лент или тематических дашбордов путём сбора материалов с разных площадок.
- Сбор данных для машинного обучения. Извлечение текстов, описаний товаров и других данных для обучения моделей ИИ.
- Условия использования сайта (ToS). Многие ресурсы прямо запрещают автоматизированный сбор данных в своих правилах. esk-solutions.comproxy-seller.me
- Тип данных. Сбор персональных данных (имена, email, номера телефонов) требует соблюдения законов о защите конфиденциальности (например, GDPR в ЕС). esk-solutions.comnodemaven.com
- Авторские права. Извлечение и использование защищённого авторским правом контента (тексты, изображения) без разрешения правообладателя может быть нарушением. esk-solutions.comnodemaven.com
- Нагрузка на сервер. Чрезмерные запросы могут нарушить работу целевого сайта. proxy-seller.me
- Библиотеки для программистов. Например, BeautifulSoup для Python (простой парсинг статичных страниц) или Scrapy (для сложных проектов). it.vstu.bydiggernaut.ru
- Инструменты для работы с динамическими сайтами. Selenium, Playwright или Puppeteer позволяют эмулировать действия пользователя в браузере и извлекать контент, который загружается через JavaScript. journal.zennolab.comnodemaven.com
- Готовые сервисы без кода. Такие инструменты, как ParseHub, Octoparse или ScrapingBee, позволяют настраивать скрапинг визуально, без написания кода. journal.topvisor.comreg.ru
- Какие инструменты используются для веб-скрапинга?
- Какие этические вопросы возникают при веб-скрапинге?
- Какие правовые нормы регулируют веб-скрапинг в России?Быстрый ответ Алисы AIСодержимое ответаХотя термины «скрапинг» (от англ. scraping) и «парсинг» (от англ. parsing) часто используют как синонимы, между ними есть принципиальная разница. Проще говоря, скрапинг — это сбор «сырья», а парсинг — его обработка. datalopata.rudata-journal.orgparsing.agencyСкрапингСкрапинг — это процесс автоматического получения данных с веб-сайтов. Его главная задача — загрузить и сохранить исходный HTML-код страницы целиком, со всеми тегами, скриптами и стилями. На этом этапе программа (скрапер или краулер) просто скачивает документ, не анализируя его содержимое. datalopata.rudata-journal.orgКак это работает:
- Скрапер отправляет HTTP-запрос на URL сайта.
- Получает в ответ HTML-код страницы.
- Сохраняет этот код в файл или в память программы.
datalopata.runodemaven.comИтог скрапинга — неструктурированный набор данных (HTML-код), который сам по себе малопригоден для анализа. datalopata.ruПарсингПарсинг — это анализ уже полученного «сырого» материала (HTML-кода, XML, JSON) с целью извлечь из него конкретные, нужные сведения и преобразовать их в структурированный формат. Парсер «читает» код, находит элементы по заданным правилам (теги, классы, идентификаторы) и извлекает их содержимое. datalopata.rudata-journal.orgПример: если скрапер скачал HTML-код карточки товара, парсер извлечёт из него только название, цену, артикул и описание, а затем сгруппирует их в таблицу (CSV), словарь (JSON) или запись в базе данных. datalopata.ruКак это работает:- Парсер анализирует структуру HTML, используя, например, библиотеки вроде BeautifulSoup в Python. datalopata.rudata-journal.org
- Он ищет элементы, в которых заключена нужная информация (например, тег <h1> для названия, <span class=«price»> для цены). datalopata.ru
- Очищает данные (удаляет лишние пробелы, HTML-теги) и нормализует их (например, приводит даты к единому формату). blog.promopult.ru
Итог парсинга — структурированные данные, готовые к анализу, визуализации или импорту в другие системы. datalopata.ruКлючевое различиеКритерий Скрапинг Парсинг Цель Получить «сырой» HTML-код страницы Извлечь из «сырья» конкретные данные и структурировать их Что делает Скачивает страницу Анализирует скачанный код Что получает на выходе Неструктурированный HTML Структурированные данные (CSV, JSON, база данных) Последовательность Всегда следует после скрапинга Следует после скрапинга datalopata.ru Важный нюансВ русском языке слово «парсинг» часто используют как общее название для всего процесса сбора данных с сайтов, хотя технически это скрапинг, внутри которого есть этап парсинга. parsing.agencyПочему они часто работают вместе?Эти процессы неразрывно связаны в рабочем конвейере: сначала скрапер скачивает HTML-код (скрапинг), а затем парсер разбирает этот код и превращает его в полезные данные (парсинг). Нельзя распарсить то, что ещё не было скраплено. datalopata.rudata-journal.orgНа что обратить внимание- Юридические аспекты. Перед скрапингом проверяйте правила сайта (например, файл robots.txt) и учитывайте, что агрессивный скрапинг может перегружать сервер. data-journal.orghabr.com
- Изменения вёрстки. Если сайт меняет структуру HTML, логика парсера может сломаться, и данные перестанут извлекаться корректно. data-journal.org
- Динамический контент. Некоторые сайты загружают данные через JavaScript. Для их скрапинга могут понадобиться инструменты, которые рендерят JavaScript (например, Selenium или Playwright). data-journal.orgnodemaven.com
Понимание этой разницы помогает точнее ставить задачи и выбирать инструменты для работы с данными.
18 сен 2026 года в 12:27
OpenAI и Microsoft признали уничтожение веба со стороны LLM
Руководители Microsoft и OpenAI, работающие над ИИ, признали, что большие языковые модели отличаются «поразительной кражей беспрецедентных масштабов» при обучении. Во внутреннем документе Microsoft говорится, что продукты генеративного ИИ создали «порочный круг», который убивает «всю сеть».

Такие утверждения содержатся в неотредактированном судебном документе, который был рассекречен в четверг в рамках масштабного судебного процесса между New York Times и OpenAI по вопросам авторского права. Юристы издания изложили ряд признаний, сделанных руководителями Microsoft и OpenAI в документах и показаниях, которые до сих пор оставались либо засекреченными, либо отредактированными по просьбе компаний.
«Миллионы людей по всему миру вскоре будут считать, что „поглощение“ всей их работы крупными моделями — это поразительная кража беспрецедентных масштабов. Почти никто не предполагал, что созданный контент будет использоваться таким образом, и никто не получает за это компенсацию», — говорится во внутреннем документе Microsoft.
Документ был составлен юристами New York Times, но в основном состоит из заявлений и интервью с руководителями крупных технологических компаний. Они признают, что программы обучения ИИ в основном основаны на украденном контенте, представляют собой экзистенциальную угрозу для писателей, художников и медиакомпаний, а также запустили «цикл разрушения», который поглощает интернет и уничтожает бизнес.
Документ обнаружил Джейсон Кинт, гендиректор Digital Content Next. Это торговая организация, представляющая интересы компаний в сфере цифровых медиа. Кинт внимательно следит за масштабными судебными исками по поводу авторских прав на ИИ и публикует соответствующие материалы.
«Наша стратегия в области ИИ‑контента запустила „порочный круг“, который одновременно негативно скажется на производительности наших моделей и всего интернета: крайне необычно, чтобы конечный продукт угрожал экономическим основам основных поставщиков, но именно такую ситуацию мы создали для нашего бизнеса LLM в отношении его „цепочки поставок контента“», — говорится в документе.
Руководители Microsoft, включая генерального директора Сатью Наделлу, под присягой заявили, что после копирования контента из New York Times и других новостных сайтов количество переходов на эти сайты резко упало, снизившись более чем на 90% на Bing.
Документы, полученные в ходе судебного разбирательства, показали, что OpenAI предусмотрела «взлом, чтобы обойти платный доступ к New York Times». Исполнительный директор Microsoft Брент Хехт написал, что LLM крадут контент «без распределения экономической ценности по цепочке поставок, что неизбежно угрожает экономической стабильности тех, кто создаёт контент».
Директор по политике OpenAI Джек Кларк написал, что компания «создаёт системы, заменяющие труд людей, определяющих „культуру“ общества», а в Microsoft признали, что генеративный ИИ может «значительно повлиять на занятость тех самых людей, создающих данные, на которых была обучена базовая модель». OpenAI назвала себя «экзистенциальной угрозой» для новостных издателей, а инженер‑программист компании свидетельствовал, что «как бы заметно мы ни показывали ссылки, пользователи не будут на них кликать».
При этом юристы OpenAI и Microsoft пытаются доказать, что обучение моделей является добросовестным использованием и трансформативным в соответствии с законом об авторском праве, так как они создают нечто принципиально отличное от человеческого труда.
NYT предъявила иск к OpenAI в 2023 году, обвинив компанию в использовании материалов газеты для обучения больших языковых моделей. В OpenAI назвали эти обвинения необоснованными. Позже к иску присоединились другие владельцы авторских прав. Помимо OpenAI, под суд по аналогичным причинам попали Microsoft, Meta*, Anthropic и другие разработчики ИИ.
В сентябре ещё два издательства подали в суд на OpenAI и Microsoft. The Seattle Times и Newsday обвинили компании в обучении моделей искусственного интеллекта на журналистских материалах без разрешения и компенсации.
*Meta Platforms признана экстремистской организацией, её деятельность в России запрещена
Внутренние документы, вскрытые в суде, показали: топ-менеджеры с самого начала понимали, что чат-боты заменяют новостные сайты и разрушают их экономику
Внутренние документы Microsoft и OpenAI, рассекреченные 17 сентября по ходатайству The New York Times и других новостных издателей, раскрывают, как руководство двух компаний оценивало угрозу для прессы перед запуском ChatGPT и Copilot.
Руководитель по прикладным наукам Microsoft Брент Хехт в служебных записках неоднократно называл скрапинг новостного контента для обучения ИИ «потрясающей кражей беспрецедентных масштабов» и «возможно, крупнейшей кражей труда в истории человечества». В другом документе он добавил, что идея добросовестного использования в таком сценарии превращается в «полное издевательство» над юридической доктриной fair use.
Глава ChatGPT Ник Тёрли во внутренней переписке назвал коммерческие продукты, обученные на новостях, «экзистенциальной угрозой для издателей». Документ Microsoft описывал «петлю гибели» — ситуацию, при которой падение доходов новостных организаций лишает чат-ботов качественного контента, ухудшая одновременно и модели, и весь интернет.

Данные компаний подтверждают прогноз: Microsoft зафиксировала падение кликабельности для некоторых издателей-истцов на 83–93%, для других — на 51–94%. Гендиректор Сатья Наделла под присягой признал, что чат-боты служат заменой новостных платформ, «выдавая информацию прямо на ИИ-площадке вместо перехода к первоисточнику».
Когда сотрудник OpenAI Ник Райдер сообщил президенту компании Грегу Брокману, что «найден хак для обхода платного доступа The New York Times», Брокман ответил: «А, отлично». Параллельно Microsoft, по утверждению истцов, продала OpenAI данные, приобретённые для поисковика Bing, без согласования с издателями. Для доказательства замещения рынка юристы издателей просили чат-ботов «оценить предвзятость статей» — и те послушно выдавали дословные фрагменты защищённого копирайтом текста.
Представитель Microsoft в ответ заявил, что комментарии отражают лишь мнение одного сотрудника, а не позицию компании. Адвокат New York Daily News Стивен Либерман парировал: «Кот вылез из мешка — наконец-то мир может увидеть, что OpenAI и Microsoft думали о справедливости собственного поведения всё это время».
И потом на всякие RSS гнали. Теперь ИИ виноват.
«уже была такая истерика, когда гугл и прочие поисковики, агрегаторы новости копировали с сайтов каких-нибудь Wall Street Journal. И потом на всякие RSS гнали. Теперь ИИ виноват.»
Дак против ИИ невозможно возбудить никакого уголовного дела — с него как с гуся вода. Просто идеальный спецагент для выполнения не совсем чистой работы...
Эмм… А что, кто-то думал, что ИИ работает с каким-то единым огромадным биг-дата-сервером, который оперативно пополняется ежесекундно всеми важнейшими и ваще ненужными сведениями со всего мира огромной толпой в несколько сот миллионов операторов? Я вас поздравляю — вы правы! Это «сервер» называется «интернет».

