[Докопипастились...] «Воровство беспрецедентных масштабов»: OpenAI и Microsoft признали, что ИИ построен на краже данных и неумолимо разрушает интернет скрапингом* и парсингом**

отметили
24
человека
в архиве

Судя по рассекреченным недавно документам, руководители Microsoft и OpenAI осознавали, что большие языковые модели — это хищнические технологии, построенные на том, что один из руководителей Microsoft назвал «поразительным воровством беспрецедентных масштабов» и «крупнейшей кражей труда в истории человечества». Во внутреннем документе Microsoft также говорится, что продукты генеративного ИИ создали «петлю погибели», которая убивает «весь интернет».

Эти заявления и ряд других откровенных высказываний занимают важное место в неотредактированном судебном документе, который был рассекречен в четверг в рамках масштабного судебного процесса New York Times против OpenAI по вопросам авторского права. В ходатайстве о вынесении решения в порядке упрощённого производства юристы New York Times изложили ряд признаний, сделанных руководителями Microsoft и OpenAI в документах и ​​показаниях, которые до сих пор оставались засекреченными или отредактированными по просьбе Microsoft и OpenAI.

В иске цитируется внутренний документ Microsoft, в котором говорится, что продукты на основе ИИ воруют контент у его создателей, а затем замыкают на себя трафик, тем самым разрушая их бизнес-модели. «Миллионы людей по всему миру вскоре сочтут, что использование крупных моделей для “захвата” всей их работы — это поразительная кража беспрецедентных масштабов, — говорится во внутреннем документе Microsoft. — Почти никто не предполагал, что созданный ими контент будет использоваться таким образом, и никто не получает за это компенсацию».

Руководители Microsoft, включая генерального директора Сатью Наделлу (Satya Nadella), под присягой подтвердили, что после копирования контента из New York Times и других новостных сайтов количество переходов на них снизилось более чем на 90 %. «Наша стратегия в отношении контента на основе ИИ запустила “цикл разрушения“, который одновременно нанесёт ущерб производительности наших моделей и всей сети: крайне необычно, чтобы конечный продукт угрожал экономическим основам своих основных поставщиков, но именно такую ​​ситуацию мы создали для нашего бизнеса LLM в отношении его “цепочки поставок контента“», — говорится в документе.

Документы, полученные в ходе судебного разбирательства, также показали, что OpenAI создала «взлом, чтобы обойти платный доступ к New York Times». Компания признала, что представляет собой «экзистенциальную угрозу» для новостных издателей, а один из инженеров-программистов компании признал: «Как бы заметно мы ни размещали ссылки, пользователи по ним не переходят». Директор OpenAI по вопросам политики Джек Кларк заявил, что компания «создаёт системы, замещающие труд людей, которые формируют «культуру» общества».

«Генеративный ИИ может серьёзно подорвать занятость тех самых людей, чьи данные использовались для обучения базовой модели […] Большие языковые модели (LLM) — это продукт, уничтожающий собственную цепочку поставок», — признаёт Microsoft.

Эти заявления представляют собой одни из самых убедительных обвинений в адрес методов обучения нейросетей, принципов их работы и непосредственной угрозы, которую они представляют для человеческого труда. Они вряд ли удивят тех, кто следит за развитием генеративного ИИ, однако этот документ в целом представляет собой тот самый случай, когда разработчики открыто признают истинное положение дел. Практически все инструменты ИИ были разработаны путём заимствования человеческого творчества и представляют собой экзистенциальную угрозу для рынка труда.

Юристы OpenAI и Microsoft пытаются доказать, что обучение их моделей подпадает под доктрину добросовестного использования (fair use) и носит преобразующий характер в контексте авторского права, а создаваемый ими продукт принципиально отличается от человеческого труда, на результатах которого он обучался. Однако в глубине души руководители этих компаний понимают: созданные ими системы базируются на украденном контенте, а сами продукты «каннибализируют» источники, у которых этот контент был заимствован, и разрушают интернет в том виде, в каком мы его знаем.

Сергей Сурабекянц

* Быстрый ответ Алисы AI

Содержимое ответа
 
Веб-скрапинг (от англ. web scraping) — это технология автоматизированного сбора информации с веб-сайтов, её анализа и преобразования в удобный для дальнейшей работы формат. Обычно для этого используются специальные программы (боты или скрипты), которые запрашивают страницы, извлекают из них нужные данные и сохраняют их. sberbank.ru rb.ru
 
Как это работает
Процесс обычно включает несколько этапов:
  • Отправка HTTP-запроса. Программа отправляет запрос на сервер сайта и получает в ответ HTML-код страницы.
  • Парсинг HTML. Полученный код анализируется, чтобы найти элементы с нужной информацией (текст, изображения, ссылки). Для этого часто используются инструменты вроде CSS-селекторов или XPath. journal.zennolab.comit.vstu.by
  • Извлечение и очистка данных. Из HTML извлекаются конкретные данные. Затем они очищаются от лишних символов и форматируются.
  • Сохранение. Обработанные данные сохраняются в удобном виде: в CSV-файле, базе данных, JSON и т.д… journal.zennolab.comit.vstu.by
  • Для сложных задач, например, работы с динамическими сайтами, которые загружают контент через JavaScript, могут использоваться инструменты вроде Selenium или Playwright. journal.zennolab.comnodemaven.com
     
    Для чего это нужно
    Веб-скрапинг широко применяется в разных сферах:
    • Мониторинг цен и конкурентная разведка. Сбор данных о ценах, наличии товаров и акциях у конкурентов для принятия бизнес-решений.
    • Лидогенерация. Извлечение контактных данных (email, телефоны) из публичных источников для дальнейшей работы с клиентами.
    • Маркетинговые исследования. Агрегация отзывов, постов в соцсетях для анализа предпочтений аудитории.
    • SEO-анализ. Сбор позиций ключевых слов, анализ обратных ссылок.
    • Агрегация контента. Создание новостных лент или тематических дашбордов путём сбора материалов с разных площадок.
    • Сбор данных для машинного обучения. Извлечение текстов, описаний товаров и других данных для обучения моделей ИИ.
    ru.crawlbase.com
     
    Правовые и этические аспекты
    Сам по себе веб-скрапинг не является незаконным. Его законность зависит от нескольких факторов:
    • Условия использования сайта (ToS). Многие ресурсы прямо запрещают автоматизированный сбор данных в своих правилах. esk-solutions.comproxy-seller.me
    • Тип данных. Сбор персональных данных (имена, email, номера телефонов) требует соблюдения законов о защите конфиденциальности (например, GDPR в ЕС). esk-solutions.comnodemaven.com
    • Авторские права. Извлечение и использование защищённого авторским правом контента (тексты, изображения) без разрешения правообладателя может быть нарушением. esk-solutions.comnodemaven.com
    • Нагрузка на сервер. Чрезмерные запросы могут нарушить работу целевого сайта. proxy-seller.me
    Поэтому перед началом скрапинга важно изучить правила сайта, оценить тип данных и убедиться, что ваши действия не нарушают законодательство. esk-solutions.comproxy-seller.me
     
    Инструменты для скрапинга
    Для реализации скрапинга используются разные инструменты:
    • Библиотеки для программистов. Например, BeautifulSoup для Python (простой парсинг статичных страниц) или Scrapy (для сложных проектов). it.vstu.bydiggernaut.ru
    • Инструменты для работы с динамическими сайтами. Selenium, Playwright или Puppeteer позволяют эмулировать действия пользователя в браузере и извлекать контент, который загружается через JavaScript. journal.zennolab.comnodemaven.com
    • Готовые сервисы без кода. Такие инструменты, как ParseHub, Octoparse или ScrapingBee, позволяют настраивать скрапинг визуально, без написания кода. journal.topvisor.comreg.ru
    Если вы планируете заниматься скрапингом профессионально, рекомендую начать с изучения API целевых сайтов — часто это самый надёжный и легальный способ получения данных. nodemaven.com
     
    Оценить ответ
    19 источников
  • sberbank.ru
  • it.vstu.by
  • ru.wikipedia.org*
  • nodemaven.com
  • tproger.ru
  • rb.ru
  • journal.zennolab.com
  • capmonster.cloud
  • it.vstu.by
  • journal.topvisor.com
  • reg.ru
  • diggernaut.ru
  • ru.crawlbase.com
  • lite.host
  • esk-solutions.com
  • proxy-seller.me
  • nstdata.io
  • legal-support.ru
  • nodemaven.com
  • *РКН: иностранный владелец ресурса нарушает закон РФ
    • Какие инструменты используются для веб-скрапинга?
    • Какие этические вопросы возникают при веб-скрапинге?
    • Какие правовые нормы регулируют веб-скрапинг в России?
       
      Быстрый ответ Алисы AI
      Содержимое ответа
       
      Хотя термины «скрапинг» (от англ. scraping) и «парсинг» (от англ. parsing) часто используют как синонимы, между ними есть принципиальная разница. Проще говоря, скрапинг — это сбор «сырья», а парсинг — его обработка. datalopata.rudata-journal.orgparsing.agency
       
      Скрапинг
      Скрапинг — это процесс автоматического получения данных с веб-сайтов. Его главная задача — загрузить и сохранить исходный HTML-код страницы целиком, со всеми тегами, скриптами и стилями. На этом этапе программа (скрапер или краулер) просто скачивает документ, не анализируя его содержимое. datalopata.rudata-journal.org
       
      Как это работает:
      • Скрапер отправляет HTTP-запрос на URL сайта.
      • Получает в ответ HTML-код страницы.
      • Сохраняет этот код в файл или в память программы.
      datalopata.runodemaven.com
      Итог скрапинга — неструктурированный набор данных (HTML-код), который сам по себе малопригоден для анализа. datalopata.ru
       
      Парсинг
      Парсинг — это анализ уже полученного «сырого» материала (HTML-кода, XML, JSON) с целью извлечь из него конкретные, нужные сведения и преобразовать их в структурированный формат. Парсер «читает» код, находит элементы по заданным правилам (теги, классы, идентификаторы) и извлекает их содержимое. datalopata.rudata-journal.org
      Пример: если скрапер скачал HTML-код карточки товара, парсер извлечёт из него только название, цену, артикул и описание, а затем сгруппирует их в таблицу (CSV), словарь (JSON) или запись в базе данных. datalopata.ru
       
      Как это работает:
      • Парсер анализирует структуру HTML, используя, например, библиотеки вроде BeautifulSoup в Python. datalopata.rudata-journal.org
      • Он ищет элементы, в которых заключена нужная информация (например, тег <h1> для названия, <span class=«price»> для цены). datalopata.ru
      • Очищает данные (удаляет лишние пробелы, HTML-теги) и нормализует их (например, приводит даты к единому формату). blog.promopult.ru
      Итог парсинга — структурированные данные, готовые к анализу, визуализации или импорту в другие системы. datalopata.ru
       
      Ключевое различие
      КритерийСкрапингПарсинг
      ЦельПолучить «сырой» HTML-код страницыИзвлечь из «сырья» конкретные данные и структурировать их
      Что делаетСкачивает страницуАнализирует скачанный код
      Что получает на выходеНеструктурированный HTMLСтруктурированные данные (CSV, JSON, база данных)
      ПоследовательностьВсегда следует после скрапингаСледует после скрапинга datalopata.ru
       
      Важный нюанс
      В русском языке слово «парсинг» часто используют как общее название для всего процесса сбора данных с сайтов, хотя технически это скрапинг, внутри которого есть этап парсинга. parsing.agency
       
      Почему они часто работают вместе?
      Эти процессы неразрывно связаны в рабочем конвейере: сначала скрапер скачивает HTML-код (скрапинг), а затем парсер разбирает этот код и превращает его в полезные данные (парсинг). Нельзя распарсить то, что ещё не было скраплено. datalopata.rudata-journal.org
       
      На что обратить внимание
      • Юридические аспекты. Перед скрапингом проверяйте правила сайта (например, файл robots.txt) и учитывайте, что агрессивный скрапинг может перегружать сервер. data-journal.orghabr.com
      • Изменения вёрстки. Если сайт меняет структуру HTML, логика парсера может сломаться, и данные перестанут извлекаться корректно. data-journal.org
      • Динамический контент. Некоторые сайты загружают данные через JavaScript. Для их скрапинга могут понадобиться инструменты, которые рендерят JavaScript (например, Selenium или Playwright). data-journal.orgnodemaven.com
      Понимание этой разницы помогает точнее ставить задачи и выбирать инструменты для работы с данными.
    Добавил suare suare 1 Октября
    Дополнения:

    18 сен 2026 года в 12:27

    OpenAI и Microsoft признали уничтожение веба со стороны LLM

    Руководители Microsoft и OpenAI, работающие над ИИ, признали, что большие языковые модели отличаются «поразительной кражей беспрецедентных масштабов» при обучении. Во внутреннем документе Microsoft говорится, что продукты генеративного ИИ создали «порочный круг», который убивает «всю сеть».

    Такие утверждения содержатся в неотредактированном судебном документе, который был рассекречен в четверг в рамках масштабного судебного процесса между New York Times и OpenAI по вопросам авторского права. Юристы издания изложили ряд признаний, сделанных руководителями Microsoft и OpenAI в документах и ​​показаниях, которые до сих пор оставались либо засекреченными, либо отредактированными по просьбе компаний.

    «Миллионы людей по всему миру вскоре будут считать, что „поглощение“ всей их работы крупными моделями — это поразительная кража беспрецедентных масштабов. Почти никто не предполагал, что созданный контент будет использоваться таким образом, и никто не получает за это компенсацию», — говорится во внутреннем документе Microsoft.

    Документ был составлен юристами New York Times, но в основном состоит из заявлений и интервью с руководителями крупных технологических компаний. Они признают, что программы обучения ИИ в основном основаны на украденном контенте, представляют собой экзистенциальную угрозу для писателей, художников и медиакомпаний, а также запустили «цикл разрушения», который поглощает интернет и уничтожает бизнес.

    Документ обнаружил Джейсон Кинт, гендиректор Digital Content Next. Это торговая организация, представляющая интересы компаний в сфере цифровых медиа. Кинт внимательно следит за масштабными судебными исками по поводу авторских прав на ИИ и публикует соответствующие материалы.

    «Наша стратегия в области ИИ‑контента запустила „порочный круг“, который одновременно негативно скажется на производительности наших моделей и всего интернета: крайне необычно, чтобы конечный продукт угрожал экономическим основам основных поставщиков, но именно такую ​​ситуацию мы создали для нашего бизнеса LLM в отношении его „цепочки поставок контента“», — говорится в документе.

    Руководители Microsoft, включая генерального директора Сатью Наделлу, под присягой заявили, что после копирования контента из New York Times и других новостных сайтов количество переходов на эти сайты резко упало, снизившись более чем на 90% на Bing.

    Документы, полученные в ходе судебного разбирательства, показали, что OpenAI предусмотрела «взлом, чтобы обойти платный доступ к New York Times». Исполнительный директор Microsoft Брент Хехт написал, что LLM крадут контент «без распределения экономической ценности по цепочке поставок, что неизбежно угрожает экономической стабильности тех, кто создаёт контент».

    Директор по политике OpenAI Джек Кларк написал, что компания «создаёт системы, заменяющие труд людей, определяющих „культуру“ общества», а в Microsoft признали, что генеративный ИИ может «значительно повлиять на занятость тех самых людей, создающих данные, на которых была обучена базовая модель». OpenAI назвала себя «экзистенциальной угрозой» для новостных издателей, а инженер‑программист компании свидетельствовал, что «как бы заметно мы ни показывали ссылки, пользователи не будут на них кликать».

    При этом юристы OpenAI и Microsoft пытаются доказать, что обучение моделей является добросовестным использованием и трансформативным в соответствии с законом об авторском праве, так как они создают нечто принципиально отличное от человеческого труда.

    NYT предъявила иск к OpenAI в 2023 году, обвинив компанию в использовании материалов газеты для обучения больших языковых моделей. В OpenAI назвали эти обвинения необоснованными. Позже к иску присоединились другие владельцы авторских прав. Помимо OpenAI, под суд по аналогичным причинам попали Microsoft, Meta*, Anthropic и другие разработчики ИИ.

    В сентябре ещё два издательства подали в суд на OpenAI и Microsoft. The Seattle Times и Newsday обвинили компании в обучении моделей искусственного интеллекта на журналистских материалах без разрешения и компенсации.

    *Meta Platforms признана экстремистской организацией, её деятельность в России запрещена

    Крупнейшая кража труда в истории»: техлид Microsoft назвал ИИ-парсинг новостей беспрецедентным воровством

    Внутренние документы, вскрытые в суде, показали: топ-менеджеры с самого начала понимали, что чат-боты заменяют новостные сайты и разрушают их экономику

    19 сентября 2026, 20:26

    Внутренние документы Microsoft и OpenAI, рассекреченные 17 сентября по ходатайству The New York Times и других новостных издателей, раскрывают, как руководство двух компаний оценивало угрозу для прессы перед запуском ChatGPT и Copilot.

    Руководитель по прикладным наукам Microsoft Брент Хехт в служебных записках неоднократно называл скрапинг новостного контента для обучения ИИ «потрясающей кражей беспрецедентных масштабов» и «возможно, крупнейшей кражей труда в истории человечества». В другом документе он добавил, что идея добросовестного использования в таком сценарии превращается в «полное издевательство» над юридической доктриной fair use.

    Глава ChatGPT Ник Тёрли во внутренней переписке назвал коммерческие продукты, обученные на новостях, «экзистенциальной угрозой для издателей». Документ Microsoft описывал «петлю гибели» — ситуацию, при которой падение доходов новостных организаций лишает чат-ботов качественного контента, ухудшая одновременно и модели, и весь интернет.

    Данные компаний подтверждают прогноз: Microsoft зафиксировала падение кликабельности для некоторых издателей-истцов на 83–93%, для других — на 51–94%. Гендиректор Сатья Наделла под присягой признал, что чат-боты служат заменой новостных платформ, «выдавая информацию прямо на ИИ-площадке вместо перехода к первоисточнику».

    Когда сотрудник OpenAI Ник Райдер сообщил президенту компании Грегу Брокману, что «найден хак для обхода платного доступа The New York Times», Брокман ответил: «А, отлично». Параллельно Microsoft, по утверждению истцов, продала OpenAI данные, приобретённые для поисковика Bing, без согласования с издателями. Для доказательства замещения рынка юристы издателей просили чат-ботов «оценить предвзятость статей» — и те послушно выдавали дословные фрагменты защищённого копирайтом текста.

    Представитель Microsoft в ответ заявил, что комментарии отражают лишь мнение одного сотрудника, а не позицию компании. Адвокат New York Daily News Стивен Либерман парировал: «Кот вылез из мешка — наконец-то мир может увидеть, что OpenAI и Microsoft думали о справедливости собственного поведения всё это время».

    Источники: arstechnica
     
    Комментарии:
     
    lector12
    19 сентября 2026 г. в 21:53
    +1
    чисто теоретически, ии в поисковике убивает текущую схему монетизации не только для новостных, а вообще для всех сайтов без интерактивного взаимодействия с пользователем, в тч и для всяческих вики. Взять вот яндекс, ты туда почти любой запрос даешь, тебе сразу на всю страницу ответ от местного недоии, а ссылки где то внизу, куда еще докрутить надо. Причем если ответ явно бредовый, в 90% случаев проще переключиться на вкладку самого ии, где уже ии не совсем недо, и может дать уточненные сведения, если его очень сильно об этом попросить, черпая информацию с источников, которые простому кожаному пользователю в этой стране без танцев с бубном не доступны, причем быстро и выжимками именно нужного. Соответственно этот человек никогда больше не перейдет на профильный сайт и не посмотрит там рекламу, монетизации ноль. В большинстве случаев это вроде как и хорошо, потому что большинство текстов создают рерайтеры, а их работа теперь этим самым ии с легкостью и выполняется, то есть просто те сайты которые и так почти никто не посещал и заполняли кожаные\кремниевые боты, теперь вообще никто посещать и заполнять не будет. Но для сайтов с высокой посещаемостью это трагедия, а так как именно они и есть главный источник информации для ии, остается надеяться что ии сможет отыскивать первоисточники, то есть публикации размещенные для обнародования а не для получения прибыли. То есть условно говоря если я сегодня спрошу программу политической партии, ии должен не только уметь на википедию залезть и там ее посмотреть, а залезть на сам сайт этой партии, который вообще рекламу не размещает потому что создан для оповещения а не для заработка на публикациях.
     
    Finist18101973
    19 сентября 2026 г. в 22:21
    +1
    Вы зря там на Алиску наехали. В ряде случаев она лучше забугорных ИИ, потому как часто плюёт на авторское право с высокой колокольни. И готова цитировать защищённый контент. А если попросить, то вполне может предоставить рабочие ссылки, откуда можно скачать нужную книгу
     
    Worm
    19 сентября 2026 г. в 22:34
    0
    уже была такая истерика, когда гугл и прочие поисковики, агрегаторы новости копировали с сайтов каких-нибудь Wall Street Journal.

    И потом на всякие RSS гнали. Теперь ИИ виноват.

    Александр К_1954
    20 сентября 2026 г. в 21:20
    0
    «уже была такая истерика, когда гугл и прочие поисковики, агрегаторы новости копировали с сайтов каких-нибудь Wall Street Journal. И потом на всякие RSS гнали. Теперь ИИ виноват.»
    Дак против ИИ невозможно возбудить никакого уголовного дела — с него как с гуся вода. Просто идеальный спецагент для выполнения не совсем чистой работы...
    Добавил suare suare 1 Октября
    Комментарии участников:
    jzucen
    +2
    jzucen, 1 Октября , url

    Эмм… А что, кто-то думал, что ИИ работает с каким-то единым огромадным биг-дата-сервером, который оперативно пополняется ежесекундно всеми важнейшими и ваще ненужными сведениями со всего мира огромной толпой в несколько сот миллионов операторов? Я вас поздравляю — вы правы! Это «сервер» называется «интернет».



    Войдите или станьте участником, чтобы комментировать