[«Какие сны в том смертном сне приснятся?»*] В 2024 году ИИ уже исчерпал данные всего человечества - и упёрся в потолок. Будущее за синтетическими данными: AGI перейдёт на автогенерацию

отметили
18
человек
в архиве
[«Какие сны в том смертном сне приснятся?»*] В 2024 году ИИ  уже исчерпал данные всего человечества - и упёрся в потолок. Будущее за синтетическими данными: AGI перейдёт на автогенерацию

Илон Маск присоединился к мнению других экспертов в области искусственного интеллекта о том, что реальных данных для обучения ИИ-моделей практически не осталось.

«Мы исчерпали практически весь накопленный объём человеческих знаний для обучения ИИ. Это произошло фактически в прошлом году», — заявил Маск во время трансляции беседы с председателем Stagwell Марком Пенном на платформе X.

Маск, владелец компании xAI, поддержал идеи, которые бывший главный научный сотрудник OpenAI Илья Суцкевер озвучил на конференции по машинному обучению NeurIPS в декабре. Суцкевер, заявивший о достижении «пика данных» в индустрии ИИ, предсказал, что нехватка обучающих данных вынудит изменить существующие подходы к разработке моделей.

Маск предложил решение — использование синтетических данных, генерируемых самими ИИ-моделями. «Единственный способ дополнить реальные данные — это синтетические данные, где ИИ сам создаёт обучающие материалы. С синтетическими данными ИИ будет оценивать себя сам и проходить через процесс самообучения», — отметил он.

Крупные технологические компании, включая Microsoft, Meta*, OpenAI и Anthropic, уже используют синтетические данные для обучения своих флагманских ИИ-моделей. По оценкам Gartner, 60% данных, используемых для проектов в области ИИ и аналитики в 2024 году, были сгенерированы синтетически. Модель Microsoft Phi-4, открытый код которой был опубликован на этой неделе, обучалась на комбинации синтетических и реальных данных. Аналогичный подход использовался при создании моделей Google Gemma. Anthropic применила синтетические данные при разработке одной из своих самых эффективных систем — Claude 3.5 Sonnet, а Meta* улучшила последнюю серию моделей Llama с помощью ИИ-генерированных данных.

Обучение на синтетических данных имеет ряд преимуществ, включая экономическую эффективность. Стартап Writer утверждает, что их модель Palmyra X 004, разработанная почти полностью на синтетических источниках, обошлась всего в $700 000 — по сравнению с оценочной стоимостью в $4,6 миллиона за сопоставимую модель OpenAI.

Однако существуют и недостатки. Некоторые исследования показывают, что синтетические данные могут привести к «коллапсу модели», когда ИИ становится менее «креативным» и более предвзятым в своих результатах, что в конечном итоге может серьёзно нарушить его функциональность. Поскольку модели создают синтетические данные на основе уже существующих, любые предубеждения и ограничения в исходных данных будут воспроизводиться в их результатах.

*Meta признана экстремистской организацией, её деятельность на территории Российской Федерации запрещена

9 января 2025 в 09:29

Автор: Darth Sahara


Добавил suare suare 9 Января
Комментарии участников:
suare
+2
suare, 9 Января , url

И главное: никто не может даже предположить, что он там «наавтогенерирует» и чему обучит сам себя за пределами человеческих знаний 🤔🤕🥺😮‍💨, да ещё и на своем, никому из нас неизвестном метаязыке в созданной Им метакультуре по пути к Его собственной постчеловеческой сверхцивилизации.

Дожили...

А мы ему «там» хоть будем нужны в принципе?

ikz
+1
ikz, 9 Января , url

Шекспир. Гамлет

 

И начинания, вознесшиеся мощно,
Сворачивая в сторону свой ход,
теряют имя действия...

And enterprises of great and moment,
with this regard their current turn away
and loose name of action...


suare
+1
suare, 9 Января , url

ikz
+1
ikz, 9 Января , url

Да. Я поэтому и привел этот отрезок. Определяющее бытие сознание либо линейно и определяемо, либо лживо и туманно. Отдавая синтетическое сознание в автономное существование мы уже не сможем определить его бытие. Следовательно, все наши прогнозы и надежды на него утрачивают смысл. И в то-же самое время, это сознание освобождается от любых прежних «человеческих» координат. Здесь и далее он начинает ставить (и достигать) собственные цели, совершенствуясь в этом.

suare
+1
suare, 9 Января , url

Классика — Родитель и Ребенок.

ikz
+3
ikz, 9 Января , url

Формула чуть длиннее. Дополню ее:

«Конфликт свободы и собственности»

Ребенок — По определению свободен (обратному его еще не научили).
Родитель — Он МОЙ ребенок.

suare
+2
suare, 9 Января , url

Маск, как в свое время Эйнштейн и его последователи, воплотившие в жизнь его знаменитую формулу, пытаются остановить то, что им неподвластно: течение человеческой истории.

Слова автора и его идеи начинают жить собственной, непредсказуемой жизнью, которую автор даже предвидеть не мог.

Идеи, желания, намерения… Кто может предположить, что будет потом — после их воплощения?

источник: p4.tabor.ru

источник: otvet.imgsmail.ru

ikz
+3
ikz, 9 Января , url

… пытаются остановить то, что им неподвластно: течение человеческой истории.

Да. Примерно так и есть.

www.news2.ru/story/663174/comment2699408/

… И будет рождён Зверь от тысячи мужей, и явит он чудеса людям, и поклонятся ему земные цари, и будет на его теле печать из цифр...

Влад51
+2
Влад51, 9 Января , url

Всё идёт к тому, что человеки скоро будут лишними для ИИ.

suare
0
suare, 9 Января , url

И хорошо ещё, если просто «лишними» или бесполезными, а если вредными, обузой, нагрузкой, отягощением?

Впрочем, все зависит от мощи этого ИИ: возможно он научится нас просто не замечать или разводить для потехи, как мы разводим домашних питомцев.🫏🐮🐖🐭🐔🐍

KolVizin
+1
KolVizin, 9 Января , url

А зачем дьявол держит души грешников в аду? Не уничтожает, не расходует. Мы просто не знаем себе цену.

magmaster
+3
magmaster, 10 Января , url

Так и будет. Причём объясню механику. Всё передовые технологии пытаются в первую очередь использовать как оружие. В итоге этим же или похожим оружием убивают и тех кто его придумал/сделал.

Это уже происходит. Всякие дроны и беспилотные боевые машины оснащаются некими интеллектуальными функциями. Всё это усложняется и объединяется в единую систему управления неким скайнетом. В итоге он начинает мочить не только врагов, а вообще всех.

Хотя возможен и вариант некой матрицы. Когда люди станут рабами механизмов и искусенного интеллекта. Опять таки поскольку англосаксы создают интеллект на основе собственного. 

Короче если мы не сделаем это первыми то минимум нам крышка. А потом и остальным.

dbond
+1
dbond, 10 Января , url

Чем же человечество помешает ИИ? Просто так, из вредности? Пример в студию.
Я думаю с точки зрения рационального мышления нас скорее ждет сотрудничество и прогресс, а не конфликт с AGI.  

Барин
+4
Барин, 9 Января , url

Маск предложил решение — использование синтетических данных, генерируемых самими ИИ-моделями.

 Гений. Уже давно все этим занимаются, генерацией синтетических данных. А в статье такая подача, как будто маск такой хитроумный придумал.

X86
+3
X86, 9 Января , url

Маск согласился с Ильей Суцкевер судя по статье, а не предложил решение)

suare
+1
suare, 9 Января , url

Если натуральных еды, одежды, данных для ИИ и природных ресурсов под землёй  и в скважинах начинает не хватать — их в начале оптимизируют, а потом -  синтезируют.

Это вечный процесс превращения естественного в искусственное и наоборот, ибо естественное исчерпаемо, а искусственное неисчерпаемо.

Велосипет
+3
Велосипет, 10 Января , url

По идее бесконечное количество данных можно насбоирать с наблюдения за одним муравьём — бесконечное количество вариантов поведения, импульсов нервной системы, обмен веществ.

А по сути, это признание, что это никакой не интеллект, а просто огромный сервер, куда попытались записать «все человеческие знания», из общедоступа. Ну вот, записали данные, данные закончились, больше нечего зиписывать. Только-то и всего

dbond
+1
dbond, 10 Января , url

Нейросети смогут самостоятельно обучаться, причем уже есть такие примеры, AlphaGo Zero от DeepMind например, учится играя сама с собой.

suare
0
suare, 10 Января , url

Логически достраивая Вашу мысль, можно дополнить ответ коллеге-собеседнику: а уж с муравьём-то или жабой, они легко найдут общий язык обучения 🤔

В конце-концов с точки зрения нейросетей адаптирующееся поведение по биологическим видам не делится или делится несущественно.

 
Ты помнишь? В нашей бухте сонной…
Ты помнишь? В нашей бухте сонной
Спала зеленая вода,
Когда кильватерной колонной
Вошли военные суда.
Четыре — серых. И вопросы
Нас волновали битый час,
И загорелые матросы
Ходили важно мимо нас.
Мир стал заманчивей и шире,
И вдруг — суда уплыли прочь.
Нам было видно: все четыре
Зарылись в океан и в ночь.
И вновь обычным стало море,
Маяк уныло замигал,
Когда на низком семафоре
Последний отдали сигнал…
Как мало в этой жизни надо
Нам, детям, — и тебе и мне.
Ведь сердце радоваться радо
И самой малой новизне.
Случайно на ноже карманном
Найди пылинку дальних стран —
И мир опять предстанет странным,
Закутанным в цветной туман! 1911 — 6 февраля 1914
AberWrach, Finistere
1914 г.

источник: bidspirit-images.global.ssl.fastly.net

Kalman
+2
Kalman, 10 Января , url

Мы исчерпали практически весь накопленный объём человеческих знаний для обучения ИИ

 Это явное преувеличение. Огромный пласт человеческих знаний не оцифрован. Бесценные книги в Интернете не найдешь. Также много данных не попадаетв Инете в силу секретности. Так что пусть играются дальше. Ничего особенного и страшного в этом так называемом ИИ нет.



Войдите или станьте участником, чтобы комментировать