Ошибка!

Показать Ошибка!

Забыли пароль?

Ошибка!

Ошибка!

Скрыть Ошибка!

Скрыть Ошибка!

Забыли пароль? Напишите ваш email и мы отправим письмо с инструкциями.

Ошибка!

Обратно

Закрыть

Стэнфорд создал копию ChatGPT менее чем за 600 долларов

Стэнфорд создал копию ChatGPT менее чем за 600 долларов
Искусственный интеллект Alpaca во многих задачах работает так же, как удивительный ChatGPT, но он построен на модели языка с открытым исходным кодом и стоит менее 600 долларов США для обучения. Кажется, что эти богоподобные ИИ уже пугающе дешевы и их легко воспроизвести.


Полгода назад за развитием больших языковых моделей следили только исследователи и ученые. Но запуск ChatGPT в конце прошлого года ударил по человечеству ракетой: теперь машины могут общаться так же, как люди. Они могут писать тексты и даже программный код в головокружительном множестве предметных областей за считанные секунды, часто на очень высоком уровне. Как показывает запуск GPT-4, они совершенствуются со стремительной скоростью, и они способны коренным образом преобразовать человеческое общество, как мало какие другие технологии, потенциально автоматизируя ряд рабочих задач (особенно среди белых воротничков), что люди ранее считали невозможным.

Многие другие компании, в частности Google, Apple, Meta, Baidu и Amazon, не слишком отстают, и их ИИ скоро наводнят рынок, привязываясь ко всем возможным приложениям и устройствам. Языковые модели уже есть в поисковой системе Bing и скоро появятся в остальных. Они будут в машине, в телефоне, в телевизоре и будут ждать на другом конце линии каждый раз при попытке позвонить в компанию. Вскоре мы увидим их в роботах.

Небольшое утешение заключается в том, что OpenAI и остальные из этих крупных компаний осознают безумный потенциал этих машин для спама, дезинформации, создания вредоносных программ, целенаправленного преследования и всевозможных других вариантов использования, которые, по мнению большинства людей, сделают мир гораздо хуже. Они тратят месяцы и месяцы на то, чтобы вручную ограничить эти возможности перед запуском. Генеральный директор OpenAI Сэм Альтман (Sam Altman) — один из многих, обеспокоенных тем, что правительства действуют недостаточно быстро, чтобы возводить заборы вокруг ИИ во имя общественного блага.

А как насчет языковой модели, которую можно построить самостоятельно за 600 баксов? Группа исследователей из Стэнфорда сделала именно это, и ее впечатляющие результаты показывают, насколько быстро весь этот сектор и его потрясающие возможности могут быстро выйти из-под контроля.

Исследовательская группа из Стэнфорда начала с языковой модели Meta с открытым исходным кодом LLaMA 7B — самой маленькой и дешевой из нескольких доступных моделей LLaMA. Предварительно обученная на триллионе «токенов», эта маленькая языковая модель имела определенные заложенные возможности, но в большинстве задач она значительно отставала от ChatGPT. Дело в том, что основная стоимость и главное конкурентное преимущество моделей GPT в значительной степени связаны с огромным количеством времени и человеческих ресурсов, которые OpenAI вложил в последующее обучение. Одно дело прочитать миллиард книг, и совсем другое — пережевать большое количество пар вопросов и ответов, которые учат этих ИИ тому, в чем будет состоять их настоящая работа.

Когда модель LLaMA 7B была запущена и работала, команда из Стэнфорда попросила GPT взять 175 пар инструкций/выводов, написанных человеком, и начать генерировать больше в том же стиле и формате, по 20 за раз. Это было автоматизировано с помощью одного из услужливо предоставленных API-интерфейсов OpenAI, и за короткое время у команды было около 52 000 примеров разговоров, которые можно было использовать для постобучения модели LLaMA. Генерация этих массовых обучающих данных стоила менее 500 долларов США.

Затем они использовали эти данные для точной настройки модели LLaMA — процесс, который занял около трех часов на восьми компьютерах с облачной обработкой A100 емкостью 80 ГБ. Это стоило менее 100 долларов США.

Затем они протестировали получившуюся модель, которую назвали Alpaca, в сравнении с базовой языковой моделью ChatGPT в различных областях, включая написание электронной почты, социальные сети и инструменты повышения производительности. Alpaca выиграла 90 из этих тестов, GPT — 89.

«Мы были весьма удивлены этим результатом, учитывая небольшой размер модели и скромный объем данных для выполнения инструкций», — пишет команда. «Помимо использования этого набора статических оценок, мы также тестировали модель Alpaca в интерактивном режиме и обнаружили, что Alpaca часто ведет себя аналогично text-davinci-003 [GPT-3.5] на различных наборах входных данных. Мы признаем, что наша оценка может быть ограничена по масштабу и разнообразию».

Далее команда сказала, что они могли бы сделать это дешевле, если бы хотели оптимизировать процесс. Также стоит отметить, что любой, кто хочет воспроизвести ИИ, теперь получил доступ к гораздо более мощному GPT 4.0, а также к нескольким более мощным моделям LLaMA, которые можно использовать в качестве основы, и, конечно же, нет необходимости останавливаться на 52 000 вопросов.


Команда из Стэнфорда опубликовала на Github 52 000 вопросов, использованных в этом исследовании, а также код для создания дополнительных вопросов и код, который они использовали для тонкой настройки модели LLaMA. Команда отмечает, что «мы еще не настроили модель Alpaca, чтобы она была безопасной и безвредной», и просит, чтобы любой, кто устанавливает ее, сообщал о проблемах безопасности и этики, которые обнаружатся.

Так что же может помешать практически любому создать собственный искусственный интеллект сейчас, за сотню баксов или около того, и тренировать по своему усмотрению? В условиях обслуживания OpenAI сказано: «Вы не можете… использовать выходные данные Сервисов для разработки моделей, конкурирующих с OpenAI». И Meta говорит, что на данном этапе разрешает академическим исследователям использовать LLaMA только по некоммерческим лицензиям, хотя это спорный вопрос, поскольку вся модель LLaMA просочилась на 4chan через неделю после ее анонса.

Еще одна группа говорит, что им удалось устранить стоимость облачных вычислений, выпустив на Github больше кода, который может работать на Raspberry Pi, и завершить процесс обучения в течение 5 часов на одной видеокарте nVidia RTX 4090.

Что все это значит? Теперь можно создавать неограниченное количество неконтролируемых языковых моделей — людьми, обладающими знаниями в области машинного обучения, которым наплевать на условия или пиратство программного обеспечения — за гроши.

Это также мутит воду для коммерческих ИИ-компаний, работающих над разработкой собственных языковых моделей; если так много времени и затрат уходит на этап после обучения, и эта работа может быть украдена за время, необходимое для ответа на 50 или 100 000 вопросов, имеет ли смысл компаниям продолжать тратить эти деньги?

А для остальных из нас: трудно сказать, но удивительные возможности этого программного обеспечения, безусловно, могут быть полезны авторитарному режиму, или фишинговым операциям, или спамерам, или любому количеству других изворотливых личностей.

Джинн выпущен из бутылки, и кажется, что его уже невероятно легко воспроизвести и переобучить. Держитесь за шляпы.

Комментарии:

Макс Пиарим
Макс Пиарим 28.08.23 08:03

прикольно

Войдите на зайт или зарегистрируйтесь, чтобы оставлять комментарии!
15
Причины роста популярности Астрономии и Космоса среди молодого поколения

Причины роста популярности Астрономии и Космоса среди молодого поколения

Астрономия и космос всегда привлекали внимание людей всех возрастов, но особенно ярко эта наука проявляется среди молодого поколения.

Астрономия и космос всегда привлекали внимание людей всех возрастов, но особенно ярко эта наука проявляется среди молодого поколения. Многие факторы объясняют популярность астрономии среди молодых людей: от увлекательных открытий в области космоса до влияния культурных произведений. Сериалы, фильмы и другие произведения искусства о космических приключениях играют значительную роль в формировании ...
25.02.24 17:55
0
1
e-Learning в цифрах: 6 общих фактов, много данных и прогнозы на ближайшее будущее

e-Learning в цифрах: 6 общих фактов, много данных и прогнозы на ближайшее будущее

e-Learning – это обучение с помощью цифровых технологий (Интернета, электронных устройств и специальных программ). Процесс можно организовать в аудиториях или удалённо, одновременно для целой группы или по гибкому графику для каждого.

e-Learning – это обучение с помощью цифровых технологий (Интернета, электронных устройств и специальных программ). Процесс можно организовать в аудиториях или удалённо, одновременно для целой группы или по гибкому графику для каждого. Ранее эта система была не популярна. Затем вспыхнул COVID-19, и все перешли на «удалёнку»: школы, ВУЗы, компании. Электронное обучение стало нужным в глобальном мас...
28.12.23 18:10
0
9
Энергорезонатор Neutrino Power Cube - электроэнергия под воздействием невидимого спектра излучений

Энергорезонатор Neutrino Power Cube - электроэнергия под воздействием невидимого спектра излучений

Следующим этапом на пути к отказу от ископаемого топлива станут, вероятнее всего, энергетические технологии, связанные с возможностью преобразования энергии полей материи Луи де Бройля, обладающих корпускулярно-волновыми свойствами, в электрический ток.

Следующим этапом на пути к отказу от ископаемого топлива станут, вероятнее всего, энергетические технологии, связанные с возможностью преобразования энергии полей материи Луи де Бройля, обладающих корпускулярно-волновыми свойствами, в электрический ток. Это одно из перспективных направлений в науке, дающее серьёзный шанс диверсифицировать способы получения электроэнергии, а более конкретно, одно и...
30.09.23 06:25
0
13
Возобновляются работы по возведению грандиозного километрового небоскреба

Возобновляются работы по возведению грандиозного километрового небоскреба

Для архитектуры Саудовской Аравии 2023 год оказался просто невероятным. Сначала страна подтвердила, что строительство 170-километрового (105 миль) здания The Line будет продолжено, затем раскрыла планы строительства кубовидной башни, способной вместить 20 зданий Empire State Buildings.

Теперь страна возобновила реализацию своего амбициозного плана по строительству нового самого высокого здания в мире - башни Джидда. С момента завершения строительства в 2010 году дубайская башня Бурдж-Халифа (Burj Khalifa), высота которой составляет 828 м (2 717 футов), остается самым высоким рукотворным сооружением в мире. Хотя окончательная высота башни Джидда пока неизвестна, но она значитель...
22.09.23 09:06
0
1
e-Learning в цифрах: 6 общих фактов, много данных и прогнозы на ближайшее будущее

e-Learning в цифрах: 6 общих фактов, много данных и прогнозы на ближайшее будущее

e-Learning – это обучение с помощью цифровых технологий (Интернета, электронных устройств и специальных программ). Процесс можно организовать в аудиториях или удалённо, одновременно для целой группы или по гибкому графику для каждого.

e-Learning – это обучение с помощью цифровых технологий (Интернета, электронных устройств и специальных программ). Процесс можно организовать в аудиториях или удалённо, одновременно для целой группы или по гибкому графику для каждого. Ранее эта система была не популярна. Затем вспыхнул COVID-19, и все перешли на «удалёнку»: школы, ВУЗы, компании. Электронное обучение стало нужным в глобальном мас...
28.12.23 18:10
0
3
Компьютерный чип со встроенной тканью человеческого мозга получает финансирование от военных

Компьютерный чип со встроенной тканью человеческого мозга получает финансирование от военных

В прошлом году ученые из Университета Монаша создали «DishBrain» — полубиологический компьютерный чип, в электродах которого в лаборатории выращено около 800 000 клеток мозга человека и мыши. Демонстрируя что-то вроде разума, он научился играть в пинг-понг за 5 минут.

Массив микроэлектродов в основе DishBrain был способен как считывать активность в клетках мозга, так и стимулировать их электрическими сигналами, поэтому исследовательская группа создала версию Pong, в которой клетки мозга получали движущийся электрический стимул, чтобы представить, на какой стороне «экрана» находится мяч и как далеко он находится от ракетки. Они позволили клеткам мозга воздейство...
23.07.23 11:58
0
2
Появилась безумно спортивная собака-робот с возможностью общения на основе GPT

Появилась безумно спортивная собака-робот с возможностью общения на основе GPT

Китайская компания Unitree открыла предварительные заказы на робота-собаку второго поколения. Go2 может следовать за вами трусцой, выполнять разные гимнастические трюки и даже разговаривать с вами через систему с поддержкой GPT, которая пишет код на лету.

Что касается основных характеристик, эта маленькая робо-собака весит около 15 кг, ростом около 40 см (16 дюймов) и примерно 70 см (28 дюймов) от носа до «хвоста». Его алюминиево-высокопрочный пластиковый корпус при необходимости может нести более половины собственного веса в качестве полезной нагрузки, и он может работать в течение часа или двух без подзарядки аккумулятора. Базовая модель за 1600...
20.07.23 15:56
0
1
Революционная система искусственного интеллекта читает мысли и создает текст без имплантов

Революционная система искусственного интеллекта читает мысли и создает текст без имплантов

Исследователи из Техасского университета в Остине создали систему ИИ для чтения мыслей, которая может считывать изображения активности мозга человека и преобразовывать их в непрерывный поток текста. Система семантического декодера может помочь людям, находящимся в сознании, но не способным говорить, например, перенесшим инсульт.

Новый интерфейс мозг-компьютер отличается от других технологий «чтения мыслей», поскольку его не нужно имплантировать в мозг. Исследователи из Университета Остина сделали неинвазивные записи мозга, используя функциональную магнитно-резонансную томографию (фМРТ), чтобы реконструировать воспринимаемые или воображаемые стимулы с использованием непрерывного естественного языка. ФМРТ дает изображения ...
02.05.23 11:08
0