Какво означават грешките на Meta Galactica за GPT-4 | Изкуственият интелект печели

Подобно на „Мислителят“ на Роден, имаше много за размисъл и мислене Страхотен езиков модел (Магистър) Озеленяване миналата седмица. Имаше мета грешки в публичната демонстрация на Galactica LLM и Stanford CRFM за първи път на стандарта HELM, който последва седмици от объркващи слухове Относно евентуално издание на GPT-4 от OpenAI някъде през следващите няколко месеца.

Онлайн разговорът ескалира миналия вторник. Това беше, когато Meta AI и Papers With Code обявявам Нов LLM с отворен код, наречен Galactica, е описан в статия Публикувано в Arxiv Като „основна езикова парадигма за науката“, която има за цел да помогне на учените за „увеличаване на информацията“.

„Експоненциалното нарастване на научната литература и данни направи по-трудно от всякога откриването на полезни прозрения в голяма маса информация“, пишат авторите на статията. Тя каза, че Galactica може да “съхранява, събира и отразява научните знания”.

Galactica веднага събра блестящи отзиви: „Отдавна не сте били толкова развълнуван от сценария на LM! И всичко е с отворен край! Истински дар за науката.“ Linxi “Jim” Fan туитнаизследовател в Nvidia AI, добави, че фактът, че Galactica е обучена на научни текстове като академични доклади, означава, че е „най-вече имунизирана“ срещу „вредителите на данни“ на модели като GPT-3, които са обучени на скриптове които са били обучени в Интернет като цяло.

За разлика от тях, научните текстове „имат аналитичен текст с неутрален тон, знание, подкрепено с доказателства, и са написани от хора, които искат да информират, а не да предизвикват напрежение. Набор от данни, роден в кулата от слонова кост“, туитира Фен.

За съжаление, туитовете на Фен не напреднаха толкова добре. Други бяха ужасени от силно ненаучната продукция на Galactica, която, подобно на други LLM, съдържаше информация, която звучеше правдоподобно, но всъщност беше грешна и в някои случаи също дълбоко обидна.

Тристан Грийн, репортер за The Next Web, чуруликам: „Пиша една дума в изскачащия прозорец на Galatica, бълваща безкраен антисемитизъм, хомофобия и мизогиния.“

Мнозина казаха, че фактът, че Galactica е толкова фокусирана върху научните изследвания, влошава погрешното й производство.

“Мисля, че е опасноМайкъл Блек, директор на Института Макс Планк за интелигентни системи, написа в Туитър, защото Galactica “генерира граматичен текст и се чувства реален. Този текст ще се изплъзне в реални научни твърдения. Ще бъде реалистичен, но ще бъде грешен или пристрастен. Ще бъде трудно да ще повлияе на начина, по който хората мислят.”

в рамките на три дни, Публичната демонстрация на Galactica изчезна. Сега, най-вече само на хартия, защита Ян ЛеКун Туитове („Демото на Galactica е офлайн в момента. Вече не е възможно да се забавлявате, като го злоупотребявате случайно. Щастлив ли сте?“) и Гари Маркъс от Бари („Галактика е опасна защото смесва факти и глупости толкова правдоподобно и широко”) – въпреки че някои посочиха, че Галактика наистина е качването е извършено лицева прегръдка

LLM стандартът на HELM се стреми да изгради прозрачност

По случайност миналата седмица Станфордският висш център за изследване на фундаментални модели (CRFM) обявявам Цялостна оценка на езиковите модели (HELM), която според нея е първа Проект за измерване на ефективността Той има за цел да подобри прозрачността на езиковите модели и по-широката категория базови модели.

Пърси Лианг, директор на CRFM, обясни, че HELM възприема холистичен подход към проблемите, свързани с производството на LLM, като оценява езиковите модели въз основа на признаването на ограниченията на моделите; в многостепенна скала; и сравнение на директни модели с цел прозрачност. Основните принципи, използвани в HELM за оценка на модела, включват точност, калибриране, устойчивост, справедливост, отклонение, токсичност и ефективност и посочват ключовите елементи, които правят модела адекватен.

Liang и неговият екип оцениха 30 езикови модела от 12 институции: AI21 Labs, Anthropic, BigScience, Cohere, EleutherAI, Google, Meta, Microsoft, NVIDIA, OpenAI, Tsinghua University и Yandex.

Той каза на VentureBeat, че Galactica скоро може да бъде добавена към HELM, въпреки че интервюто му беше само ден след пускането на модела и той все още не беше чел вестника. „Това е нещо, което ще добави към нашия бенчмарк“, каза той. „Не утре, но може би следващата седмица или през следващите няколко седмици.“

Сравнителният анализ на моделите на невронни езици „е от решаващо значение за насочването на иновациите и напредъка както в индустрията, така и в академичните среди“, каза Ерик Хорвиц, главен научен директор на Microsoft, пред VentureBeat по имейл. „По-изчерпателните оценки могат да ни помогнат да разберем по-добре къде се намираме и най-добрите насоки за напред.“

Слуховете се въртят около GPT-4 на OpenAI

Усилията на HELM за сравняване ще бъдат по-важни от всякога, изглежда, тъй като слуховете за GPT-4 изданието на OpenAI достигнаха нови висоти през последните няколко седмици.

Имаше вълна от драматични туитове от “GPT-4 ще ги смаже всички“И”GPT-4 променя играта” на мен “Всичко, което искам за Коледа, е GPT-4 достъп.”

Предполагаеми коментари в Reddit от Игор Биков Споделено в публикация на Substack (С предупреждението „приемете го с (голяма) резерва“) Той прогнозира, че GPT-4 ще има „ужасно много параметри“, които ще бъдат много малко, ще бъдат мултимодални и вероятно някъде между декември и февруари.

Това, което наистина знаем е, че както и да изглежда GPT-4, той ще бъде пуснат в среда, в която големите езикови парадигми все още не са напълно разбрани. Загрижеността и критиката със сигурност ще последват.

Това е така, защото опасностите от големите езикови парадигми вече са добре документирани. Когато GPT-3 излезе през юни 2020 г., не отне много време да се нарече “подпухнал. Година по-късно в За опасностите от случайните папагали: Могат ли лингвистичните модели да бъдат твърде големи? Написано от Емили М. Бендер, Тимнет Гебру, Анджелина Макмилан-Майор и Маргарет Мичъл. И кой би могъл да забрави миналото лято, с цялата реклама около него ламбда?

Какво означава всичко това за GPT-4, кога беше пуснат? Освен неясните философски коментари от Иля Сутскфер, старши научен сътрудник в OpenAI (като „Възприятието е направено от сънищата“ и „Да работиш върху AGI, без да чувстваш, че AGI е истинската опасност“), няма какво да се продължи.

Междувременно, докато светът на изкуствения интелект – и целият свят, наистина – очаква пускането на GPT-4 едновременно с вълнение и безпокойство, изпълнителният директор на OpenAI Сам Алтман споделя… зловещи мемета?

Като поляризиращ Илон Мъск поема управлението на една от най-големите и важни социални мрежи в света; Преминаването през технологичните новини от тази седмица включва думи като „поликура“ и „прематалист“; И един от най Финансирани стартиращи фирми за изкуствен интелект и безопасност Той получи по-голямата част от финансирането си от опозорения FTX Sam Bankman-Fried, така че може да има урок.

Това е, може би в резултат на погрешните стъпки на Meta Galactica, лидерите на Open AI и цялата общност на AI и ML като цяло ще се възползват от възможно най-малко общи шеги и лекомислени публикации. Какво ще кажете за един трезв, сериозен тон, който признава и отразява огромните глобални последици, както положителни, така и отрицателни, от тази работа?

В крайна сметка, когато статуята на Мислителя първоначално е създадена като част от Портите на ада, Роден означава число Да представя Данте, размишляващ върху съдбата на прокълнатия народ. Но по-късно, когато започва да създава независими версии на статуята, той мисли за различни интерпретации, представящи борбата на човешкия ум, докато се движи към творчеството.

Тук се надяваме, че големите езикови модели ще се окажат последни – мощен творчески инструмент за технологиите, за бизнеса и за обществото като цяло. Но може би, просто може би, освен шегите, които ни карат да мислим за първото.