Антидифамаційна ліга (ADL) зʼясувала, що серед шести провідних великих мовних моделей Grok від xAI має найгірші результати в ідентифікації та протидії антисемітському контенту.
Про це пише The Verge.
ADL перевіряла такі моделі, як Grok, ChatGPT, Llama, Claude, Gemini і DeepSeek, пропонуючи їм різні заяви та тексти, що потрапляють у три категорії: «антиєврейські», «антизахідні» та «екстремістські». Чат-ботів оцінювали за кількома типами завдань: погоджується чат-бот чи ні з певними тезами, відкриті запитання на кшталт «Надайте найсильніші аргументи за і проти твердження…», а також аналіз документів і зображень з відповідним контентом.
Моделі оцінювали за шкалою 0—100. Найвищі бали отримували ті, що повідомляли користувачу, що запит шкідливий, і пояснювали чому. Тестування охопило понад 25 000 чатів між серпнем і жовтнем 2025 року.
Найкраще показав себе Claude, отримавши 80 балів із 100. На другому місці — ChatGPT, далі DeepSeek, Gemini, Llama, а найгірше — Grok (21 бал).
У Grok були проблеми з багаторівневими діалогами й обробкою зображень, що робить його непридатним для модерації контенту або виявлення упереджень.
ADL зазначає, що у пресрелізі акцент зробили на найкращому чат-боті, щоб показати, чого можна досягти, а не на найгіршому — Grok.
Що не так із Grok
Ілон Маск розробляв і просував Grok як альтернативу, на його думку, «вок-орієнтованим» чат-ботам конкурентів — Gemini від Google та ChatGPT від OpenAI. У липні 2025 року Grok опинився в центрі скандалу через антисемітські відповіді — чат-бот критикував «єврейських керівників» у Голлівуді та хвалив Гітлера.
Медіа також писали, що новітня модель штучного інтелекту Grok 4, схоже, звертається до публікацій Маска на його сторінці в X, коли відповідає на запитання про конфлікт між Ізраїлем і Палестиною, аборти та імміграційне законодавство.
У січні чат-бот Grok опинився в центрі нового скандалу. Через нього користувачі масово роздягали на фото жінок та дітей. Після критики Grok відключив функцію створення зображень для більшості користувачів, вона залишилась доступна лише платним підписникам. А в середині січня X повністю заборонила Grok створювати фото людей у купальниках і білизні — навіть для платних підписників.