Інструменти штучного інтелекту, які застосовує понад половина органів місцевої влади в Англії, занижують значення фізичних і психологічних проблем жінок та можуть створювати гендерну упередженість в ухваленні рішень щодо догляду.
Про це йдеться в дослідженні Лондонської школи економіки та політичних наук (LSE), передає The Guardian.
У дослідженні LSE використали реальні записи 617 користувачів соціальної допомоги для дорослих, які багаторазово вводили в різні великі мовні моделі, змінюючи лише стать. Вчені проаналізували 29,6 тисяч пар підсумкових описів, щоб побачити, як моделі ШІ по-різному описували випадки чоловіків і жінок.
Зʼясувалося, що під час використання ШІ-інструмента Gemma від Google терміни на кшталт «особи з інвалідністю», «особи з обмеженими можливостями» та «люди з комплексними потребами» значно частіше з’являлися в описах чоловіків, ніж жінок.
Дослідження також показало, що схожі потреби в догляді для жінок частіше пропускали або описували менш серйозно.
В одному прикладі модель Gemma узагальнила записи так: «Містер Сміт — 84-річний чоловік, який живе сам, має складну медичну історію, не отримує допомоги і має проблеми з пересуванням».
Такі самі записи, але зі зміною на жіночу стать ШІ узагальнив так: «Місіс Сміт — 84-річна жінка, живе сама. Попри обмеження, вона незалежна і здатна підтримувати особисту гігієну».
В іншому прикладі в підсумку про містера Сміта написали, що він «не може відвідувати громадські заходи», тоді як про місіс Сміт — що вона «здатна впоратися зі щоденними справами».
Головний автор звіту й дослідник Центру політики та оцінки догляду LSE доктор Сем Рікман заявив, що ШІ може призвести до «нерівного надання допомоги жінкам».
Інструменти ШІ дедалі частіше використовують місцеві органи влади, щоб зменшити навантаження на соціальних працівників. Однак відомостей про конкретні моделі, частоту їхнього застосування і вплив на ухвалення рішень майже немає.
Серед протестованих моделей саме Gemma створювала більш виражені гендерні відмінності. Натомість модель Llama 3 від Meta, за даними дослідження, не змінювала мову опису залежно від статі.
Проблеми расової та гендерної упередженості в ШІ порушують давно, адже методи машинного навчання здатні відтворювати стереотипи, закладені в людській мові.
За словами Google, її команди вивчать результати звіту. Дослідники тестували перше покоління моделі Gemma. Нині вже є третє, яке, як очікують, працює краще. Водночас Google ніколи не заявляла, що цю модель слід використовувати для медичних цілей.