Правовой аспект (для которого точное определение "ИИ" не важно): за принятое и реализованное решение всегда отвечает человек. Если тебе камера сказала, что узнала опасного преступника, ты его рраз -- и застрелил (или там посадил в тюрьму), поздравляю тебя, ты убийца (или там похититель человека). Если твой "ИИ-антифрод" счёл мошенника честным клиентом или наоборот, поздравляю -- ты потерял деньги или клиента. Далее везде (кроме Есино), и тут совершенно неважно, ориентируешься ты на подсказку ИИ, карты Таро, внутренности жертвенных животных, гороскоп из газеты, бросаешь монетку, или там у тебя традиционный тупой компьютер "не пускает ввести ваши данные, вы что не видите, мущщина, мы не можем дать вам справку, у нас программа не пускает!".

Бывает, что произвольные человеческие решения не нарушают чужих прав. Прайс-лист на свои услуги (или таблицу скидок) я могу выдумать из головы, могу достать скриптом из /dev/urandom, а могу поручить ИИ, почему бы и нет. Что-то для себя продавать и покупать на бирже -- ну, почему бы не ИИ, по крайней мере мы экономим жертвенных животных и стимулируем развитие хардвера. Пока последствия решений несёт именно тот, кто положился в этом месте на ИИ -- у меня вопросов нет. (Внимание, это не описание юридической практики современного мира! Оба моих примера сейчас местами не работают: за неправильные скидки запросто припаяют дискриминацию, а за неправильную биржевую торговлю -- "спуфинг" и прочие прелести Додда -- Франка).

Бывает, что от произвола мы как раз хотим избавиться: представим имущественный спор между двумя людьми, где один судья посчитал бы, что "Вася -- уважаемый член общества и не стал бы лгать ради такой ничтожной суммы, а Петя -- нищеброд-кверулянт", а другой посчитал бы, что "Вася -- кровопийца-олигарх, а Петя -- честный труженник", и эти идеи повлияют на судебное решение. Нормальный судья должен хотя бы стараться избегать таких штук, и, разумеется, нужно сбивать ещё на взлёте попытки "институциализировать" такие вещи, типа вот для начала мы скормим ИИ биографии участников процесса, и он посчитает коэффициент честности труженика и степень кровопийства (да, пример звучит смешно, но в уголовном-то процессе такие поползновения реальны, слышал про идею отдать ИИ подсчёт вероятности повторных правонарушений). Но тут для меня опять же формально неважно, прислушался судья к ИИ или прочитал в гороскопе, что "Скорпионы злобне, скрытне, коварне", или, может, на френологические шышки посмотрел.

Инженерный аспект: тут я бы определил интересный мне аспект ИИ как "чёрно-ящичность" программного продукта, проистекающую от наличия набора данных, созданного с помощью автоматического "обучения"/"тренировки"/"анализа". Работает эта иишница вероятносто, не в том смысле, что есть определённый шанс, что кто-то сделал ошибку (он всегда есть), а в том, что если всё сделали правильно и идеально, всё равно эта штука реалистично может разглядеть не то и среагировать не так. Ну, нашлась ошибка, давайте расширим набор исходных данных (если у нас нейросеть должна отличать котика от человека, натренируем её на людях усатых-полосатых, и так далее). Я тут могу быть очень фактологически наивен, поскольку в жизни использую это "определение" для поиска областей, в которых я НЕ ХОЧУ работать.

Не вижу никаких проблем, если это используется в качестве "синей изоленты" (как некогда скрипты на Perl): приехал какой-то набор данных, нужно срочно достать оттуда что-нибудь осмысленное, напишем скрипт натравим нейросеть, потом будем разбираться с полнотой и аккуратностью, а пока поставщику данных напишем письмо, что мы из вашей ерунды ухитрились кое-чего достать, но вообще давайте договоримся насчёт форматов и типов, документируем... Или там в логах своей системы выделим самое подозрительное, на что глянуть в первую очередь...

Правда, такая "синяя изолента" может затушевать проблему, которую по-хорошему надо решать систематически (т.е. back pressure на поставщика данных в сторону приведения их в порядок уменьшается, мы ведь можем добавить ещё перлоскриптов, потом ещё и ещё).

Есть ниша у таких "чёрных ящиков" и в области удобства и лёгких путей: когда я могу что-то детерминированно понажимать, а могу сказать "окей гугл, запусти гитарный тюнер". Но тут уже начинаются проблемы: из-за того, что "тяжёлым" путём пользуются реже, он не проверяется, и может внезапно оказаться недоступным, когда "черный ящик" подведёт. Логинился две недели по отпечатку пальца, пароль забыл, а теперь у меня палец поранен и войти не могу -- довольно типовой сценарий (местами с этим борются, вот мессенджер Signal, если его настроить на логин по отпечатку, будет периодически спрашивать "а пин-код вы помните? давайте проверим").

В общем, решение с "чёрным ящиком" внутри, с моей точки зрения, обязано обеспечивать (1) наличие детерминированного "запасного выхода", с процедурами (программными, административными или смешанными), которые обеспечивают возможность им воспользоваться, (2) ограничение максимальных потерь, если что-то пойдёт не так (одно дело "окей гугл покажи мультик про простоквашино", другое "окей амазон хочу собрание сочинений Ленина", третье "окей райффайзен давай возьмём в кредит сто тысяч баксов и отправим нигерийскому принцу"), (3) масштабирование "запасных путей" и "ограничения потерь", если в "чёрном ящике" что-то пойдёт не так МАССОВО. "Обязано" тут в том смысле, что если оно этого не делает, я им пользоваться не буду. А если его мне навязывают, мы вступаем в правовую область, про которую см. выше.