Российские эксперты рассказали, почему ИИ начали заменять сотрудниками из Индии

Директор компании «Биорг» по GR Илья Веригин говорит, что нехватка данных — основная проблема стартапов в сфере ИИ и на таком фоне есть примеры мошенничества: за ИИ выдают работу людей. Последний фейк – работа ИИ в программе бесконтактной оплаты «Взял и пошел» (Just walk out) от Amazon. Искусственный интеллект якобы анализировал показания камер и датчиков, определял, что взял клиент в магазине и списывал деньги с его карты. На самом деле, данные обрабатывали люди из Индии.

«Значит ли это, что у Amazon нет своих разработок? Подобные новости не отменяют важной связки ИИ с краудсорсингом. Причина в том, что здесь и сейчас надо решать реальные задачи, с которыми чистые технологии часто не справляются», — предположил Веригин.

Веригин приводит еще примеры, когда разработчики схитрили. В 2019 году индийский стартап Engineer.ai привлек для «автоматической» генерации приложений людей. В 2023 году разоблачили Presto Automation Inc.: ИИ-заказы в ресторанах обрабатывали удаленные сотрудники. По наблюдениям MMC, около 40% европейских ИИ-стартапов не используют ИИ, приводит данные эксперт.

Как рассказал RB.RU эксперт Центра искусственного интеллекта «СКБ Контур» Дмитрий Иванков, в случае с Amazon ИИ анализировал корзину товаров по камерам, чтобы потом составить список продуктов и их стоимость, но делал это плохо, не было уверенности в распознавании объектов, поэтому в режиме реального времени работу ИИ проверяли люди-разметчики.

Действительно, подобные ситуации случались и раньше, говорит сооснователь и генеральный директор компании «АгроСигнал» Владимир Коршунов. Это связано не с желанием кого-то обмануть, а скорее с нестабильностью технологии.

«Текущий уровень развития технологий искусственного интеллекта характеризуется высокой ошибочностью. Многие проекты сталкиваются с проблемой, когда система работает, но ее нельзя выпустить из-под контроля человека. Поэтому компании привлекают низкоквалифицированные кадры. Я знаю примеры проектов, где планировали создать рабочий продукт за год, но в итоге они бесконечно дорабатывают его», — рассказал эксперт.

По словам Коршунова, нестабильность технологии – это значимый тренд в сфере искусственного интеллекта, который говорит о том, что применимость ИИ в реальном бизнесе на данный момент невысока. Эксперт предположил, что падение акций Nvidia подтверждает этот тренд.

Как понять, что внедрен ИИ?

Как пояснил генеральный директор Smart Engines, доктор технических наук Владимир Арлазаров, оценить, есть ли у компании на самом деле свои наработки в искусственном интеллекте, можно тремя способами. Первый — самый ресурсозатратный — это обратиться к консалтинговой компании и заказать due diligence. Консалтеры с привлечением экспертов выясняют, что за технологии используют компании и существуют ли эти технологии вообще.

Второй способ — более доступный — привлечь эксперта из научной среды, который работает в сфере искусственного интеллекта. Ученого можно легко найти на сайтах университетов и институтов, а по публикациям понять, в какой именно области он работает и обладает ли релевантной экспертизой.

Третий способ — самый бюджетный — изучить результаты интеллектуальной деятельности, так называемые РИДы, самостоятельно. К ним относятся российские и, в особенности, американские патенты, так как последние значительно сложнее получить, публикации сотрудников в высоко рейтинговых журналах и сборниках конференций. Важно учесть, чтобы у авторов статей имелась связь с компанией и в работе большинство авторов были из команды разработчика. Нередко бывает так, что компания хвастается наличием экспертов, но это, к сожалению, не говорит о том, что эти эксперты сделали что-то непосредственно для этой компании.

• Стоит исключить из рассмотрения статьи, которые опубликованы на площадках типа arXiv, PubMed, так как они еще не прошли рецензирование научным сообществом и результаты их могут быть сомнительны.
• Арлазаров напоминает, что работающий ученый в среднем публикует 5-6 статей в год, а активный ученый, который руководит группой, публикует порядка 15-20 работ — это норма для ИИ-отрасли. Для оценки качества работы нужно посмотреть квартили — это сделать можно в бесплатном режиме на сайте Scimago.com. Самые престижные журналы относятся к первому и второму квартилям или, иначе говоря, Q1, Q2.
• Есть несколько способов, как оценить престижность конференции, наше государство ориентируется на австралийскую методику. В соответствии с ней топовыми конференциями в области ИИ являются конференции А звезда, А, затем следуют B, C и D.

Дмитрий Иванков из «СКБ Контур» добавляет, что не всегда легко оценить продукты и услуги компании, чтобы выявить собственные разработки на базе ИИ. Но в некоторых случаях это вполне возможно.

«Например, если приложение предлагает сгенерировать ваш портрет в заданной стилистике в течение 5 секунд, то вряд можно предположить, что это успеет сделать живой человек, а не ИИ», — сказал эксперт. Также в подтверждении фактов использования ИИ помогает поиск патентов, зарегистрированных на компанию.

Веригин из «Биорга» считает, что оценка патентов и статей в известных журналах не всегда правдива. Многие стартапы, регистрируя любой новый MVP (продукт, который может быть даже не нужен рынку), завышают свою оценку, раздувая ее стоимостью нематериальных активов, для скорейшей продажи бизнеса.

Как еще узнать, используется ли ИИ?

Руководитель отдела инноваций EdgeЦентр Евгений Морозов, считает, что сейчас довольно сложно определить, что используется для ответов: ИИ или человек, но есть косвенный признаки, которые могут вывести на чистую воду разработчика.

«Если есть информация о том, что поток запросов в систему очень высокий, то очень низкая вероятность того, что используется человеческий труд, даже низкооплачиваемый. Дело в том, что человеческий ресурс плохо масштабируется. Новых сотрудников нужно искать и обучать. К тому же человек может уйти в отпуск или попросту заболеть. В отличие от человека, ИИ может работать круглосуточно без перерывов и отпусков, что делает его более предпочтительным для обработки большого количества запросов», — рассказал Морозов. 

Также определить наличие ИИ могут помочь детекторы ИИ, которые только начали появляться на рынке.

Дополнительно можно попробовать поискать признаки «человечности»: несовершенства текста. Например, ошибки, нестандартный порядок слов. Люди часто допускают грамматические ошибки или используют нестандартные выражения, что может быть индикатором того, что текст написан человеком. ИИ, напротив, обычно генерирует более структурированные и грамматически правильные тексты.

«Но следует понимать, что ИИ постоянно развивается и отличить его от человека становится все сложнее. Современные ИИ-системы обучаются на огромных объемах данных и могут имитировать человеческую речь с высокой степенью точности», — пояснил специалист.

Руководитель отдела разработки Content AI Александр Субботин рассказал, что в сегменте интеллектуальной обработки документов определить, использует ли компания ИИ, можно с помощью любого realtime-сценария с пакетной обработкой: когда в ходе демонстрации в систему загружается не один заранее заготовленный документ, а сразу пачка из нескольких десяткой документов разного формата — актов, счетов, отчетов. При наличии ИИ они обрабатываются в моменте и с высокой скоростью, говорит специалист.

«Если решение касается автоматизации или аналитики данных, то лучше всего сделать пилотный проект на своих данных, а до этого проанализировать деятельность компании: есть ли у нее реальные внедрения, какого масштаба и какой результативности», — советует Субботин.

Искусственному интеллекту нужны люди

Директор компании «Биорг» по GR Илья Веригин отмечает, что связка ИИ и людей — самая передовая практика для машинного обучения, когда нужен огромный объем размеченных данных, и для контроля ошибок ИИ.

«На первых этапах данные размечают программисты, но с ростом бизнеса приходится искать другие решения. Часто для разметки применяют краудсорсинг, множество удаленно работающих людей, которые обрабатывают данные через «облако». Одна из крупнейших подобных платформ в мире — Remotasks, которой пользуются Open AI, Tesla и другие компании, нуждающиеся в большом объеме данных. Свой краудсорсинг есть у Google, Amazon и других», — рассказывает эксперт.

Веригин опровергает низкую квалификацию краудсорсеров.

Эксперт говорит, что, как правило, ИИ-решения применяют для типовых процессов автоматизации, которые последовательны и алгоритмичны.

«Есть компании, развивающие конкретный продукт (например, сканер, умеющий распознавать 5 видов паспортов), а есть те, кто реализует большие проекты, часто уникальные. В обоих случаях ИИ могут дополнять люди. Одни проверяют неуверенно распознанную сумму НДС перед загрузкой в 1С, а другие –чертеж конструкторской детали для атомной станции», — заключил специалист.

Как инвесторы тестируют стартапы

Основатель аналитической компании Dsight Арсений Даббах говорит, что не сталкивался со случаями откровенного обмана, но стартапы сплошь и рядом приклеивают «лейбл хайповой технологии» к своим продуктам для повышения интереса.

Если стадия достаточно продвинутая, то технический DD выявит такое несоответствие, но на ранней стадии все стартапы говорят, что у них ИИ, но, как правило, у всех он «либо опенсорсный или сторонний для прототипа продукта».

«На этой стадии не так важна техническая составляющая за исключением deeptech проектов, которые фокусируются на патентуемых технологиях», — рассказал эксперт.

Как пояснил директор по стратегии ИК «Финам» Ярослав Кабаков, перед инвестированием в стартапы с использованием ИИ, как правило, проводится комплексный технический аудит для подтверждения реальности представленных технологий.

В этом процессе включены следующие шаги:

• Тернинг-тесты: тест Тьюринга для оценки способности алгоритмов выполнять сложные задачи самостоятельно, без человеческого вмешательства. Это позволяет выявить, насколько эффективно ИИ решает поставленные задачи.
• Интервью с технической командой: проводятся интервью с разработчиками и инженерами, чтобы понять структуру и детали работы ИИ, а также проверка их компетенций и опыта.
• Код-ревью и анализ архитектуры системы: осуществляется детальный анализ исходного кода и архитектуры ИИ-системы. Это помогает выявить недостатки или несоответствия в реализации, а также оценить масштаб решаемых задач.
• Анализ производительности и логов: изучаем цифровой след ИИ-разработок, анализируя логи, метрики и данные о производительности. Это помогает проверить соответствие заявленным характеристикам и выявить возможные расхождения, где могут быть замешаны люди.
• Тестирование на больших объемах пользовательских данных: проведение анализа поведения ИИ на реальных данных позволяет оценить, как система справляется с задачами в условиях реального мира. Пользовательские отзывы также играют важную роль в понимании возможностей продукта.
• Сравнение демонстраций с реальным использованием: сравниваются результаты демонстраций продукта с его практическим использованием. Это позволяет обнаружить, если ИИ работает иначе в реальных условиях без вмешательства человека.
• Скрытое тестирование: проводятся «тайные закупки» или другие виды скрытого тестирования, чтобы убедиться, что продукт функционирует так, как заявлено. Этот метод является важным для выявления подмены ИИ и подтверждения реальности представленных возможностей.

Фото на обложке: ZinetroN / Shutterstock