24 декабря 2021 г.

Искусственный интеллект и поиск экспертов

Искусственный интеллект и поиск экспертов

На страницах журнала "БИТ" опубликована статья генерального директора DZ Systems Дмитрия Завалишина "Использование технологий искусственного интеллекта для поиска экспертов". 

Что такое искусственный интеллект? Это система, которая, опираясь на большой массив данных, пытается выявить в нем неочевидные внутренние корреляции или какие-то факты, которые в них присутствуют, но навскидку не видны.

Совершенно не факт, что эти корреляции или сущности там присутствуют. Во-первых, может выясниться, что информация, которую мы получили, неполная. Во-вторых, может выясниться, что она очень даже полная. Получается очень плоский массив данных, в котором невозможно выявить структуру, и, таким образом, является плохим входным массивом для проведения Big Data- анализа. По этой причине мы сформулировали то, что у нас называется Лаборатория искусственного интеллекта, потому что очень трудно в начале проекта давать какие-то входные гарантии.

Мы сейчас пытаемся работать в модели, когда у нас есть бесплатная для нашего контрагента фаза, на которой мы делаем быстрый простой анализ. Очень часто это вполне возможно. Формулируем потенциальные ТЗ не в режиме «мы предскажем на столько-то процентов», а в режиме «бизнес-цель у заказчика примерно такая». И мы к ней движемся. Насколько искусственный интеллект будет управлять жизнью человека?

Это действительно довольно большая проблема. Она выглядит иначе, чем её себе представляют. Не в виде какого-то злобного искусственного интеллекта, который будет рулить всей жизнью людей, а в совершенно другом формате. Давайте посмотрим на работу, например, таксопарка, который «уберизован» через какую платформу. Сегодня почти все, что происходит в такси, это уже практически полная «уберизация». Понятно, что другого уже не будет.

Основная цель любого Uber-брокера, который занимается брокеражем между клиентами и поставщиками, очень простая: повысить финансовую эффективность этого бизнеса. Как это делается? В том числе с помощью систем искусственного интеллекта, который анализирует поведение, которое анализирует модель заказов, который делает предикативные схемы, которые, например, рекомендуют водителям выезжать в определённые места, чтобы получить больше заказов, определённым образом структуризует подачу машин, раздачу заказов по водителям.

Очевидно, что эти системы внутри себя неизбежно оценивают качество работы каждого сотрудника. Прежде это тоже происходило, но люди, которые оценивали качество работы, принимали во внимание какие-то вторичные факторы. Искусственному интеллекту абсолютно все равно, что там происходит, какие там люди, какие у них проблемы. Он довольно жёстко выдерживает стандарты качества, и давит в этом смысле на сотрудников, на саму модель, выдавливая из неё неэффективных людей.

Такова реальность. Это происходит и будет, похоже, происходить. Если мы не введем какие-то модели, которые станут этому противодействуют, то гиперкапитализм будет только усиливаться. Не знаю даже, стоит ли про это говорить, но серьезная проблема, с моей точки зрения, существует. В известной степени допустимо, что можно делать системы, которые не могут на 100 % решать задачу, да и зачастую это просто невозможно. Вообще системы на базе искусственного интеллекта, они такие стохастические, вероятностные по своей сути. Довольно давно существуют технологии, которые позволяют классифицировать тексты. То есть отвечать на вопрос, про что этот текст.

Это не такая банальная задача, как может показаться, по массе причин. Начиная с вопроса, что такое классификация вообще, и что является ответом на вопрос, про что текст. Есть достаточно банальный подход к этой теме. Берётся тематическая классификация Википедии и по ней делается классификация тематик текстов. Существует много технологий, которые это делают. Основная модель применения этой технологии выглядела как усиление качества поиска. Когда мы ищем в интернете текст, то зачастую могли бы сформулировать, или система, по крайней мере, могла бы выбрать, в ответ на запрос сказать: я нашла 5 000 000 текстов, из них 2,5 миллиона про другое. Например, пишем запрос «тополь». Система говорит: у меня есть 2,5 миллиона ответов про деревья, а ещё 2,5 млн. ответов про вооружение. Тебе в какую сторону пойти? Направо или налево? Такие методики анализа текста с помощью искусственного интеллекта применялись в области поиска.

Модель, которую мы сейчас прорабатываем и рассматриваем, её технологии применения иная. Дело в том, что, если взять большой массив текстов, это могут быть статьи в интернете, это могут быть статьи в научных журналах, где качество контента более стабилизированное, контент отобранный, ему можно в большей степени доверять. По анализу тематики статьи можно провести следующую фазу анализа, а именно: собрать авторов статей, отобразить их на тематики, и после этого получившийся массив кластеризовать.

Это даст нам ответ на интересный вопрос, а про что чаще всего пишет этот автор. Это позволяет выявить профессионалов в определённых областях. Причем глубина этого выявления может быть довольно высокой. Опять же поскольку авторы, как правило, профессионалы не только в одной области, то мы можем выявить такое дерево профессиональных интересов, и это позволяет выполнять обратную задачу. Существует довольно широкая потребность в том, чтобы искать профессионалов-экспертов под некоторый вид деятельности.

Очень часто эксперты не нужны на 100 % времени. Нужно привлечь к проекту на какое-то определённое время. Потому что одна из главных задач любого проекта - поиск профессионалов, которые могут принести в него ключевые и/или специальные знания. Такие специалисты могут быть сотрудниками компании или привлечёнными консультантами, в любом случае, они обеспечивают привнесение в проект экспертных знаний.

Сегодня поиск таких экспертов зачастую превращается в обзвон друзей или знакомых, попытки прочесть тысячи статей в Интернете. Результат этих действий в изрядной степени стохастичен. В то же время, существует методика анализа публикаций, которая может быть использована для выявления степени профессионализма того или иного эксперта по определённой теме. Эту методику можно использовать как один из этапов работы по поиску ключевых и уникальных специалистов. На базе этой технологии, нам кажется, что возможно построить методологию, мы сейчас этим занимаемся, которая позволила бы по запросу выявлять людей, которые в состоянии дать экспертное заключение или экспертно поучаствовать в проекте по определённой тематике.

Дмитрий Завалишин

    все записи