Искусственный интеллект и авто-определение тональности в YouScan

Мы, вместе с нашими коллегами из SemanticAnalyzer приняли участие в конференции, посвященной искусственному интеллекту — Artificial Intelligence Ukraine’14 .

В этот раз конференция проходила в Харькове и собрала огромное количество слушателей и докладчиков из Украины, России и других стран.

Конференция стала отличным поводом для общения и обмена опытом — в этом году было много докладчиков из области компьютерной лингвистики, анализа данных и прикладной математики.

В нашем докладе Леонид Литвиненко, CTO YouScan, вместе с Дмитрием Каном, основателем SemanticAnalyzer, рассказали о системе определения тональности SentiScan, которую мы разработали и запустили в прошлом году, и которая уже больше года помогает нашим клиентам анализировать упоминания в социальных медиа.

Леонид Литвиненко, СTO YouScan

Мы рассказали о том, почему анализ тональности исключительно методами машинного обучения не дает достаточного гарантированного качества, и что более важно, не позволяет определять тональность относительно объекта.

Мы осветили проблематику определения тональности, раскрыли аспекты реализации и рассказали с какими проблемами встречаемся в продакшне. Кроме того, поскольку качество — это неотъемлемая часть наших продуктов мы рассказали как наряду с известными метриками precision & recall используем более продвинутые, такие как moving average precision & moving average recall, также sampling по наиболее частотным n-граммам.

Для системы определения тональности SentiScan мы разработали уникальную систему гарантии качества, которая включает набор эталонных данных и сервис для оценки метрик качества, а также для анализа примеров неправильного определения тональности. Мы используем A/B тесты для конфигурации алогоритмов, которые позволяют добиться оптимального качества: учет заголовков, смайлов, слов-усилителей и т.д. Система SentiScan получает поток исправлений тональности от пользователей YouScan в режиме реального времени, на основе которого производятся регулярные улучшения алгоритма.

Организаторы AI Ukraine собрали отличную аудиторию, вопросы были очень высокого уровня. Например, интересовали особенности реализации нашего синтаксического уровня и возможность комбинирования подходов основанных на правилах с классическими подходами машинного обучения.

В докладе мы постарались не только осветить теоретическую часть задачи анализа тональности, но и показать как это работает в масштабе обработки миллионов упоминаний в сутки, и какие смежные задачи, связанные с этим, возникают.

Слайды нашей презентации можно посмотреть здесь, а видео — здесь.

Спасибо организаторам AI Ukraine за отличную возможность поделиться своими знаниями и пообщаться с огромным количеством специалистов в области искусственного интеллекта. Надеемся встретится снова в следующем году!