ПИФИЯ

Cимбиоз математики, количественных методов и работы кода для борьбы с фейками в кибер-пространстве.

Что такое ПИФИЯ?

Платформа для проверки информации в сети; мультиязычное веб-приложение, анализирующее атрибуцию и семантику контента, дающее оценку его правдивости.

ПИФИЯ будет анализировать как тексты (например, новостные ленты), так и комментарии пользователей в социальных медиа, выдавая результат в виде простых для понимания чартов.

Информационный шум

Объём информации в мире возрастает ежегодно на 30%. У каждого потребителя контента уже сейчас есть "своя информационная вселенная", которая влияет на его поведенческий патерн при принятии решений.

Cоцмедиа — место, где комментарии, мнения и дискуссии переплетаются со спамом, треш-сообщениями и пропагандой (любого рода).

Ролик YouTube с миллионом и более просмотров может собирать более десятков тысяч комментариев. Прочитать и проанализировать эти комментарии требует колоссальных человеческих ресурсов и времени.

Как должна быть устроена аналитика?

MVP

Полу-ручная обработка комментариев/текстов по ключевым словам и выводом чартов.

Работающий сервис

Автоматическая аналитика комментариев с интерпретацией полученных данных и чартами аналитики для визуализации комментариев.

Этапы разработки MVP

Сбор данных;Парсинг данных по ссылке YouTubeПарсинг комментариев 1ого уровня (без вложений и ответов) Сбор имен (ник-нейм) комментаторов Сбор тайм-кодов в комментариях; Чтение данных методом веб-скрейпинга (web scraping) из YT, FB, IG, TW, Twitch Парсинг комментариев глубже 1ого уровня (вложения, ответы и т.д.) Сбор статистики по комментариями: дата публикации, кол-во лайков и комментариев к комментарию; Аналитика; Определить тональность комментариев (классификация на 3 класса: негативный, позитивный, нейтрал). Бинарная классификация комментариев на Спам/не спам. Очистка комментариев, состоящих только из смайлов. Кластеризация комментариев с простыми алгоритмами: TF-IDF, LDA, wor2wec и пр. Выдача топ-10 слов, встречающихся в каждом кластере. Выдача топ-10 наиболее характерных комментариев из каждого кластера. Определить полезные (со смыслом) и треш-комментарии. Считать кол-во упоминаний имени креатора (блогера); МИНИМУМ +. Определять степень тональности (классифицирование тональности по шкале от 0 до 5 или до 10). Возможность фильтрации комментариев по релевантности к заданному параметру (тематика, бренд, имя, и пр.). Кластеризация комментариев с использованием эмбеддингов (что-то из fasttext, Bert, Deep Pavlov + Keras). Момент наступления пика полезных и треш-комментариев. Экспорт отчета в таблицы (гуглдокс, эксель, и пр) для возможности сравнения динамики по одному блогеру.; База данных; Таблица данных. Каждый факт анализа должен сохраняться в отдельном контейнере с указанием даты анализа;-; Визуализация;Визуализация в excel/веб-странице. Основные технические данные в виде цифр: Кол-во подписчиков канала, общее число комментариев под постом (1 уровень), общее общее кол-во комментаторов, лайки, дизлайки, просмотры, дата публикации (дата и сколько прошло времени, например, 400 дней назад). Тональность: круговая диаграмма. Топ слов: линейная диаграмма. Топ тайм-кодов в комментариях 1 уровня: линейная диаграмма. Диаграмма фиксированных слов: Лайк, дизлайк, отписка, спасибо, говно. Топ комментаторов по кол-ву комментариев в ролике: линейная/круговая диаграмма. Показать разбивку по кол-ву слов в комментарии: круговая диаграмма, кол-во секторов=4: 1 слово, 2-10 слов, 11-20 слов, более 21 слова. Смайлики и предлоги не слова. Диаграммы интерактивны: при клике на данные переход на следующий уровень данных с показом соответствующих комментариев и их авторов. Мин. 50 шт. Соотношение просмотров к общему числу комментариев; МИНИМУМ +. Визуализация на веб странице. Синхронизация с Google Data Studio (). Общее число комментариев (2 уровень). Топ комментариев по кол-во лайков. Топ комментариев по кол-ву комментариев. Диаграмма со шкалой времени, на которую наложена информация о кол-ве комментариев с разделением последней на полезные и треш-комментарии. Бесконечная страница показа собранных комментариев. Быстрый поиск (построение графиков) по ключевым словам. Визуализация среднестатистического профиля комментатора по собранным данным (см.п. Сбор данных). Топ подписок на другие каналы комментаторов. Быстрый поиск комментаторов по сущности “наличие подписки на такой-то канал”; Интерпретация; Выявить тренд: о чем пишут комментаторы;-;

“

Человечество может себя прокормить — но может ли оно себя понять?

— М. Н. Эпштейн

Глобальный проект "ПИФИЯ" по управлению информационными рисками подразумевает мультидисциплинарный подход и находится на начальной стадии разработки. Мы приглашаем талантливых профессионалов к диалогу и поиску путей для реализации проекта.

we@seenlabs.com