Аналитика данных из social-api

[viribus-issue-bot]

Issue open by Михаил Парфенов via telegram message.

[parfenovma]

Сюда будем складывать наработки по анализу данных из social-api
(сообщения из ботов, их тг чатов итд)

[parfenovma]

Хочется посмотреть, что вообще лежит в "STG_SOCIAL".webhook_storage
Мотивация: сможем ускорить аналитику чатов
Хочется сделать отдельные таблички по каждой системе: TELEGRAM, VK, DISCORD, GITHUB (насколько я помню)
В каждой табличке десериализовать поле message на атрибуты json-а, который там лежит (например, message{"group_id": 194254984, "type": "message_read", "object": {"from_id": 445824365, "peer_id": -194254984, "read_message_id": 48958, "conversation_message_id": 200} будет разбито на group_id, type, from_id, peer_id, read_message_id, .... (+оценить важность атрибутов, не уверен что нам всё это надо)
Завести задачку в dwh-pipelines на доработку и создание ODS таблиц с десереализованными сообщениями

[arina-univer39]

Результаты промежуточного анализа и обсуждения:
Что нам нужно:

1. Статистика по юзерам (коммиты, добавленные строки (надо найти их еще), аппрувы)
2. Жизненный цикл для isuue, pull-request, release (по статусам)
    
   План:
3. Проанализировать JSON для необходимых полей (выделила их зеленым)
4. Выделить нужные ключи

Подробности в файле

Данные_dwh.xlsx