Добавление первичного ключа в виде хеша объекта

[Kraysent]

Проблема

При кросс-идентификации нужно уметь однозначным образом идентифицировать объект оригинальной таблицы потому что по итогам обработки нужно в таблице кросс-идентификации хранить состояние объектов в виде table_id - object_id - pgc - message, чтобы потом понимать, какой объект нужно перенести на 1-й уровень.

Описание решения

При поступлении новой строки в виде

{
    "ra": 123,
    "dec": 2345,
    "v_r": 454,
    "name": "SDSS_1234" 
}

преобразовать её к единому формату и взять MD5 хеш от полученной строки. Дальше этот хеш можно использовать как первичный ключ внутри каждой таблицы нулевого уровня.

В качестве единого формата предлагаю использовать набор пар ключ-значение, сортированный в алфавитном порядке по ключам, преобразованный к формату JSON в виде

[["dec",2345],["name","SDSS_1234"],["ra",123],["v_r",454]]

Это позволит решить сразу несколько проблем:

• не будет привязки к внутренним python-типам, присланные строки будут преобразованы к формату выше, сериализованы в строку и прохешированы. Это позволит нам без проблем менять внутреннее представление между разными python-типами (dict, OrderedDict, pandas.DataFrame и прочее) и не думать о том, меняется ли у них хеш и надо ли нам его пересчитать везде.
• не будет привязки к порядку. Ни JSON-словари, ни стандартный словарь в python не гарантируют порядок ключей, что может приводить к разным хешам на один и тот же объект.

Загрузка схемы таблицы

• У каждой таблицы нулевого уровня появится новый столбец. Назвать его можно hyperleda_internal_id. - При создании схемы таблицы пользователем нужно будет следить, чтобы внутри таблицы не было пользовательских столбцов с таким именем (и написать в описании метода API неразрешённые имена столбцов).
• При добавлении таблицы нужно сразу добавлять hyperleda_internal_id как PRIMARY KEY создаваемой таблицы.

Загрузка данных

• Хеширование позволит дедуплицировать загружаемые данные, если пользователь попытается загрузить де одинаковые строки.

Отображение данных

Этот id - внутренний, мы ни при каких условиях пользователю не должны его показывать. При показе результатов кросс-идентификации можно будет либо отдавать пользователю всю отправленную им строку (без системного столбца), либо показывать только столбцы с определёнными UCD.

Альтернативы

Возможно вместо md5 стоит использовать какой-то хеш полегче - md5 до некоторого времени назад был криптографическим хешем, для наших целей он может быть медленным.

[Kraysent]

Обсуждали на встрече, здесь просто фиксирую для историчности.