My Data Lab

Полнофункциональная среда для изучения анализа данных и работы с большими данными. Всё необходимое уже настроено и готово к работе — просто запустите Docker и начните экспериментировать:

• Jupyter-ноутбуки для экспериментов
• PySpark для обработки данных
• Локальный MinIO для хранения данных (S3)
• Lakekeeper — REST-каталог Iceberg с UI
• PostgreSQL 18 в качестве базы данных
• Быстрый старт через Docker Compose

Быстрый старт с нуля

Установите Docker и Docker Compose, если они ещё не установлены.

Клонируйте репозиторий и перейдите в папку проекта:

git clone https://github.com/Inzhenerka/mydatalab
cd mydatalab

Подтяните готовый образ mydatalab из интернета

docker compose pull    

Запустите контейнер mydatalab из образа в синхронном режиме:

docker compose up

Логи будут выводиться в терминал, в котором запущен контейнер, что поможет в случае непредвиденных ошибок.

Начните работу с главной страницы: http://localhost:1111

Остановить контейнер можно комбинацией клавиш Ctrl+C.

Продолжить работу после первой установки

Поднять контейнер в фоне, чтобы не держать терминал занятым:

cd mydatalab
docker compose up -d

Поставить на паузу

Временная остановка контейнера, чтобы освободить ресурсы компьютера:

docker compose stop

Удалить контейнер

Полностью остановить и удалить контейнер (данные в примонтированных папках сохранятся):

docker compose down

Обновление окружения

Подтянуть свежий образ:

docker compose pull

Разработка (не для студентов)

Пересобрать образ после изменений в проекте: docker compose build