Cloud.ru Evolution Managed Spark и обработка миллиардов записей
Продолжаю выкладывать записи вебинаров Cloud.ru и сегодня предлагаю вашему вниманию вебинар про Spark. Про Spark я знал, только то, что оно бывает, а теперь я знаю что это такое и…
Установка Kafka
Установка на сервер локально Устанавливаем JDK: Создаем пользователя и даем ему права sudo: Скачиваем и распаковываем Kafka: Редактируем конфигурационный файл ~/kafka/config/server.properties Добавляем: Изменяем: Создаем сервис для автозапуска zookeeper /etc/systemd/system/zookeeper.service Создаем сервис…
Базовая настройка Apache AirFlow
Подготовка Active Directory Пример интеграции с Active Directory Добавляем в файл airflow.cfg папаметры в секцию [webserver]: Выносим webserver_config.py из Docker Compose во внешний файл: Конфигурация webserver_config.py для интеграции с Active Directory: Настройка…
