Как создается шоу квадрокоптеров

Беспилотники применяются во многих сферах. У них установлены камеры — они могут снимать видео.  Они умеют доставлять груз. Дроны умеют спасать жизни. Исключением не стала и такая индустрия как шоу-бизнес, индустрия развлечений.  Дроны могут выступать в составе шоу. Так, музыкальная группа Muse периодически на своих концертах использует беспилотники.  У них даже есть альбом с названием Drones.

Что же такое шоу дронов?  Это не просто рой из беспилотников.  Каждый дрон обладает собственной программой движения. Дрон даже не знает о существовании соседа, когда в небо запущено несколько сотен или даже тысяч беспилотников.

Шоу дронов конкурируют с фейерверками

Постепенно такие шоу приходят на замену фейерверкам. Здесь есть масса преимуществ.

• Среди них это можно выделить то, что шоу дронов более технологично. Развиваются технологии, и мы можем делать из коптеров разные, все более замысловатые объемные фигуры.
• Это экологично, в отличие от фейерверков, которые приносят колоссальный вред экологии и загрязняют атмосферу вредными веществами.
• Шоу дронов безопасно. Часто можно прочитать новости, что бедные животные прячутся от фейерверков и получают ожоги. Да и людям иногда достается.
• Шоу коптеров — это полет фантазии. Здесь можно делать все, что вы захотите. Беспилотники могут образовать в небе любую фигуру, которая есть в вашем воображении.
• Шоу дронов производит меньше шума. Если мы говорим про улицу, то коптеры летают на высоте в сотни метров, а то и выше. Их практически не слышно на такой высоте.
• Еще одно преимущество шоу дронов в том, что мы можем использовать созданное представление повторно.

Это развлекательное направление появилось сравнительно недавно и начало бурно развиваться. Первооткрывателем можно назвать компанию Intel. Intel — одна из первых компаний, которая получила сертификат от Федерального агентства гражданской авиации. Сертификат дает право на управление несколькими дронами одним пилотом. Таким образом один компьютер может контролировать до 1000 дронов. Он может посмотреть уровень заряда у каждого дрона, уровень GPS сигнала. Ну и так далее.

Помимо этого, разрабатывается специальная программное обеспечение, которое автоматизирует процесс анимации.

 Мировые рекорды по запуску дронов

Какие мировые рекорды ставили дроны в процессе развития отрасли развлечений? В 2015 году инженеры Intel после нескольких лет подготовки запустили в небо 100 дронов. Это было ошеломляюще. Но в 2016 году компания Intel поставила новый рекорд. В небо было уже запущено 500 дронов, которые летали синхронно под исполнение симфонии Бетховена.

В 2018 году был зафиксирован новый мировой рекорд. Он был установлен на церемонии открытия зимних Олимпийских игр в Китае.

Тогда было запущено 1218 дронов, которые делали различные фигуры. Cреди них была эмблема из колец — символ Олимпийских игр.

Но позже, также 2018, году компанией Intel было запущена уже 2066 дронов, которые синхронно танцевали в небе, летали и делали различные фигуры.

Россия также не отстает от этого направления применения беспилотников. В 2020 году в Санкт-Петербурге был поставлен новый мировой рекорд, который был зафиксирован книгой рекордов России.

На этом мероприятии было использовано 2198 коптеров, которые выстраивались в различные знаковые световые фигуры. Это шоу было посвящено Дню Победы в Великой Отечественной войне. Здесь были фигуры с голубем мира и орденом Победы. В 2020 году, был установлен следующий мировой рекорд уже в Китае, где был запущен 3051 коптер.

Они делали что-то невероятное. Здесь была и космическая станция, и спутниковая система, а также марсоход.

С чего начинается шоу коптеров?

На самом деле, нет коптеров — нет шоу. Поэтому нужно выбрать летающую платформу. Здесь есть два основных параметра. Нужно определиться с источником света. Шоу дронов также называют световым шоу. Также важна системна навигации. С источником света все более-менее понятно. Мы берем мощный светодиодный RGB-фонарь и устанавливаем его на коптер.
Или берем светодиодную ленту.
Если шоу проводится внутри помещений, то с системой навигации все посложнее. Во-первых, в этом случае очень важна точность позиционирования. Потому что, если мы говорим о роях беспилотников, которые достигают тысяч аппаратов во флоте, то если там отвяжется от общей массы один или два дрона, то это не так уж критично. Но рой —  это масса и очень дорогая масса, если мы говорим о десятках и сотнях дронов, то очень важна точность позиционирования. Поэтому нужно определиться с системой навигации.

Навигация на улице

Существует несколько подходов к системе навигации. Если мы говорим про улицу, то первое, что приходит в голову, это GPS.  Если смотреть по осям X и Y, т.е. горизонтальные координаты, то здесь все более-менее точно. Но по вертикали GPS накапливает большие ошибки с точностью до нескольких метров. Поэтому на помощь приходит система RTK (Real Time Kinematic).

Эта технология представляет собой совокупность приемов и методов получения плановых координат и точек местности с точностью до сантиметра.

Для этой системы используются сигналы спутниковой навигации плюс поправки, которые получают с базовой станции. Поправки принимает бортовая аппаратура каждого беспилотного летательного аппарата. Также эта система требует наличия приемника с поддержкой GPS и РТК на борту каждого летательного аппарата.

Навигация в помещении

Мы разобрались в том, какую систему навигации можно применить на улице. Но если говорить о помещениях, то здесь сигнал GPS не ловит. Соответственно, можно создать аналог GPS  внутри помещения.

Например, можно использовать ультразвук по периметру помещения. В месте, где будет проводиться шоу, на стенах ставятся специальные датчики.

Также мы можем использовать другой принцип, когда на коптер устанавливается камера. Эта камера работает совместно с компьютером и полетным контроллером. Тогда мы можем использовать компьютерное зрение, и здесь возможны следующие системы навигации.
Система «Optical Flow». За счет измерения сдвигов текстуры поверхности пола можно осуществить навигацию. Или за счет визуальных маркеров. Здесь тоже используется компьютерное зрение. Камера дрона видит какой-то маркер, который установлен, например, на полу или на потолке. И коптер ориентируется на эти маркеры, чтобы контролировать свое местоположение в помещении.

Параметры коптеров

Если говорить о других параметрах коптеров, то важно выделить следующие. Это стоимость устройства и возможность его производства. Логично, что чем проще и дешевле будет дрон, тем больше штук изделия можно изготовить. Это в итоге отразится на стоимости шоу и на масштабе мероприятия.

Также имеет значение вес дрона. Кроме выигрыша во времени вес ниже 250 грамм дает теоретическое упрощение в согласовании использования воздушного пространства для представления.  Во многих странах для беспилотных летательных аппаратов весом ниже 250 грамм действует более лояльные правила. Так, в России коптеры, которые весят меньше 250 грамм, не нужно регистрировать. Поэтому, когда во многих странах вышел такой закон, многие мировые компании, производящие коптеры, начали изготавливать свои решения беспилотников, не подлежащие регистрации.

Так например в DJI вышел квадрокоптер Mavic мини, который весил 249 грамм.

Другими параметрами коптеров, которые важны для шоу, являются, например, конструкция рамы. Важно сохранить дорогую электронику при падении и также подумать о защите винтов. На дронах, например, устанавливают защиту винтов из поликарбоната.

Следующий параметр — это размер. Здесь все тоже понятно. Чем меньше размер, тем удобнее и дешевле перевозить флот для реализации шоу.

Ещё один параметр — это скорость. При большей скорости мы можем построить больше фигур. Также известно, что большую часть времени в шоу занимает перестроение дронов.  Уходит время на совершение взлёта и посадки.

И последний фактор, который мы рассмотрим, это время полета. Здесь не стоит гнаться за слишком большим временем, потому что внимание зрителей не вечно и обычно хватает 10-15 минут для реализации программы.

Мы с вами определили, какими параметрами должны обладать коптеры. Мы поговорили о том, что на летательных аппаратах должно быть установлено. Самое время обсудить, как заставить их работать вместе, как контролировать.

Синхронизация и управление дронами

Ну на самом деле, для этих целей работает автономная программа. То есть у вас есть один коптер и один компьютер. На компьютере пишется программа. Вы запускаете? тем самым контролируете? полет коптера А.

Если говорить о десятках аппаратов, то программное обеспечение для организации шоу коптеров, представляет из себя софт, с помощью которого оператор может мониторить параметры каждого коптера и отдавать ему при необходимости команды.

Мы рассмотрим, как открытые решения, так и закрытые.

Сравним полетные контроллеры  DJI и PixHawk. В DJI уже есть вся система стабилизации, но вы не можете посмотреть в архитектуру и не можете посмотреть, как там все устроено. Популярность у разработчиков пользуется автопилоты PixHawk, потому что можно залезть во всю архитектуру, настроить под себя нужные параметры и так далее.

Так и с программными обеспечением для шоу коптеров.  Существуют закрытые проекты, в которых присутствует такой же функционал, который мы с вами разобрали. В силу закрытости здесь непонятно, с какой архитектурой они работают, а также какой радиоканал используют. Напротив есть проекты на базе открытого программного обеспечения (Open Source). На рынке существуют решения, которые подходят для улицы и для полетов в помещении.

Дрон-шоу software

Давайте с вами поговорим про решения, которые используются для полетов на улице. Такие решения называется дрон-шоу software. Они представляют из себя программное обеспечение, разработанное для шоу дронов и позволяющие планировать траекторию полета, а также синхронно управлять десятками дронов одновременно.

В репозитории проекта можно найти инструкции по настройке дронов, wi-fi и светодиодных модулей. Также важны инструкции по добавлению и настройке устройств РТК GPS. Это те самые приемники, которые нужны для навигации.

Программное обеспечение дрон-шоу требует специальную прошивку pixhawk из-за специального режима полета и используемых команд.

На ресурсе github.com существует открытый репозиторий. Проекты, которые в основном ориентируются на полеты внутри помещений,  и называются Clever shsow. Это программное обеспечение для запуска шоу дронов под управлением одноплатного компьютера Raspberry Pi с пакетом преднастроенного образа для Raspberry Pi. Также используется для шоу полетный контроллер с прошивкой PX4.

Здесь можно создать анимацию в 3D-редакторе Blender и конвертировать ее в полетные пути дронов. После этого нужно настроить дроны и запустить свое собственное шоу. Но чтобы запустить свое собственное шоу, нужно подготовить анимацию.

Создание анимации

Важно сказать, что сотнями и тысячами дронов в воздухе можно нарисовать прекрасные и масштабные объемные фигуры. Положение каждого дрона для глаза не очень критично. Но вот что можно нарисовать несколькими десятками дронов? Скорее всего речь будет идти о полете по линии или реализации каких-то простейших геометрических фигур. Например, круг или квадрат.

Анимации можно сделать в 3D-редакторе. Например, мы уже говорили о таком 3D-редакторе как Блендер. Дальше мы конвертируем траектории в формат, понятный для автопилота. Полетные задания генерируются для каждого коптера и загружается в Автопилот. Для этого необходимо использовать специальный софт.  Софт зависит от полетного контроллера и способа загрузки данных.

Ну и прежде чем выезжать летать на полигоне необходимо тщательно проверить процесс на симуляторах. После того как мы подготовили анимацию в голове, возникает вопрос. А как же обеспечить групповой полет без столкновений? Здесь на помощь приходит синхронизация по времени. Чем точнее будет синхронизовано время, тем более согласованным будет полет группы коптеров. Иными словами, если каждый дрон точно знает, где ему нужно быть в заданное время и какой цвет включить, то можно обеспечить построение фигур из большого числа беспилотников.

Внутри помещений для синхронизации используют сервис для универсальной реализации протокола сетевого времени. Если мы говорим про полеты на улице или Outdoor, то здесь используется глобальная спутниковая навигационная система. Используется общее глобальное время. Тем самым мы синхронизируем время и беспилотники между собой.

Давайте разберем одно из Open Source решений для шоу.  Клевер шоу состоит из пакета, который включает в  себя набор программного обеспечения для дрона с клиентским приложением для удаленного синхронизированного управления дронами, а также модуля экстренной посадки.

Пакет также включает в себя серверное приложение. Оно необходимо для создания шоу и настройки дронов. Также мы можем настроить анимацию и музыку.

Следующее, что входит в проект, — это addon для Blender.

Это нужно для того, чтобы преобразовать анимацию полета коптеров, которые вы создали в Блендер, в индивидуальные пути для каждого коптера.

Пакет включает это образ для Raspberry Pi. Он необходим для быстрого запуска программного обеспечения на коптере. Также пакет содержит документацию, чтобы вы могли разобраться, как этим пользоваться и как запустить свое шоу коптера. Давайте рассмотрим по отдельности содержание проекта в репозитории и попробуем разобраться, что это и как это работает.

Разделы клиента – программного обеспечения для дрона

Для начала разберем набор программного обеспечения для дрона.  Называем его клиентом. Клиент работает на образе для Raspberry Pi и является сервисом в операционной системе коптера. Сервис запускает скрипт и автоматически запускается при загрузке операционной системы.

Также клиент включает несколько разделов. Рассмотрим их.
В разделе «Server» задаются параметры сетевого взаимодействия клиента и сервера.

В разделе «Телеметры» настраиваются поток передачи телеметрии на сервер. В телеметрию входят показания заряда аккумулятора, состояние полетного контроллера и координаты, в которых сейчас находится коптер.

В разделе «Flight» находятся настройки, влияющие на процесс полета коптера. В разделе «Animation» настраивается обработка анимации. При загрузке анимации на коптер модуль производит разделение последовательности кадров анимации на ключевые этапы.

То есть:

• дрон неподвижно находится на земле,
• дрон находится в точке начала,
• дрон взлетел,
• дрон произвел анимацию,
• дрон сел и находится в том месте, которое мне необходимо.

В разделе настраивается использование светодиодных лент на коптере. Здесь могут использоваться разные подходы:

• откуда у вас берется источник света
• что используется в качестве света
• если используется светодиодная лента, мы можем посмотреть, как она расположена.

В разделе «Land» настраивается программа экстренной защиты коптера от потери позиции или столкновения с объектом.

Серверное приложение

Мы разобрали с вами, как устроен клиент, то есть что происходит внутри дрона. Теперь давайте разберем серверное приложение или что видит человек, который запускает шоу.

Сервер имеет визуальный графический интерфейс для удобства взаимодействия.  Там мы видим таблицу состояния коптера.

В этой таблице указаны:

• номера коптера,
• внутреннее название файла анимации, которые вы в него загрузили,
• значение напряжения на аккумуляторе,
• состояние полетного контроллера,
• состояние калибровки датчиков полетного контроллера. В полетный контроллер входят следующий датчики: компас, акселерометр и гироскоп,
• режим полетного контроллера
• текущее положение коптера с указанием названия системы координат
• стартовое положение коптера для воспроизведения анимации
• разница между временем на сервере и клиенте в секундах (это очень важный параметр чтобы дроны у нас двигались синхронно, не сталкивались — поэтому обязательно нужно проверять синхронизацию по времени).

Также в серверном приложении есть меню. Здесь можно отправлять файлы анимации, перезапускать систему, а также загружать музыкальные файлы.

Помимо этого, имеется боковая панель, которая включает средства перехвата в экстренных ситуациях, тестовые команды, а также системные команды.

Мы упоминали про аддон для Blender, который конвертирует анимацию, созданную в Blender, в понятные полетные пути для каждого дрона.

И для этого вам необходимо установить этот аддон, настроить его, указать нужные параметры и экспортировать анимацию указанных объектов из проекта Блендер формат CSV.

Давайте с вами разберем шаги запуска шоу коптеров внутри помещений. Во-первых, необходимо подготовить список оборудования.

Для этого вам понадобятся:

• коптеры,
• компьютер для управления коптерами с помощью серверного приложения,
• wi-fi роутер, работающий на частоте 2,4 ГГц, а лучше 5,8 ГГц, если эту частоту поддерживает wi-fi модуля коптеров и компьютера.

Конечно, если мы запускаем проект на улице, то здесь wi-fi роутер не всегда подойдет. Необходимо подготовить программное обеспечение. Как уже упоминалось выше, в Clever show есть программное обеспечение для организации шоу коптеров. Состоит оно из двух основных частей. Это серверное приложение, которое имеет графический интерфейс, а также клиентская часть, которая предоставляется видеообразом для Rastberry Pi.  Если вы хотите сами подготовить шоу, то нужно будет скачать эти файлы из репозитория проекта, установить и запустить клиент и сервер. Затем вам необходимо будет настроить роутер, после этого нужно подготовить коптеры.

Для этого мы производим калибровку всех систем, затем проверяем условия, что коптеры удерживают позицию автономно. Также необходимо будет проверить корректность выполнения команд.

Затем проверить синхронизацию времени между всеми коптерами, участвующими в анимации, сервером, подготовить и запустить анимацию. После того, как у нас готово все необходимое программное обеспечение, у нас готова анимация и коптеры, мы ищем подходящие место.  Мы раскладываем коптеры в правильном порядке на определенном расстоянии друг от друга. Здесь важно разметить места заранее. Также не забываем про безопасность. Теперь можно лететь.

Подводя итог, можно отметить, для того чтобы запустить шоу беспилотников, во-первых, нужно желание. Во-вторых, нужны коптеры. В-третьих, нужны навыки программирования. Ну и в-четвертых, нужно место для творческой работы дизайнеров при создании анимации.

Еще хотелось бы отметить, что сложно было представить, что групповые полеты коптеров начнут свой путь с такого коммерческого направления, как шоу. Но учитывая, что людям всегда необходимо зрелище, развлечения — это не очень удивительно.

Есть множество примеров, когда индустрия развлечений дает толчок для развития практического применения технологий и заставляет мыслить позитивно. А пока давайте будем участвовать и наблюдать, во что эволюционирует данное направление через несколько лет.