Исследования в Penn State College показывают, что бабочки видят гораздо больше, чем мы. Они могут различать не только больше цветов, но и направление колебаний света — поляризацию. Эта способность помогает им точно ориентироваться, находить пищу и общаться друг с другом. Например, ракообразные мантисы могут воспринимать ещё более широкий спектр света, включая его круговую поляризацию, что помогает им в «сигнализации любви» и нахождении партнёров, сообщает Science Advances.
Вдохновлённые этими способностями природы, учёные разработали ультратонкий оптический элемент — метаповерхность. Этот элемент можно прикрепить к обычной камере, чтобы захватывать данные о спектре и поляризации света в одном снимке или видео с помощью крошечных антенноподобных наноструктур, которые настраивают свойства света. Для расшифровки этих многомерных визуальных данных в реальном времени используется разработанный командой фреймворк машинного обучения.
«Как показывает мир животных, аспекты света, которые мы не видим, содержат информацию, полезную для различных приложений», — говорит Синцзе Ни, ведущий автор статьи. «Мы преобразовали обычную камеру в компактную, лёгкую гиперспектрально-поляриметрическую камеру, интегрировав в неё нашу метаповерхность.»
Гиперспектральные и поляриметрические камеры обычно громоздки и дороги, а также могут захватывать либо спектр, либо поляризацию, но не оба одновременно. В отличие от них, недорогая, трёх миллиметровая метаповерхность, которая стоит недорого в производстве, устанавливается между объективом и датчиками камеры и одновременно захватывает оба типа данных, передавая их на компьютер.
Для расшифровки изображений использовался фреймворк машинного обучения, который обучался на 1.8 миллионах изображений с помощью техник увеличения данных. При скорости 28 кадров в секунду — в основном ограниченной скоростью камеры — можно быстро восстанавливать как спектральную, так и поляриметрическую информацию с помощью нашей нейронной сети. Это позволяет захватывать и просматривать данные в реальном времени.
Учёные тестировали свою метаповерхность и нейронную сеть, снимая прозрачные буквы «PSU» при различных лазерных освещениях. Также были сделаны снимки жука-скарабея, который отражает круговую поляризацию света.
В будущем такая технология может принести пользу потребителям, если её коммерциализируют. Например, она позволит проверять свежесть фруктов и овощей в магазине, а также может использоваться в биомедицинских приложениях для диагностики раковых клеток, различая материалы и структурные свойства тканей в организме.
