Development and testing of a flexible image capture system based on domestic radiation-hardened electronic components

Full Text

Введение

Для получения снимка окружающего нас пространства фотоприбору необходимы две вещи – оптическая система и светочувствительный элемент. Первым предметом может выступать любая линза или отверстие в пластине (камера обскура). Вторым предметом является любой полупроводник, так как он реагирует на свет и с помощью внутреннего фотоэффекта начинает испускать электроны (впоследствии – ток, сила которого зависит от яркости света). Самый простой фотоэлемент – фотодиод. Если сложить фотодиоды в виде матрицы с 512 строками и 512 столбцами, то получим простейшую матрицу с разрешением 512×512 пикселей. Однако она будет выдавать черно-белое изображение. Для цветного изображения необходимо наложить цветовые фильтры на три фотодиода в каждом пикселе – красный, синий и зеленый. Так выглядит простейшая модель любой светочувствительной цветной матрицы. Для технологического процесса все не так просто, и существует целый ряд технологий, по которым на сегодняшний момент изготавливаются матрицы для захвата изображений. Рассмотрим кратко некоторые технологии работы матриц.

Виды матриц и способы кодирования свет – сигнал

ПЗС – приборы с зарядовой связью [1] (англ. CCD – Charge Coupled Device). Эта технология включает в себя матрицу из фотодиодов, на которых при попадании света выделяется некоторый заряд Q. Этот заряд с каждого пикселя поступает через вертикальную и горизонтальную шины переноса зарядов в усилители, в которых заряды усиливаются и преобразуются в электрические сигналы. Затем сигналы попадают в тракт обработки на базе АЦП и микроконтроллера. Каналы переноса зарядов представляют собой большие проводящие шины, количество которых напрямую зависит от числа фотодиодов. Чтобы заряд с каждого пикселя прошел на магистральную шину, необходимо подать на затвор каждого фотодиода отпирающее напряжение. Структура одного ПЗС пикселя показана на рис. 1.

 

Рис. 1. Структура ПЗС пикселя

 

Принцип работы ПЗС пикселя заключается в следующем. Свет через линзу собирается в равномерный пучок и проходит через светофильтр (красный / синий / зеленый). После светофильтра отфильтрованный свет проходит на светопропускающий электрод. Диэлектрик имеет прозрачную структуру, которая пропускает свет на кристалл. На верхней части кристалла подается положительный потенциал. Падающий свет проникает внутрь полупроводниковой структуры, и образуется электрон-дырочная пара. Электрическое поле разделяет появившуюся пару, электрон попадает в зону хранения (потенциальную яму), а дырка – в подложку. В итоге заряд перемещается по каналам вертикального и горизонтального переноса зарядов.

ПЗС-пиксели обладают следующими параметрами:

1) емкость потенциальной ямы (зоны хранения) – максимальное количество электронов, помещающихся в зону хранения;

2) спектральная чувствительность – зависимость отношения величины фотопотока к величине светового потока от длины волны излучения;

3) квантовая эффективность – физическая величина, равная отношению количества поглощенных фотонов, которые вызвали образование квазичастиц, к общему числу фотонов;

4) динамический диапазон – отношение напряжения или тока насыщения к среднему квадратичному напряжению.

Три вида способов чтения пикселей ПЗС-матрицы [3]: межстрочные; кадровые; полнокадровые.

Достоинствами этой структуры являются: простота в изготовлении матрицы; лучший коэффициент заполнения по сравнению с КМОП, что увеличивает квантовую эффективность и уменьшает уровень шумов.

Из недостатков стоит отметить коллизии, возникающие в момент освещения матрицы ярким светом. При таком облучении на изображении возникают характерные светлые полосы. Такие полосы вызваны тем, что электрический заряд большой величины наводится на остальные линии вертикальной шины переноса зарядов. Помимо этого ПЗС-пиксели считываются последовательно, без произвольного доступа к пикселям, что влияет на оптимизацию программного обеспечения. Также стоит отметить большие энергетические затраты на открывание затворов для каждого пикселя.

Разновидностью CCD является EMCCD (Electron Multiplying CCD), где ключевую роль играет дополнительное внедрение регистров умножения между ПЗС-ячейкой и потенциалом +50 В [4]. Ввиду этого умножения под действием ионизационного эффекта возникает дополнительная случайная электронно-дырочная пара, что приводит к увеличению общего числа электронов (в рамках каждого пикселя). Такой способ понижает внутренние шумы и увеличивает квантовую эффективность, что делает чувствительность сенсора более высокой. Из недостатков отмечаются повышение цены сенсора и малая износоустойчивость, поскольку на регистры умножения постоянно подается высокое напряжение.

КМОП – комплементарный металл-окисел-полупроводник (англ. CMOS – Complementary Metal-Oxide-Semiconductor). Такая технология имеет усилитель на каждом пикселе, который преобразует заряд в электрический сигнал заданного номинала. Эти сигналы формируются в столбцы на вертикальной шине, доступ к которой осуществляется в момент коммутации переключателя выбора пикселей. Вертикальная шина коммутируется к горизонтальной шине путем переключателей выбора столбца; таким образом, имеется возможность аппаратным методом выбирать требуемый пиксель для захвата изображения как по строкам, так и по столбцам (оконное считывание). Структура одного КМОП пикселя показана на рис. 2 [2].

 

Рис. 2. Структура КМОП пикселя: 1 – фотодиод; 2 – электронный затвор; 3 – конденсатор, накапливающий заряд с фотодиода; 4 – усилитель; 5 – шина выбора строки; 6 – вертикальная шина вывода информации; 7 – управляющий вывод сигнала сброса

 

Принцип работы пикселя состоит в следующем. При необходимости захвата изображения открывается транзистор 2, что позволяет ввести фотодиод в рабочий режим. В зависимости от яркости света ток фотодиода 1 (и, как следствие, заряд) будет изменяться. Заряд с фотодиода 1 через затворный транзистор 2 подается на конденсатор 3, который накапливает заряд и переводит его в напряжение. Чем ярче картинка – тем больше заряд и, как следствие, выше напряжение. В противном случае прибегают к усилителям, если изображение снято при малом освещении, но тут стоит помнить об усилении шумов. Далее с конденсатора 3 по окончании зарядки напряжение поступает на усилительный транзистор 4, который усиливает напряжение конденсатора и подает его на ключ 5 вертикальной шины 6. Ключ 5 открывается только при подаче соответствующего отпирающего напряжения на шине выбора строки. В этот момент все пиксели одной строки начинают подавать заряды на отдельные столбцы. Все элементы выполнены по технологии КМОП, откуда и следует название матрицы. Транзистор 7 используется для сброса пикселя, т. е. для разрядки конденсатора 3.

Достоинства: дешевизна; отсутствие коллизии засветки, в отличие от ПЗС-матриц, поскольку передача идет электрическим сигналом при коммутировании каждого пикселя; меньшие энергетические затраты и геометрические размеры; на одном кристалле с матрицей можно расположить вычислительный блок обработки изображения, благодаря которому с матрицы можно выводить изображение в каком-либо формате, и проводить различные операции; имеется доступ к каждому пикселю по отдельности; каждый пиксель имеет свой усилитель, что позволяет оперировать сигналами внутри матрицы.

Недостатки: высокий уровень шума; дополнительный нагрев ввиду дополнительных элементов схемы на одном кристалле с матрицей; низкий коэффициент заполнения пикселей; низкая чувствительность.

SPAD – Single Photon Avalanche Diode – матрицы на базе однофотонных лавинных диодов. Такой тип датчика регистрирует не количество света (как в КМОП- или ПЗС-структурах), а каждую отдельную частицу, достигающую пиксель (фотон). Схематично сравнение между CMOS и SPAD показано на рис. 3 [5].

 

Рис. 3. Пояснение разницы в работе CMOS- и SPAD-датчиков

 

Каждый фотон, дошедший до диода SPAD, вызывает внутренний фотоэффект, который извлекает один электрон. После этого сразу же возникает лавинное умножение электронов, которое можно будет зарегистрировать в электрическом сигнале. В это же время КМОП-сенсор не имеет электронного умножения на квантовом уровне, ввиду чего регистрируется наименьшее количество информации (света). Следовательно, SPAD-сенсор имеет высокую чувствительность к слабо освещенным объектам и малое временное разрешение – до 100 пикосекунд, что позволяет фиксировать световые следы, движущиеся со скоростью примерно 300 000 км/c.

Данный тип матрицы широко применяется как для обычных камер, так и для научной аппаратуры, где нередко появляется необходимость наблюдения за чрезвычайно быстрыми процессами (в ускорителе микрочастиц). На конец 2019 года имеется ряд исследований по временной производительности матрицы и регистрации 2D- и 3D-объектов, продемонстрированных в статье [6]. 

Особенности системы захвата изображения FICS

Для реализации гибкой системы захвата изображения (FICS – Flexible Image Capture System) применялась отечественная радиационно стойкая КМОП-матрица 1205ХВ014 [7, 10], ПЛИС 5578ТС034 [11] и СОЗУ ОП 1663РА06. Структурная схема системы показана на рис. 4.

 

Рис. 4. Структурная схема системы захвата изображения на базе КМОП-матрицы 1205ХВ014

 

Система имеет всего три модуля – модуль матрицы, модуль ПЛИС и модуль питания. Платы собраны по этажной конструкции, что позволяет избежать длинных сигнальных линий и в то же время обеспечить компактность системы в целом с точки зрения массогабаритных параметров. Внешний вид системы показан на рис. 5. Габаритные размеры системы в сборе – 66×66×30 мм.

 

Рис. 5. Конструкция системы захвата изображения

 

Особенность FICS на базе КМОП-матрицы (1205ХВ014) состоит в том, что она генерирует непрерывный поток данных со скоростью от 0,6 до 4,8 Гб/с. Такой объем невозможно в реальном времени отправить во внешние устройства из-за отсутствия в целевых ИМС ПЛИС (5578ТС034) высокоскоростных аппаратных передатчиков. Также невозможно в реальном времени записать весь кадр в целевую статическую ОЗУ (радиационно стойкая СОЗУ ОП 1663РА06). Таким образом, необходимо решить проблему ограниченной пропускной способности канала для формирования полного кадра изображения.

Для решения описанной проблемы был разработан метод и HDL (Hardware Description Language) описание для ПЛИС, позволяющие формировать цельный кадр в СОЗУ из нескольких реальных кадров, выдаваемых матрицей. Суть метода состоит в том, что при захвате данных с параллельных шин матрицы начинается процесс записи с накоплением, за который матрица выдаст данные еще по нескольким следующим пикселям. Однако счетчик пикселей не останавливается, и по завершении процесса записи и накопления известно, сколько пикселей было пропущено. Далее захватываются следующие актуальные данные с параллельных шин матрицы и процесс записи с накоплением повторяется вновь, однако адрес ячейки СОЗУ смещается с учетом пропущенных пикселей, и т. д. Таким образом, после первого кадра с матрицы в СОЗУ остаются «прореженные» данные, полная информация об изображении собирается из нескольких реальных кадров, т. к. каждый следующий пишется со смещением адреса как пикселя, так и ячейки СОЗУ на единицу. Полный кадр в СОЗУ формируется за количество реальных кадров матрицы, равное количеству пропущенных пикселей за время записи с накоплением в СОЗУ (стабильное значение для указанных ИМС составляет 8). Иллюстрация описанного метода показана на рис. 6. DSYN – синхроимпульс для тактирования пакетов данных. Data AB и CD – потоки данных с квадрантов матрицы, поскольку матрица разбита на области A, B, C и D.

Для возможности использования разработанных HDL-модулей в различных ПЛИС была проведена оптимизация по количеству используемых вентилей. Сравнительные характеристики приведены в таблице.

Дополнительные особенности системы:

1. Накопление данных происходит непосредственно в процессе записи данных в СОЗУ, для этого из ячейки сначала считываются данные, потом суммируются с актуальными данными от матрицы, и результат записывается обратно в ту же ячейку. Параметры накопления могут задаваться в диапазоне от 1 до 16, т. е. при параметре 16 будет использована вся область доступной СОЗУ, имеющая разрядность одного слова 16 бит, при параметре накопления 1 будет занято только 14 бит, что соответствует разрядности АЦП КМОП матрицы.
2. Кроме накопления доступен режим с усреднением по нескольким кадрам, доступны режимы 2Х, 4Х, 8Х и 16Х.
3. Аппаратная поддержка для работы с FMU-микроконтроллером [8, 12, 14, 15] на базе интерфейса SIINT [9, 11, 13].

 

Сравнение параметров реализации модуля захвата изображения на различных ПЛИС

Параметр	ПЛИС
	5578 ТС034	EPF10 K100E BC356-1	EP2C8 F256C6	EP3C5 F256C6	EP3C16 U484C6
Занимаемый объем	2079 (42%)	2049 (42%)	1829 (22%)	1833 (33%)	1835 (12%)
Количество регистров	–	–	834 (10%)	834 (16%)	834 (5%)
Количество выводов	84 (46%)	84 (31%)	84 (46%)	88 (48%)	88 (25%)
Параметр	ПЛИС
	EP3C40 F484С6	EP4С55F 780C8	EP4C120 F780C7	EP3SE50 F780C2
Занимаемый объем	1834 (5%)	2688 (5%)	2700 (3%)	911 (2%)
Количество регистров	834 (2%)	36864+(5%)	36864 + (<2%)	692 (2%)
Количество выводов	88 (27%)	88 (17%)	88 (17%)	84 (17%)

 

Рис. 6. Временные диаграммы захвата и записи данных с матрицы

 

Отладка и испытание системы

Для первичной отладки разработана модель самой матрицы 1205ХВ014 с помощью HDL-описания. Модель генерирует импульсы, идентичные импульсам от реальной ИМС-матрицы, и позволяет выдавать потоки данных настроечных таблиц. Результат испытаний с моделью показан на рис. 7, где представлена одна и та же настроечная картинка без накопления (рис. 7, а) и с 10-кратным накоплением соответственно (рис. 7, б). Изображение на рис. 7, в демонстрирует испытание с моделью матрицы, выдающей градиентную заливку в секторах «CD», и горизонтальные полосы с заливкой в секторах «AB». Программируемые настройки матрицы, задающиеся по SPI, были одинаковые для всех 4 секторов и находились в состоянии «по умолчанию». Важно отметить, что конфигурацию и формат импульсов синхронизации пришлось изменить от состояния «по умолчанию», чтобы они соответствовали технической документации на матрицу.

   

Рис. 7. Тестовые изображение модели матрицы

 

Для реальных испытаний системы был напечатан на 3D-принтере оптически непрозрачный корпус и добавлена оптическая система в виде объектива «ЛОМО» от пленочного фотоаппарата «СМЕНА». Макет системы в разборе показан на рис. 8, где также показан внешний вид электроники без корпуса.

 

Рис. 8. Макет системы захвата изображения

 

Для отладки работы системы захвата изображения была написана программа на языке C# с возможностью контроля поступающего изображения и изменения потока данных в реальном времени, а именно: поворот и совмещение двух половин изображения (поскольку матрица выдает изображение двумя зеркальными половинами), гамма кодирование/декодирование, переключение MSB/LSB пакета (рис. 9). Протокол прописан в рамках обмена данными между ПЛИС и ПК. Слева добавлена область по контролю пришедших данных. Алгоритм работы следующий:

1. ПК посылает запрос в ПЛИС на захват изображения.
2. ПЛИС записывает пакеты с матрицы в СОЗУ и по окончании отправляет в ПК команду «ready».
3. При принятии команды «ready» ПК посылает запросы на пакеты, реализуя систему запрос-ответ.
4. При приеме пакета происходят парсинг данных, склейка байт и заполнение буфера с одновременным выводом изображения по частям. В случае если ПЛИС зависает, прописана дополнительная команда повтора и сброса системы, если время ожидания превысило тайм-аут.

 

Рис. 9. Скриншот программы по захвату изображения с оптической системой

 

Один принимаемый пакет состоит из 32768 байт и содержит всегда в начале команду о готовности. При сбое ПК повторно запрашивает данные, которые пришли с ошибкой. Итого необходимо принять 127 пакетов по 32 768 байт, что в сумме даст 2 097 152 байта, в которых содержится 1 048 576 слов для формирования изображения в 1 мегапиксель. Полученное изображение можно сохранить в трех форматах: JPG, BMP, PNG. Помимо этого в программе предусмотрен интерфейс передачи управляющих команд в матрицу, которая настраивается ПЛИС через интерфейс SPI. Для этого выделено два поля: Address и Data. Все команды и временные диаграммы для работы и настройки матрицы описаны в документации на соответствующую матрицу.

С помощью системы в сборе, показанной на рис. 8, были получены серии тестовых изображений без оптической системы (рис. 10) при разных параметрах опорного напряжения столбцовых АЦП. Причем белые квадратики на самом деле черные, а черные – светлые, поскольку особенность матрицы состоит в том, что при сильной засветке она выдает величину напряжения равной нулю. На снимках показана матрица квадратиков, напечатанных на прозрачной пленке черной краской. Засветка проходила с помощью лампы, запитанной от аккумулятора (во избежание паразитных мерцаний).

Снимки на рис. 10 получены следующим образом. Один снимок разбит на две половины, и для каждой половины заданы разные настройки времени экспозиции. По итогу лучший результат показан на рис. 10, в в верхней половине.

 

Рис. 10. Снимок фотошаблона без оптической системы: а – высокое опорное напряжение; б – низкое опорное напряжение; в – среднее опорное напряжение

 

На рис. 11 показаны изображения, полученные с помощью оптической системы при фокусном расстоянии, равном шести метрам. Настройки регистров выдержки матрицы – «по умолчанию», режим накопления – 8Х.

 

Рис. 11. Снимок с помощью оптической системы ЛОМО Т-43 4/40

 

Заключение

Итогом проделанной работы служит создание универсальной электронной системы захвата изображения с варьируемыми параметрами, задаваемыми как для матрицы, так и для самой ПЛИС. Электроника выполнена полностью на отечественной элементной базе с использованием радиационно стойких компонентов, что повышает надежность устройства и делает возможным его использование в среде с жесткими внешними воздействующими факторами.

Созданные HDL-модули и схемотехнические решения универсальны и могут быть использованы для создания устройства на ПЛИС бытового назначения, что делает возможным ее использование как в образовательных, так и в бытовых целях. Способы захвата изображения с матрицы 1205ХВ014, разработанные АО «НИИ телевидения» [10], не могут считаться универсальными и обладают большими массогабаритными характеристиками, а также требуют значительных финансовых вложений.

В дальнейшем планируется увеличить скорость приема изображения, реализовать передачу данных через более скоростной интерфейс, прописать автоматические команды на изменения параметров матрицы для регулировки изображения и внедрить поддержку системы захвата в виде отдельного блока периферии FMU микроконтроллера.

About the authors

Kirill I. Sukhachev

Samara University

Author for correspondence.
Email: sukhachev.ki@ssau.ru

(Ph.D. (Techn.)), Associate Professor, Senior Researcher at the Institute of Space Instrumentation

Russian Federation, 34, Moskovskoye Shosse, Samara, 443086

Danil P. Grigorev

Samara University

Email: grigorev.dp@ssau.ru

Junior Researcher at the Institute of Space Instrumentation, Postgraduate Student

Russian Federation, 34, Moskovskoye Shosse, Samara, 443086

Alexander S. Dorofeev

Samara University

Email: dorofeev.as@ssau.ru

Junior Researcher at the Institute of Space Instrumentation

Russian Federation, 34, Moskovskoye Shosse, Samara, 443086

Andrey A. Artyushin

Samara University

Email: artyushin.aa@ssau.ru

Design Engineer at the Institute of Space Instrumentation, Postgraduate Student

Russian Federation, 34, Moskovskoye Shosse, Samara, 443086

References

Supplementary files