Лист за листом: как собрать снимок, которому веришь
Дождь тихо стучит по окну под потолком. Реставратор кладет на световой стол стопку прозрачных листов, и на каждом серое пятно. По одному листу все выглядит ерундой, а вместе пятна должны сложиться в один понятный силуэт. Чуть сдвинь лист, и силуэт дрожит и распадается.
Снимок КТ похож на такую стопку: много тонких «слоев» складываются в объем. При раке поджелудочной опухоль часто почти не отличается по яркости от ткани рядом. И примеров с точной разметкой мало. Если «дорисовывать» слои по одному, опухоль на соседних слоях начинает прыгать и ломаться.
Команда сделала связку из двух частей, как фальшивомонетчик и придирчивый проверяющий. Сначала снимки приводили к общему виду: одинаковая сетка, яркость ближе к мягким тканям, а слишком яркие вспышки от металла приглушали до обычной яркости поджелудочной на том же снимке. Потом вырезали ровные кубики ткани.
Главная новинка в том, как «рисовать» кубик. Не по одному листу, а сразу всю стопку: сначала понять общий силуэт, потом вернуть детали, не теряя метки совмещения между слоями. Листы КТ это прозрачные листы, узор опухоли и поджелудочной это пятна, а метки совмещения удерживают форму и мелкую фактуру вместе. Вывод простой: собирай стопку целиком, и объем не расползется.
Была и бытовая проблема: кубик опухоли и кубик поджелудочной получались отдельно, их надо срастить. Как вырезать темное пятно из одной стопки и вставить в другую. Пробовали грубую вставку с заметным краем, потом сглаживание границы, и еще шаг, где подправляли фактуру рядом. Последний вариант прятал шов лучше всего.
Проверяли правдоподобие не только по отдельным «листам». Смотрели сходство с разных сторон и добавили проверку всего кубика целиком, будто берешь стопку в руки и крутишь, следя за тенью. Для этого каждый объем прогоняли через готовый распознаватель формы и фактуры, получали «отпечаток» из 512 чисел и сравнивали отпечатки. Команда честно пишет: такая линейка пока сырая для медицины.
Польза проявилась на тренировке другого распознавателя: он должен отличать здоровую ткань от опухоли. Только на настоящих кубиках он путался, особенно когда одних примеров больше, чем других. Добавили синтетические кубики и выровняли набор, и качество на отдельной проверке выросло. Реставратор снова прижимает стопку: теперь тень держится, а не дрожит.