1. Введение

Кожные заболевания являются наиболее распространенной патологией у человека. В мире почти 900 миллионов человек имеют те или иные проблемы с кожным покровом [1]. На сегодняшний день известно более 3000 кожных заболеваний. Рак кожи — наиболее распространенный вид злокачественных новообразований среди белого населения. Меланома — злокачественная опухоль кожи с наихудшим прогнозом [2]. Заболеваемость меланомой и немеланомным раком кожи растет во всем мире. В Европе в ближайшие десятилетия следует ожидать уровень заболеваемости 40-50 случаев на 100 000 жителей в год [3]. Кожные заболевания являются финансовым, социально-экономическим и психологическим бременем для общества и создают нагрузку на врачей общей практики и врачей-специалистов. В то же время, согласно статистическим исследованиям, среднее число дерматологов в европейских странах недостаточно и составляет всего 5 на 100 000 жителей [4].

Необходимы меры, направленные на более раннее выявление кожных заболеваний. Перспективным пунктом является внедрение технологий машинного обучения. Это подтверждают Chui M at al, которые показали, что в медицине можно автоматизировать 36% функций, прежде всего на уровнях сбора и анализа данных [5]. Особое значение в развитии такой автоматизации имеет разработка мобильных приложений как очень удобных инструментов для рутинного и широкого использования в клинической практике.

Приложения для мобильных телефонов широко используются в дерматологии, поскольку визуальный компонент кожного заболевания можно легко оцифровать с помощью камеры мобильного телефона. Затем изображение может быть проанализировано алгоритмами машинного обучения для определения патологии. На основании полученных результатов пользователь получает рекомендации по дальнейшим действиям.

Потенциал мобильных приложений на основе алгоритмов машинного обучения для выявления кожных заболеваний особенно актуален в периоды неблагоприятных эпидемиологических состояний (например, пандемия COVID-19 [6], когда очные медицинские консультации недоступны, а дистанционное предоставление медицинских услуг имеет особое значение).

Возможности глубокого машинного обучения в распознавании кожных заболеваний и дифференциальной диагностике вдохновляют и демонстрируют способность помогать врачам в их повседневной практике: такие решения сортируют случаи для определения приоритетности клинической помощи, помогают недерматологам более точно инициировать дерматологическую помощь и потенциально улучшают доступ к необходимой помощи.

Точность диагностики кожных заболеваний среди врачей общей практики (ВОП) и дерматологов существенно отличается. Например, исследование доказало, что точность распознавания меланомы среди врачей общей практики составляет всего 0,49-0,80, в то время как среди дерматологов этот показатель достигает 0,85-0,89 [7].

В другом исследовании сравнивалась точность распознавания патологий кожи между алгоритмом машинного обучения и медицинскими специалистами [8]. Исследование показало, что точность нейросетевой диагностики составляет 90% (точность для первых трех результатов, выданных нейронной сетью). Это говорит о том, что точность алгоритмов машинного обучения может быть сравнима с точностью дерматологов и значительно выше, чем у врачей первичного звена.

Несмотря на очевидные преимущества, использование программных продуктов для решения таких важных задач, как выявление кожных заболеваний, является предметом критики. Аргументом критиков является сомнительная чувствительность и специфичность, а также отсутствие стандартизированного подхода к тестированию среди производителей, что является необходимым условием для объективной оценки. Внедрение подобных решений в клиническую практику возможно только при наличии хорошо обученной нейронной сети [9]. Это подразумевает ряд мероприятий, включая создание обучающих и валидационных наборов данных, регулярное переобучение нейронной сети, улучшение интерфейсов для удобства использования мобильного приложения конечным пользователем и другие [10].

Иллюстрацией работы по совершенствованию сети и полученных результатов может служить нейронная сеть Skinive.

2. Материалы и методы

2.1. Характеристика нейронной сети Skinive

Алгоритм Skinive представляет собой модель предварительно обученных дерматологических нейронных сетей и прикладное программное обеспечение нейросетевой среды, которые находятся в защищенном облаке и интегрируются с приложениями (веб-, мобильными и другими программами) с помощью API-сервиса. 

Точность алгоритмов распознавания Skinive постоянно повышается благодаря систематическому пополнению базы данных изображениями кожной патологии, а также совершенствованию алгоритма обработки. Каждое изображение перед отправкой на обучение алгоритма проходит клиническое тестирование у дерматолога. Благодаря тесному сотрудничеству с медицинскими учреждениями, некоторые из случаев, используемых для повышения точности программного валидационного теста, имеют гистологическое подтверждение.

2.2. Улучшения нейросети Skinive в 2022 году

С января 2022 года по июль 2022 года нейронная сеть Skinive претерпела ряд как технических, так и клинических усовершенствований.

В рамках программы «ELISE» для улучшения возможностей нейросети были проведены следующие работы: добавлен модуль визуализации лица (с целью фильтрации персональных данных перед обработкой) и модуль, определяющий пригодность для обработки изображений (для повышения общей точности), а также расширен набор обучающих данных на 54 604 изображения кожной патологии.

Кроме того, был расширен список патологий, распознаваемых нейронной сетью Skinive. Особое внимание было уделено таким группам патологий, как дерматит и экзема. Эти патологии не менее актуальны, чем новообразования или кожные инфекции, они существенно ухудшают качество жизни пациента и требуют своевременной диагностики.

Помимо дерматита, в 2022 году появилась возможность дифференцировать разноцветный лишай среди других грибковых поражений кожи, а также акральный невус среди пигментных новообразований кожи. Эти состояния требуют иного подхода в клинической практике.

Таким образом, общее количество изображений в обучающем наборе данных Skinive на 3 квартал 2022 года составляет 164 142 фотографии кожных патологий, а количество распознаваемых кожных патологий достигло 51 (табл. 1).

Таблица 1 — Список заболеваний кожи, которые умеет распознавать нейросеть Skinive 

Основным принципом работы над нейросетью в 2022 году было не только количественное, но и качественное улучшение данных. Все данные, которые использовались при обучении нейронной сети, проходили многоуровневую проверку на соответствие качества изображения и однозначность интерпретации медицинскими экспертами.

В июле 2022 года была проведена масштабная работа, которая позволила получить новые данные о результатах точности распознавания патологий кожи нейронной сетью Skinive 3.0.

2.3 Формирование валидационного датасета

Для определения точности алгоритма Skinive был специально подготовлен валидационный набор данных, состоящий из 25 688 изображений кожной патологии. Изображения, включенные в валидационный набор данных, не использовались для обучения нейронной сети. Каждое изображение оценивалось дерматологом и онкологом на соответствие изображенной патологии определенному классу с учетом результатов гистологического исследования.

Структура валидационного набора данных сформирована в соответствии со структурой обучающего набора данных, за исключением дерматита и экземы. Последние два класса не включены в валидационный набор данных, поскольку их распознавание нейросетью Skinive стало возможным только в 2022 году, а общее количество фотографий этих заболеваний не позволило выделить отдельный валидационный набор данных в достаточном для адекватной оценки точности объеме.

Валидационный набор данных включает 7 групп кожных заболеваний. Подробное описание валидационного набора данных представлено в таблице 2.

Таблица 2 — Валидационный датасет Skinive

Сформированный валидационный набор данных был использован при анализе точности в 2021 году, что позволило определить динамику роста показателей чувствительности и специфичности.

Для определения чувствительности алгоритма использовались такие группы кожных заболеваний, как: Акне и розацеа, Папулосквамозные нарушения, Микозы, Вирусные заболевания, Герпес, Предопухолевые и злокачественные опухоли.

Для определения специфичности алгоритма было использовано 20982 изображения доброкачественных новообразований кожи.

2.4. Безопасность данных

Программно-аппаратный комплекс построен на решениях Amazon Web Services и представляет собой ряд виртуальных серверов, недоступных извне, связанных между собой решениями на базе нескольких программных продуктов и решений, таких как Docker, Amazon Elastic Container Services.

Skinive не хранит никакой персонально идентифицируемой информации, которая может быть использована для идентификации конкретного пользователя. Идентификация пользователя осуществляется с помощью случайно сгенерированного токена, который хранится в устройстве и с помощью которого осуществляется доступ к приложению. Хранящиеся данные обезличены и не имеют пути сопоставления с реальным пользователем системы. Графические изображения, отправленные пользователем на сервер, проходят процедуру анонимизации путем удаления всей служебной информации об изображении (заголовки EXIF и т.д.).

Службы регистрации инфраструктуры хранят информацию о фатальных ошибках приложений, исходный IP-адрес запроса, имя вызванной функции и версию программного обеспечения пользователя.

3. Результаты

Используемый валидационный набор данных был сформирован в 2021 году для проведения внутреннего тестирования точности нейронной сети Skinive. Результаты были сохранены и не публиковались.  

После отправки сформированных валидационных наборов данных для анализа алгоритму Skinive в 2022 году были получены следующие значения чувствительности и специфичности для каждого из анализируемых классов (таблица 3):

Таблица 3 — Результаты точности нейронной сети Skinive в 2022 году и сравнение с аналогичными результатами за 2021 год

В данном случае чувствительность определялась как отношение количества случаев патологии кожи, правильно определенных алгоритмом (Акне и Розацеа, Папулосквамозные нарушения, Микозы, Вирусные заболевания, Герпес, Предопухолевые состояния и злокачественные новообразования кожи) к количеству всех клинически подтвержденных случаев соответственно. То есть эта величина показывает долю истинно положительных случаев: тех случаев, где правильно определен риск патологии алгоритмом. Чем выше чувствительность, тем меньше вероятность того, что алгоритм может пропустить патологию кожи высокого риска.

Специфичность определялась как отношение числа случаев доброкачественных новообразований кожи, правильно идентифицированных алгоритмом, к числу всех клинически подтвержденных доброкачественных новообразований. Эта величина показывает долю истинно отрицательных случаев (тех ситуаций, когда на снимке нет высоких рисков). Соответственно, чем выше специфичность, тем меньше вероятность ошибочного предсказания злокачественной патологии там, где ее нет, и меньше будет получено «ложных тревог».

Для наглядного понимания ошибок алгоритма и выявления тенденции неправильного распознавания нейросетью, на основании полученных результатов была составлена матрица ошибок (таблица 4), которая отражает распределение правильных ответов (по чувствительности) и ошибок между группами нозологий.

Таблица 4 — Матрица ошибок по группам заболеваний

Обозначение: Зеленая клетка — правильное предсказание уровня риска.

Общие показатели чувствительности, специфичности и частоты ошибок алгоритма Skinive представлены в таблице 5:

Таблица 5 — Общие показатели алгоритма Skinive для 2021 и 2022 годов

4. Обсуждение

Благодаря целому комплексу работ, проведенных на нейронной сети Skinive, удалось получить увеличение показателей чувствительности и специфичности практически для всех изученных классов новообразований и заболеваний кожи.

Так, чувствительность к выявлению предраковых и злокачественных новообразований в 2021 году составила 82,6%, а в 2022 году — 96,3% (+13,7%), что свидетельствует о значительном увеличении чувствительности. 

Полученные результаты позволяют утверждать, что комплекс мер, направленных на совершенствование нейронной сети Skinive, отражается на повышении точности алгоритма в распознавании рака кожи. Своевременное и точное распознавание позволяет более эффективно лечить данную патологию. Очевидно, что именно эта патология имеет наибольшую актуальность и значимость с точки зрения сохранения жизни и здоровья населения.

Значительное увеличение чувствительности отмечено и для других классов кожной патологии (акне и розацеа, папулосквамозные нарушения, микозы, вирусные заболевания кожи и герпес) от +3 до +10%. 

Результаты показывают, что нейронная сеть Skinive более чувствительна к кожной патологии и менее склонна пропускать ситуации, когда пациенту действительно требуется медицинская помощь или более детальное обследование с использованием других инструментов (дерматоскопия, биопсия с последующим гистологическим исследованием). 

Хотя общая специфичность алгоритма снизилась, стоит отметить значительный рост специфичности при распознавании доброкачественных заболеваний: в 2021 году она составляла 93,0%, в 2022 году — 98,2% (+5,2%). Исходя из этой динамики, нейронная сеть Skinive стала менее подвержена «ложным срабатываниям». Благодаря этой особенности использование нейронной сети Skinive позволит сократить количество необоснованных визитов к врачу и одновременно снизить неоправданную нагрузку на медицинских работников. 

Детальный анализ матрицы ошибок показывает, среди каких заболеваний и с какой частотой возникают наибольшие трудности у алгоритма Skinive при дифференциальной диагностике новообразований и кожных заболеваний. Эти значения можно считать ключевым результатом для планирования дальнейшей работы по совершенствованию нейронной сети Skinive и повышению точности алгоритма для отдельных нозологий.

Из матрицы ошибок видно, что наибольший процент ошибок при распознавании патологии кожи наблюдается в паре «Доброкачественные» и «Предопухолевые состояния и злокачественные новообразования кожи» — 5.9%. Анализ ошибок показал, что нейронная сеть ошибочно отнесла диспластический невус к доброкачественному невусу. При визуальном сравнении (рис. 1), действительно, могут возникнуть трудности в дифференциальной диагностике таких случаев.

Рисунок 1: Сравнение макросъемки пигментного и диспластического невуса

Такие клинические ситуации требуют более точной дифференциальной диагностики, включая дерматоскопию или биопсию с гистологическим исследованием.

Показатель частоты ошибки подтверждает снижение количества пропущенных кожных патологий. Так, в 2021 году он составлял 7,0%, в 2022 году — 1,8% (-5,2%). То есть количество ошибочных заключений («ложных надежд») значительно сократилось. В абсолютном выражении количество ложноотрицательных заключений снизилось с 328 до 86. Более подробный анализ ложноотрицательных заключений по кожным заболеваниям представлен в таблице 6.

Таблица 6: Сравнительный анализ количества ошибок в 2021 и 2022 годах

Сравнивая показатели частоты ошибок за 2021 и 2022 годы, становится очевидной глобальная тенденция к снижению количества ошибочных интерпретаций при распознавании патологии кожи. Кроме того, такое сравнение позволяет отметить динамику и правильность вектора проводимой работы по совершенствованию нейросети.

Наиболее позитивные изменения произошли в группе Предопухолевые состояния и злокачественные новообразования кожи. Общее количество ошибок в 2021 году составляло 17,4%, а в 2022 году — всего 3,7% (-13,7%). Среди других классов этот показатель снизился с -3,4 до -10,4%.

Учитывая актуальность своевременного и достоверного распознавания рисков патологии кожи, данная тенденция указывает на реальную возможность использования нейронной сети Skinive в клинической практике.

5. Заключение

В 2022 году набор данных, на котором обучался алгоритм Skinive, был увеличен более чем на 50 000 фотографий кожной патологии. Ключевой особенностью всех этих фотографий было то, что подавляющее большинство из них (90-95%) были сделаны на камеру смартфона без использования внешней оптики или других специальных средств (например, дерматоскопов). 

В то же время результаты анализа нейронной сети Skinive 3.0 (обученной в 2022 году в общей сложности на более чем 160 000 изображений) показывают значительное увеличение чувствительности (правильное определение патологии кожи, когда требуется обращение за медицинской помощью) нейросети и специфичности (правильное определение доброкачественных новообразований, когда медицинская помощь не требуется) по сравнению с 2021 годом. 

Добавление модуля качества изображения позволило на ранней стадии отсеивать некачественные изображения, тем самым улучшив качество собранных изображений для наборов данных, что напрямую повлияло на конечную точность алгоритма.

Учитывая ориентацию алгоритма Skinive на мобильные фотографии в 2022 году, можно утверждать, что эта нейронная сеть стала более приспособленной к реальной клинической практике с использованием камеры смартфона. Мобильные устройства с установленным приложением Skinive могут использоваться врачами первичного звена для скрининга кожной патологии с большой уверенностью. Это подтверждается значительным снижением количества ошибочных проходов кожной патологии при распознавании нейронной сетью Skinive. 

Литература

1. Andrews’ diseases of the skin: clinical dermatology. James WD, Berger TG, Elston DM, Odom RB. Saunders Elsevier; 2006.
2. Current state of melanoma diagnosis and treatment. Davis, L.E.; Shalin, S.C.; Tackett, A.J. Cancer Biol. Ther. 2019, 20, 1366–1379. https://doi.org/10.1080/15384047.2019.1640032
3. Epidemiology of skin cancer. Ulrike Leiter, Thomas Eigentler, Claus Garbe. PMID: 25207363. DOI: 10.1007/978-1-4939-0437-2_7
4. Augustin M, Reusch M, Augustin J, Wagner T, Kämpfe S. European dermatology health care survey. Short report. 2013 (https://www.dermasurvey.eu/wp-content/uploads/eu-derma-health-care-survey-2013-short.pdf)
5. Chui M, Manyika J, Miremadi M. Where machines could replace humans – and where they can’t (yet) (https://www.mckinsey.com/business-functions/digital-mckinsey/our-insights/where-machines-could-replace-humans-and-where-they-cant-yet)
6. Chatterjee, P., et al. The 2019 novel coronavirus disease (COVID-19) pandemic: A review of the current evidence. Indian J Med Res. 2020 Feb & Mar;151(2 & 3):147-159;]), as well as in remote areas [[04]. Health service provision in rural and remote areas: a needs analysis. P Dunne, C Patterson, M Kilmartin, M Sladden. PMID: 8028543. DOI: 10.5694/j.1326-5377.1994.tb127349.x
7. Michael DC, Judy W. Agreement between dermatologists and primary care practitioners in the diagnosis of malignant melanoma: review of the literature. J Cutan Med Surg. Sep-Oct 2012;16(5):306-10
8. Liu, Y., et al. A deep learning system for differential diagnosis of skin diseases. Nat Med 26, 900–908 (2020). https://doi.org/10.1038/s41591-020-0842-3
9. Deep Learning Approaches for Prognosis of Automated Skin Disease. Pravin R. Kshirsagar, Hariprasath Manoharan, S. Shitharth, Abdulrhman M. Alshareef, Nabeel Albishry, and Praveen Kumar Balachandran. doi: 10.3390/life12030426. PMCID: PMC8951408. PMID: 35330177
10. Machine Learning and Its Application in Skin Cancer. Kinnor Das, Clay J. Cockerell, Anant Patil, Paweł Pietkiewicz, Mario Giulini, Stephan Grabbe and Mohamad Goldust. PMCID: PMC8705277. DOI: 10.3390/ijerph182413409