ФИЛЬТРАЦИЯ ШУМОВ

В программе МультиХром версии 1.7 (опционально) и версии 3.х (модификации PRO) применяется новый усовершенствованный метод фильтрации шумов хроматографического сигнала.

Основная задача при обработке цифрового сигнала – получить на основа-нии массива цифровых данных максимально точную оценку аналогового сигнала, породившего эти данные.
Нами предложен принципиально новый алгоритм фильтрации шумов (Доверительный фильтр), обеспечивающий минимальный возможный доверительный интервал для каждой точки хроматограммы. Каждая точка ап-проксимируется полиномом, степень которого, ширина окна и сдвиг окна относительно аппроксимируемой точки выбираются индивидуально. Алго-ритм имеет единственный настроечный параметр — ширину базового окна, которая зависит от минимальной ширины анализируемого пика и по сути дает определение величины шума базовой линии. Алгоритм ставит точку в дискуссии о том, какой метод фильтрации шумов лучше подходит для каж-дого конкретного случая, поскольку самонастраивается и выдает наилучший возможный в каждом случае результат.

Основные методы фильтрации шумов

Свертка – взвешенное среднее значение, функция, описывающая распре-деление весов называется формой щели.
• Медиана
• Сжатие с усреднением (bunching)
• Скользящее среднее (свертка с прямоугольной щелью)
• Свертка с Гауссианой
• Полиномиальное сглаживание – Метод Савицкого-Голея (= свертка с функцией особой формы)
• Фурье – преобразование, умножение на фильтр, обратное Фурье – преобразование. (= свертка с Фурье-образом фильтра)
• Вейвлет – преобразование (= Обобщение Фурье – преобразования)
Большинство методов фильтрации шумов представляют собой свертку с той или иной формой щели. Главная проблема всех методов – НЕТ КРИТЕРИЯ КАЧЕСТВА СГЛАЖИВАНИЯ
Самый популярный из перечисленных методов – метод Савицкого-Голея, основанный на полиномиальной аппроксимации пиков. Мы попытались улучшить этот метод, используя теорию расчета доверительных интервалов

Большинство методов фильтрации шумов представляют собой свертку с той или иной формой щели. Главная проблема всех методов – НЕТ КРИТЕРИЯ КАЧЕСТВА СГЛАЖИВАНИЯ
Самый популярный из перечисленных методов – метод Савицкого-Голея, основанный на полиномиальной аппроксимации пиков. Мы попытались улучшить этот метод, используя теорию расчета доверительных интервалов
Теория. Расчет доверительного интервала
Доверительный интервал CY вычисляется как

Пример градуировочного графика с вычисленным
доверительным интервалом

 

Аппроксимация с использованием доверительного интервала

Доверительный интервал, используемый для оценки точности предсказа-ний с помощью градуировки, может быть использован как критерий качества аппроксимации при фильтрации шумов. При наличии множества аппроксимационных оценок нужно выбирать ту, в которой доверительный интервал минимален!
 

Алгоритм работы простейшего Доверительного фильтра

• Оценить отклик и доверительный интервал всех точек в новом (сдвинутом) положении окна
• Сравнить новый доверительный интервал с интервалом уже аппроксимированных точек. Если новый интервал меньше имеющегося, заменить оценку (точку и ее доверительный интервал).

Бонус #1: аппроксимация скачка базовой линии

Точки – исходные данные, тонкая сплошная линия – аппроксимация по Савицкому-Голею; толстая сплошная – аппроксимация Доверительным фильтром

Можно повторить аппроксимацию Доверительным фильтром для разных ширин окна или степеней полинома, но возникают проблемы:
• Малое окно: малый доверительный интервал за счет случайной хорошей аппроксимации
• Большое окно: выглаживание малых пиков за счет большого числа степе-ней свободы
• Пульсации насоса – это шум или сигнал?

Проблем много, решение одно: Априорная оценка параметров шума

Если принять предположение, что стандартное отклонение ? шума одинаково по всему массиву анализируемых данных, то его можно оценить, используя весь массив. Полученная оценка может быть использована для улучшения алгоритма.

В частности, при малом числе степеней свободы оценка ? шума по вы-борке менее надежна, чем оценка ? шума по всему массиву данных – ис-правление оценки доверительного интервала «лечит» проблему случайной хорошей аппроксимации.

Чем больше степеней свободы, тем ближе должна быть величина S2 к ?2. Критерий ?2, примененный в этом случае, определяет величину SR2 и позво-ляет отсеивать полиномы, имеющие систематическую ошибку аппроксима-ции (неправильный выбор модели)

Примеры применения Доверительного фильтра в хроматографии

Аппроксимация с переменной шириной окна: белый шум

  
 

Оптимальное подавление шума базовой линии без изменения формы пика
Нефильтрованные (сплошная линия) и отфильтрованные данные

/td>
Таким образом меняется оптимальное окно аппроксимации

Аппроксимация с переменной шириной окна: пульсации насоса

Пульсация насоса может быть как сигналом, так и шумом. При заданном высоком априорном уровне шумов пульсации насоса исчезают

А при низком априорном уровне шумов пульсации остаются, но становятся более гладкими

Изократическая хроматография: Оптимальная аппроксимация широких и уз-ких пиков

Узкие пики не уширяются и их высота не становится меньше, широкие пики хорошо «выглаживаются»

Практический пример: Капиллярный электрофорез

Капиллярный электрофорез – один из самых сложных объектов для при-менения фильтров из-за формы пиков: они бывают очень узкими или тре-угольными. Доверительный фильтр хорошо справляется с электрофореграм-мами. Оптимальное увеличение чувствительности и предела обнаружения не ведет к искажению больших пиков.
На рисунках представлены: сигнал КЭФ (черная линия), сглаженный До-верительным фильтром (синяя линия) и по алгоритму Савицкого-Голея (красная линия).
Разница между исходным и сглаженным сигналами для доверительного фильтра (красная линия) и фильтра Савицкого-Голея, оптимизированного для пика, выходящего на 10й минуте (черная линия). Уровень шумоподавления для анализируемого пика примерно одинаков, а искажения сигнала для доверительного фильтра в 10 раз меньше.

Детали применения Доверительного фильтра в капиллярном электрофорезе

Исходный сигнал (сплошная линия), отфильтрованный сигнал (штриховая линия) и фильтрация по алгоритму Савицкого-Голея (пунктир)
Размер щели (штриховая линия) и смещение аппроксимируемой точки относительно центра (сплошная линия)
Профиль величины доверительного интервала

Перспективы

: • Поддержка взвешенного метода наименьших квадратов и расчет доверительного интервала при заранее известных доверительных интер-валах всех точек
• Двумерные и многомерные массивы данных – планарная хромато-графия, хромато-масс-спектрометрия, фотография

Выводы:

• Доверительный фильтр – ЛУЧШАЯ С МЕТРОЛОГИЧЕСКОЙ ТОЧКИ ЗРЕНИЯ аппроксимация результатов измерения полиномами
• ПРЕДУПРЕЖДЕНИЕ: Предоставленная методика НЕ ОТМЕНЯЕТ необ-ходимость бороться с избыточными электрическими шумами