Ничего особенного, синус валит, меандр с плохим фронтом, регулятор не переменник, а энкодер и ступенчато регулирует, а это выбешивает зачастую, когда нужно выставить амплитуду точно. Жаль тебя расстраивать, но против правды не попрешь.
Для примера подсмотрел в свои записи, когда измерял относительный уровень. На 100кГц выставил 4,96Вп-п, на 200кГц уже 4,6Вп-п осталось, дальше - менше 400к - 3,44 600к - 2,5 800к - 1,86. Реально выше 500кГц уже на экране осцилла верхушки синуса скачут. Это измерения с отключенным фильтром, с ним завал будет еще больше. После 200кГц меандр становится почти синусом. Больше пометок не сохранилось кажется, а если и сохранились - сейчас фиг найду.