Да, отладка фрагментного шейдера OpenGL в RenderDoc возможна. Ключевой момент создание core profile контекста версии не ниже 4.3 с поддержкой вычислений.
Если используется GLFW, установите GLFW_OPENGL_CORE_PROFILE.
Для NVIDIA-карт альтернатива NVIDIA Nsight Graphics.
