如何获取obs视频帧的二进制数据

现在回到第一个目标：捕捉桌面的帧数据，用rendertarget显示并输出到UE5材质。

那么，帧数据到底存放在哪里？如何读取？

现在录屏效率最高的方法，是直接调用gpu方法去从显存拿数据，dx下的方法是AcquireNextFrame函数。

在整个工程搜索这个函数，果然obs在windows下是用这个方法实现的录屏

//obs 录屏核心代码
//用dx截取当前屏幕帧
EXPORT bool gs_duplicator_update_frame(gs_duplicator_t *d)
{
    DXGI_OUTDUPL_FRAME_INFO info;
    ComPtr tex;
    ComPtr res;
    HRESULT hr;

    if (!d->duplicator) {
        return false;
    }
    if (d->updated) {
        return true;
    }

    hr = d->duplicator->AcquireNextFrame(0, &info, res.Assign());
    if (hr == DXGI_ERROR_ACCESS_LOST) {
        return false;

    } else if (hr == DXGI_ERROR_WAIT_TIMEOUT) {
        return true;

    } else if (FAILED(hr)) {
        blog(LOG_ERROR,
             "gs_duplicator_update_frame: Failed to update "
             "frame (%08lX)",
             hr);
        return true;
    }
    //关键步骤，这一步调用dx查询接口，将屏幕帧写入tex
    hr = res->QueryInterface(__uuidof(ID3D11Texture2D),
                 (void **)tex.Assign());
    if (FAILED(hr)) {
        blog(LOG_ERROR,
             "gs_duplicator_update_frame: Failed to query "
             "ID3D11Texture2D (%08lX)",
             hr);
        d->duplicator->ReleaseFrame();
        return true;
    }
    //copy材质到d->duplicator->texture
    copy_texture(d, tex);
    d->duplicator->ReleaseFrame();
    d->updated = true;
    return true;
}

看到这里，明白了怪不得之前所有结构都找不到图像帧的二进制data数据。

因为obs用的都是directX或openGL 的texture来存储data数据，这样做的好处是copy和渲染都直接在显存操作，避免了内存和显存交换数据进行的效率损耗。

obs是优雅了，但太浑然一体了。导致我想开个口子从obs拿二进制数据到Unrea5进行渲染就不容易做了，最简单的办法就是在obs中增加一个内存数据desktopdata，直接挂在obs下面，并增加相应的访问接口。

但这样效率肯定不会高，因为obs调用显存接口录屏之后， 还需要从显存往内存desktopdata copy一次数据。

然后我用desktopdata数据再从内存copy到Unreal5的显存，这会中断unreal5本身的渲染，去等待我这次copy完成。

有貌似完美的解决方法，如果我把desktopdata创建到显存，去暂存录屏数据，让unreal5直接访问显存的desktopdata，去copy材质，理论上是完美的，但有一个最大的雷，obs用的是dx11，unreal5.1用的是dx12，这样copy感觉会遇到一些不可测的风险。

剩下的方法有：

1 不用obs的获取桌面方法，直接在unreal5里用dx12重写获取桌面接口，但也意味着无法使用obs的rtmp推流相关流程和接口，工作量很大。而且obs最厉害的是音频和视频多通道混合，这些都是我想用的。

2 帮obs升级dx12，这个可以干，但工作量同样很大，但比1还是简单一些。