鸿蒙OS 视频编解码开发指导
场景介绍
视频编解码的主要工作是将视频进行编码和解码。
接口说明
| 接口名 | 功能描述 |
|---|---|
| createDecoder() | 创建解码器Codec实例。 |
| createEncoder() | 创建编码器Codec实例。 |
| registerCodecListener(ICodecListener listener) | 注册侦听器用来异步接收编码或解码后的数据。 |
| setSource(Source source, TrackInfo trackInfo) | 根据解码器的源轨道信息设置数据源，对于编码器trackInfo无效。 |
| setSourceFormat(Format format) | 编码器的管道模式下，设置编码器编码格式。 |
| setCodecFormat(Format format) | 普通模式设置编/解码器参数。 |
| setVideoSurface(Surface surface) | 设置解码器的Surface。 |
| getAvailableBuffer(long timeout) | 普通模式获取可用ByteBuffer。 |
| writeBuffer(ByteBuffer buffer, BufferInfo info) | 推送源数据给Codec。 |
| getBufferFormat(ByteBuffer buffer) | 获取输出Buffer数据格式。 |
| start() | 启动编/解码。 |
| stop() | 停止编/解码。 |
| release() | 释放所有资源。 |
普通模式开发步骤
在普通模式下进行编解码，应用必须持续地传输数据到 Codec 实例。
编码的具体开发步骤如下：
- 创建编码 Codec 实例，可调用 createEncoder() 创建。
final Codec encoder = Codec.createEncoder();- 构造数据源格式，并设置给 Codec 实例，调用 setCodecFormat()，代码示例如下：
Format fmt = new Format();
fmt.putStringValue(Format.MIME, Format.VIDEO_AVC);
fmt.putIntValue(Format.WIDTH, 1920);
fmt.putIntValue(Format.HEIGHT, 1080);
fmt.putIntValue(Format.BIT_RATE, 392000);
fmt.putIntValue(Format.FRAME_RATE, 30);
fmt.putIntValue(Format.FRAME_INTERVAL, -1);
codec.setCodecFormat(fmt);- 如果需要编码过程中，检测是否读取到 Buffer 数据以及是否发生异常，可以构造 ICodecListener， ICodecListener 需要实现两个方法，实现读到 Buffer 数据时、编码发生异常时做相应的操作。举例中读到 buffer 时，获取 buffer 的 format 格式，异常时抛出运行时异常，代码示例如下：
Codec.ICodecListener listener = new Codec.ICodecListener() {
@Override
public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) {
Format fmt = codec.getBufferFormat(byteBuffer);
}
@Override
public void onError(int errorCode, int act, int trackId) {
throw new RuntimeException();
}
};- 调用 start() 方法开始编码。
- 调用 getAvailableBuffer() 取到一个可用的 ByteBuffer，把数据填入 ByteBuffer 里，然后再调用 writeBuffer() 把 ByteBuffer 写入编码器实例。
- 调用 stop() 方法停止编码。
- 编码任务结束后，调用 release() 释放资源。
解码的具体开发步骤如下：
- 创建解码 Codec 实例，可调用 createDecoder() 创建。
- 构造数据源格式，并设置给 Codec 实例，调用 setCodecFormat()，代码示例如下：
Format fmt = new Format();
fmt.putStringValue(Format.MIME, Format.VIDEO_AVC);
fmt.putIntValue(Format.WIDTH, 1920);
fmt.putIntValue(Format.HEIGHT, 1080);
fmt.putIntValue(Format.BIT_RATE, 392000);
fmt.putIntValue(Format.FRAME_RATE, 30);
fmt.putIntValue(Format.FRAME_INTERVAL, -1);
codec.setCodecFormat(fmt);- （可选）如果需要解码过程中，检测是否读取到 Buffer 数据以及是否发生异常，可以构造 ICodecListener，ICodecListener 需要实现两个方法，实现读到 Buffer 数据时、解码发生异常时做相应的操作。举例中读到 buffer 时，获取 buffer 的 format 格式，异常时抛出运行时异常，代码示例如下：
Codec.ICodecListener listener = new Codec.ICodecListener() {
@Override
public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) {
Format fmt = codec.getBufferFormat(byteBuffer);
}
@Override
public void onError(int errorCode, int act, int trackId) {
throw new RuntimeException();
}
};- 调用 start() 方法开始解码。
- 调用 getAvailableBuffer 取到一个可用的 ByteBuffer，把数据填入 ByteBuffer 里，然后再调用 writeBuffer 把 ByteBuffer 写入解码器实例。
- 调用 stop() 方法停止解码。
- 解码任务结束后，调用 release() 释放资源。
管道模式开发步骤
管道模式下应用只需要调用 Source 类的 setSource() 方法，数据会自动解析并传输给 Codec 实例。管道模式编码支持视频流编码和音频流编码。
编码的具体开发步骤如下：
- 调用 createEncoder() 创建编码 Codec 实例。
- 调用 setSource() 设置数据源，支持设定文件路径或者文件 File Descriptor。
- 构造数据源格式或者从 Extractor 中读取数据源格式，并设置给 Codec 实例，调用 setSourceFormat()，构造数据原格式代码示例如下：
Format fmt = new Format();
fmt.putStringValue(Format.MIME, Format.VIDEO_AVC);
fmt.putIntValue(Format.WIDTH, 1920);
fmt.putIntValue(Format.HEIGHT, 1080);
fmt.putIntValue(Format.BIT_RATE, 392000);
fmt.putIntValue(Format.FRAME_RATE, 30);
fmt.putIntValue(Format.FRAME_INTERVAL, -1);
codec.setSourceFormat(fmt);- （可选）如果需要编码过程中，检测是否读取到 Buffer 数据以及是否发生异常，可以构造 ICodecListener，ICodecListener 需要实现两个方法，实现读到 Buffer 数据时、编码发生异常时做相应的操作。举例中读到 buffer 时，获取 buffer 的 format 格式，异常时抛出运行时异常，代码示例如下：
Codec.ICodecListener listener = new Codec.ICodecListener() {
@Override
public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) {
Format fmt = codec.getBufferFormat(byteBuffer);
}
@Override
public void onError(int errorCode, int act, int trackId) {
throw new RuntimeException();
}
};- 调用 start() 方法开始编码。
- 调用 stop() 方法停止编码。
- 编码任务结束后，调用 release() 释放资源。
解码的具体开发步骤如下：
- 调用 createDecoder()创建解码 Codec 实例。
- 调用 setSource()设置数据源，支持设定文件路径或者文件 File Descriptor。
- （可选）如果需要解码过程中，检测是否读取到 Buffer数据以及是否发生异常，可以构造 ICodecListener，ICodecListener 需要实现两个方法，实现读到 Buffer 数据时、解码发生异常时做相应的操作。举例中读到 buffer 时，获取 buffer 的 format 格式，异常时抛出运行时异常，代码示例如下：
Codec.ICodecListener listener = new Codec.ICodecListener() {
@Override
public void onReadBuffer(ByteBuffer byteBuffer, BufferInfo bufferInfo, int trackId) {
Format fmt = codec.getBufferFormat(byteBuffer);
}
@Override
public void onError(int errorCode, int act, int trackId) {
throw new RuntimeException();
}
};- 调用 start() 方法开始解码。
- 调用 stop() 方法停止解码。
- 解码任务结束后，调用 release() 释放资源。