学习地址1：https://pan.baidu.com/s/13NbZaZ8ufTXELagi8WQyHQ 提取码：2o5i
学习地址2：https://pan.baidu.com/s/1Vr_KcjKdz0qmVlufrwBtsQ 提取码：tylx


本文以共享桌面项目为驱动，以渐进迭代的授课方式，遵循RFC标准，深入解析STUN/TURN/DTLS/ICE/RTP/RTCP/SRTP/SRTCP等网络传输协议栈，手把手带你实现WebRTC P2P通信核心技术和ICE网络框架。教学过程中还会设计针对性实验，验证效果，让你学习顺畅，收获满满。希望通过本文的学习，你能先人一步，突破瓶颈，顺利跨入音视频领域高手行列。

音视频技术涉及广泛。包括语音信号处理、数字图像处理、信息论、封装格式、编解码、流媒体协议、网络传输、渲染、算法等方面。在现实生活中，音视频也扮演着越来越重要的角色，比如 视频会议、直播、短视频、播放器、语音聊天 等。接下来将从几个维度进行介绍：简单理解音视频原理、音视频理论基础、音视频学习路线、媒体协议和音视频发展方向。


一、编码格式
视频
H.264：压缩率约250: 1倍；有损编码，压缩率根据场景不定、变化的；
H.265：压缩率约300: 1倍；有损编码，压缩率根据场景不定、变化的；

图片
JPEG：压缩率在10: 1到40：1之间；有损编码，压缩率根据场景不定、变化的；
PNG：压缩率在2：1到8：1之间；无损编码；

音频
G711U：压缩率固定为57%，一般用于北美和日本；
G711A: 压缩率固定为62%，一般用于欧洲和世界其他地区。一般采样率为8k，基于查表、位运算等操作进行编码，编码速度快，但是失真度较大。
G726：G726编码的输入一般是G711编码的输出，其实质就是一个ADPCM算法(自适应插值脉冲调制)，编码效率高，压缩率比G711大，压缩率为8：1、16：3、4：1、16：5几种。
AAC：一般采样率为16k属于感知音频编码，利用人耳听觉的掩蔽效应，在时域和频域进行编码，编码效果较好，压缩率在20:1左右。

二、视频帧率：
测量显示帧数的量度，单位为每秒显示帧数(FPS，全称为Frame Per Second)。一般视频帧率为24fps，P制(PAL，德国提出，中国、印度、巴基斯坦等国家使用)为25fps，也就是每帧显示40ms，N制(NTSC，美国标准委员会提出，美国、日本、韩国等国家使用)为30fps。有些超高帧率的视频达到60fps。

三、显示帧率：
以帧为单位的位图图像连续出现在显示器的频率，也称为刷新速率。Android设备刷新率一般为60Hz，也就是帧率为60fps，每帧为16ms，超过16ms能给人的肉眼带来延迟卡顿的感觉。做性能优化方面，也就是保证从测量、布局、绘制、上传指令、与GPU交换缓冲区等一系列动作在16ms完成。Android11支持120Hz的更高帧率，一般为对帧率要求极高的应用场景，比如互动游戏。

四、YUV
YUV则是一种基于亮度和色差的颜色编码方式，采用亮度（Y）和两个色差（U、V）分量来表示色彩信息。其中，亮度（Y）代表黑白灰调，色差（U、V）代表绿色和蓝色相对于红色的偏差。YUV模式下，色彩分量被分开表示，人眼感知亮度和颜色不同，YUV模式将图像的亮度和颜色分开处理，不仅可以节省存储空间，而且适合人眼的视觉特性，优化了图像的压缩，常用于数字电视、DVD、视频编码等应用中。

对于YUV格式，每个像素通常由1个亮度分量（即Y）和2个色度分量（即U和V）组成。通常为了保证兼容性和采样精度，YUV格式通常进行压缩。对于4:2:0压缩方式的YUV，每4个像素共用2个UV分量，因此每个像素由1.5个分量组成。因此，对于YUV 4:2:0格式，每个像素通常占用1.5个字节。

五、RGB
RGB即红绿蓝三个通道的颜色模型，每个像素由三个颜色通道的取值组成，代表了像素的红、绿、蓝三个基本颜色成分的浓度，RGB模式下每个像素需要占用三个字节的存储空间，而且强调颜色分量之间的独立性，对于色调、亮度、色彩鲜艳、清晰度要求高的场合使用比较多，如显示器、电视、摄像机等。

R:Red——红色分量；
G:Green——绿色分量；
B:Blue——蓝色分量；
对于RGB格式，每个像素通常由3个8位（即24位）的分量组成，即红（R）、绿（G）和蓝（B）三原色。因此，对于RGB格式，每个像素通常占用3个字节。

六、网络视频服务平台对比
目前网络音视频服务主要有2种，一种就是直播平台，比如网络电视台、各种直播APP等，还有就是点播平台，可以根据用户的需要播放相应的视频节目，比如视频网站等。
其中直播平台主要架构就是RTMP+FLV+H.264+AAC这个技术方案，而点播平台一般都是HTTP+FLV+H.264+AAC这个架构，这些知识点到后面更深入的学习我们将进一步了解。