14309人阅读
流媒体（25）
H264码流打包成RTP包的代码如下：
#include &stdio.h&
#include &stdlib.h&
#include &conio.h&
#include &string.h&
#include &winsock2.h&
#include &winsock2.h&
//#include &mem.h&
#define PACKET_BUFFER_END
(unsigned int)0x
#define MAX_RTP_PKT_LENGTH
#define DEST_IP
&180.101.59.185&
#define DEST_PORT
#define H264
typedef struct
/**//* byte 0 */
unsigned char csrc_len:4;
/**//* expect 0 */
unsigned char extension:1;
/**//* expect 1, see RTP_OP below */
unsigned char padding:1;
/**//* expect 0 */
unsigned char version:2;
/**//* expect 2 */
/**//* byte 1 */
unsigned char payload:7;
/**//* RTP_PAYLOAD_RTSP */
unsigned char marker:1;
/**//* expect 1 */
/**//* bytes 2, 3 */
unsigned short seq_
/**//* bytes 4-7 */
/**//* bytes 8-11 */
/**//* stream number is used here. */
} RTP_FIXED_HEADER;
typedef struct {
unsigned char TYPE:5;
unsigned char NRI:2;
unsigned char F:1;
} NALU_HEADER; /**//* 1 BYTES */
typedef struct {
unsigned char TYPE:5;
unsigned char NRI:2;
unsigned char F:1;
} FU_INDICATOR; /**//* 1 BYTES */
typedef struct {
unsigned char TYPE:5;
unsigned char R:1;
unsigned char E:1;
unsigned char S:1;
} FU_HEADER; /**//* 1 BYTES */
BOOL InitWinsock();
#include &stdio.h&
#include &stdlib.h&
#include &string.h&
#include &memory.h&
#include &h264.h&
#pragma comment(lib,&ws2_32.lib&)
typedef struct
int startcodeprefix_
//! 4 for parameter sets and first slice in picture, 3 for everything else (suggested)
//! Length of the NAL unit (Excluding the start code, which does not belong to the NALU)
unsigned max_
//! Nal Unit Buffer size
int forbidden_
//! should be always FALSE
int nal_reference_
//! NALU_PRIORITY_xxxx
int nal_unit_
//! NALU_TYPE_xxxx
//! contains the first byte followed by the EBSP
unsigned short lost_
//! true, if packet loss is detected
FILE *bits = NULL;
//!& the bit stream file
static int FindStartCode2 (unsigned char *Buf);//查找开始字符0x000001
static int FindStartCode3 (unsigned char *Buf);//查找开始字符0x
//static bool flag =
static int info2=0, info3=0;
RTP_FIXED_HEADER
NALU_HEADER
FU_INDICATOR *fu_
BOOL InitWinsock()
WORD VersionR
WSADATA WsaD
VersionRequested=MAKEWORD(2,2);
Error=WSAStartup(VersionRequested,&WsaData); //启动WinSock2
if(Error!=0)
return FALSE;
if(LOBYTE(WsaData.wVersion)!=2||HIBYTE(WsaData.wHighVersion)!=2)
WSACleanup();
return FALSE;
return TRUE;
//为NALU_t结构体分配内存空间
NALU_t *AllocNALU(int buffersize)
NALU_t *n;
if ((n = (NALU_t*)calloc (1, sizeof (NALU_t))) == NULL)
printf(&AllocNALU: n&);
n-&max_size=
if ((n-&buf = (char*)calloc (buffersize, sizeof (char))) == NULL)
printf (&AllocNALU: n-&buf&);
void FreeNALU(NALU_t *n)
if (n-&buf)
free(n-&buf);
n-&buf=NULL;
void OpenBitstreamFile (char *fn)
if (NULL == (bits=fopen(fn, &rb&)))
printf(&open file error\n&);
//这个函数输入为一个NAL结构体，主要功能为得到一个完整的NALU并保存在NALU_t的buf中，获取他的长度，填充F,IDC,TYPE位。
//并且返回两个开始字符之间间隔的字节数，即包含有前缀的NALU的长度
int GetAnnexbNALU (NALU_t *nalu)
int pos = 0;
int StartCodeFound,
unsigned char *B
if ((Buf = (unsigned char*)calloc (nalu-&max_size , sizeof(char))) == NULL)
printf (&GetAnnexbNALU: Could not allocate Buf memory\n&);
nalu-&startcodeprefix_len=3;//初始化码流序列的开始字符为3个字节
if (3 != fread (Buf, 1, 3, bits))//从码流中读3个字节
free(Buf);
info2 = FindStartCode2 (Buf);//判断是否为0x000001
if(info2 != 1)
//如果不是，再读一个字节
if(1 != fread(Buf+3, 1, 1, bits))//读一个字节
free(Buf);
info3 = FindStartCode3 (Buf);//判断是否为0x
if (info3 != 1)//如果不是，返回-1
free(Buf);
return -1;
//如果是0x,得到开始前缀为4个字节
nalu-&startcodeprefix_len = 4;
//如果是0x000001,得到开始前缀为3个字节
nalu-&startcodeprefix_len = 3;
//查找下一个开始字符的标志位
StartCodeFound = 0;
info2 = 0;
info3 = 0;
while (!StartCodeFound)
if (feof (bits))//判断是否到了文件尾，文件结束，则返回非0值，否则返回0
nalu-&len = (pos-1)-nalu-&startcodeprefix_
//NALU单元的长度。
memcpy (nalu-&buf, &Buf[nalu-&startcodeprefix_len], nalu-&len);
nalu-&forbidden_bit = nalu-&buf[0] & 0x80; //1 bit
nalu-&nal_reference_idc = nalu-&buf[0] & 0x60; // 2 bit
nalu-&nal_unit_type = (nalu-&buf[0]) & 0x1f;// 5 bit
free(Buf);
return pos-1;
Buf[pos++] = fgetc (bits);//读一个字节到BUF中
info3 = FindStartCode3(&Buf[pos-4]);//判断是否为0x
if(info3 != 1)
info2 = FindStartCode2(&Buf[pos-3]);//判断是否为0x000001
StartCodeFound = (info2 == 1 || info3 == 1);
// Here, we have found another start code (and read length of startcode bytes more than we should
Hence, go back in the file
rewind = (info3 == 1)? -4 : -3;
if (0 != fseek (bits, rewind, SEEK_CUR))//把文件指针指向前一个NALU的末尾，在当前文件指针位置上偏移 rewind。
free(Buf);
printf(&GetAnnexbNALU: Cannot fseek in the bit stream file&);
// Here the Start code, the complete NALU, and the next start code is in the Buf.
// The size of Buf is pos, pos+rewind are the number of bytes excluding the next
// start code, and (pos+rewind)-startcodeprefix_len is the size of the NALU excluding the start code
nalu-&len = (pos+rewind)-nalu-&startcodeprefix_
//NALU长度，不包括头部。
memcpy (nalu-&buf, &Buf[nalu-&startcodeprefix_len], nalu-&len);//拷贝一个完整NALU，不拷贝起始前缀0xx
nalu-&forbidden_bit = nalu-&buf[0] & 0x80; //1 bit
nalu-&nal_reference_idc = nalu-&buf[0] & 0x60; // 2 bit
nalu-&nal_unit_type = (nalu-&buf[0]) & 0x1f;// 5 bit
free(Buf);
return (pos+rewind);//返回两个开始字符之间间隔的字节数，即包含有前缀的NALU的长度
//输出NALU长度和TYPE
void dump(NALU_t *n)
//printf(&a new nal:&);
printf(& len: %d
&, n-&len);
printf(&nal_unit_type: %x\n&, n-&nal_unit_type);
int main(int argc, char* argv[])
OpenBitstreamFile(&./test2.264&);//打开264文件，并将文件指针赋给bits,在此修改文件名实现打开别的264文件。
NALU_t *n;
char* nalu_
char sendbuf[1500];
unsigned short seq_num =0;
int bytes=0;
InitWinsock(); //初始化套接字库
struct sockaddr_
int len =sizeof(server);
float framerate=15;
unsigned int timestamp_increse=0,ts_current=0;
timestamp_increse=(unsigned int)(90000.0 / framerate); //+0.5);
//时间戳，H264的视频设置成90000
server.sin_family=AF_INET;
server.sin_port=htons(DEST_PORT);
server.sin_addr.s_addr=inet_addr(DEST_IP);
socket1=socket(AF_INET,SOCK_DGRAM,0);
connect(socket1, (const sockaddr *)&server, len) ;//申请UDP套接字
n = AllocNALU(8000000);//为结构体nalu_t及其成员buf分配空间。返回值为指向nalu_t存储空间的指针
while(!feof(bits))
GetAnnexbNALU(n);//每执行一次，文件的指针指向本次找到的NALU的末尾，下一个位置即为下个NALU的起始码0x000001
dump(n);//输出NALU长度和TYPE
//（1）一个NALU就是一个RTP包的情况： RTP_FIXED_HEADER（12字节）
+ NALU_HEADER（1字节） + EBPS
//（2）一个NALU分成多个RTP包的情况： RTP_FIXED_HEADER （12字节） + FU_INDICATOR （1字节）+
FU_HEADER（1字节） + EBPS(1400字节)
memset(sendbuf,0,1500);//清空sendbuf；此时会将上次的时间戳清空，因此需要ts_current来保存上次的时间戳值
//rtp固定包头，为12字节,该句将sendbuf[0]的地址赋给rtp_hdr，以后对rtp_hdr的写入操作将直接写入sendbuf。
rtp_hdr =(RTP_FIXED_HEADER*)&sendbuf[0];
//设置RTP HEADER，
rtp_hdr-&payload
//负载类型号，
rtp_hdr-&version
//版本号，此版本固定为2
rtp_hdr-&marker
//标志位，由具体协议规定其值。
rtp_hdr-&ssrc
= htonl(10);
//随机指定为10，并且在本RTP会话中全局唯一
// 当一个NALU小于1400字节的时候，采用一个单RTP包发送
if(n-&len &= 1400)
//设置rtp M 位；
rtp_hdr-&marker = 1;
rtp_hdr-&seq_no
= htons(seq_num ++); //序列号，每发送一个RTP包增1，htons，将主机字节序转成网络字节序。
//设置NALU HEADER,并将这个HEADER填入sendbuf[12]
nalu_hdr =(NALU_HEADER*)&sendbuf[12]; //将sendbuf[12]的地址赋给nalu_hdr，之后对nalu_hdr的写入就将写入sendbuf中；
nalu_hdr-&F = n-&forbidden_
nalu_hdr-&NRI=n-&nal_reference_idc&&5;//有效数据在n-&nal_reference_idc的第6，7位，需要右移5位才能将其值赋给nalu_hdr-&NRI。
nalu_hdr-&TYPE=n-&nal_unit_
nalu_payload=&sendbuf[13];//同理将sendbuf[13]赋给nalu_payload
memcpy(nalu_payload,n-&buf+1,n-&len-1);//去掉nalu头的nalu剩余内容写入sendbuf[13]开始的字符串。
ts_current = ts_current + timestamp_
rtp_hdr-&timestamp=htonl(ts_current);
bytes=n-&len + 12 ; //获得sendbuf的长度,为nalu的长度（包含NALU头但除去起始前缀）加上rtp_header的固定长度12字节
send(socket1, sendbuf, bytes, 0);//发送rtp包
// Sleep(100);
else if(n-&len & 1400)
//这里就要分成多个RTP包发送了。
//得到该nalu需要用多少长度为1400字节的RTP包来发送
int k = 0, last = 0;
k = n-&len / 1400;//需要k个1400字节的RTP包，这里为什么不加1呢？因为是从0开始计数的。
last = n-&len % 1400;//最后一个RTP包的需要装载的字节数
int t = 0;//用于指示当前发送的是第几个分片RTP包
ts_current = ts_current + timestamp_
rtp_hdr-&timestamp = htonl(ts_current);
while(t &= k)
rtp_hdr-&seq_no = htons(seq_num++); //序列号，每发送一个RTP包增1
if(!t)//发送一个需要分片的NALU的第一个分片，置FU HEADER的S位,t = 0时进入此逻辑。
//设置rtp M 位；
rtp_hdr-&marker = 0;
//最后一个NALU时，该值设置成1，其他都设置成0。
//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；
fu_ind-&F = n-&forbidden_
fu_ind-&NRI = n-&nal_reference_idc && 5;
fu_ind-&TYPE = 28;
//FU-A类型。
//设置FU HEADER,并将这个HEADER填入sendbuf[13]
fu_hdr =(FU_HEADER*)&sendbuf[13];
fu_hdr-&E = 0;
fu_hdr-&R = 0;
fu_hdr-&S = 1;
fu_hdr-&TYPE = n-&nal_unit_
nalu_payload = &sendbuf[14];//同理将sendbuf[14]赋给nalu_payload
memcpy(nalu_payload,n-&buf+1,1400);//去掉NALU头，每次拷贝1400个字节。
bytes = 1400 + 14;//获得sendbuf的长度,为nalu的长度（除去起始前缀和NALU头）加上rtp_header，fu_ind，fu_hdr的固定长度
send( socket1, sendbuf, bytes, 0 );//发送rtp包
//发送一个需要分片的NALU的非第一个分片，清零FU HEADER的S位，如果该分片是该NALU的最后一个分片，置FU HEADER的E位
else if(k == t)//发送的是最后一个分片，注意最后一个分片的长度可能超过1400字节（当 l& 1386时）。
//设置rtp M 位；当前传输的是最后一个分片时该位置1
rtp_hdr-&marker=1;
//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
fu_ind =(FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；
fu_ind-&F=n-&forbidden_
fu_ind-&NRI=n-&nal_reference_idc&&5;
fu_ind-&TYPE=28;
//设置FU HEADER,并将这个HEADER填入sendbuf[13]
fu_hdr = (FU_HEADER*)&sendbuf[13];
fu_hdr-&R = 0;
fu_hdr-&S = 0;
fu_hdr-&TYPE = n-&nal_unit_
fu_hdr-&E = 1;
nalu_payload = &sendbuf[14];//同理将sendbuf[14]的地址赋给nalu_payload
memcpy(nalu_payload,n-&buf + t*1400 + 1,last-1);//将nalu最后剩余的l-1(去掉了一个字节的NALU头)字节内容写入sendbuf[14]开始的字符串。
bytes = last - 1 + 14;
//获得sendbuf的长度,为剩余nalu的长度l-1加上rtp_header，FU_INDICATOR,FU_HEADER三个包头共14字节
send(socket1, sendbuf, bytes, 0);//发送rtp包
//Sleep(100);
//既不是第一个分片，也不是最后一个分片的处理。
else if(t & k && 0 != t)
//设置rtp M 位；
rtp_hdr-&marker = 0;
//设置FU INDICATOR,并将这个HEADER填入sendbuf[12]
fu_ind = (FU_INDICATOR*)&sendbuf[12]; //将sendbuf[12]的地址赋给fu_ind，之后对fu_ind的写入就将写入sendbuf中；
fu_ind-&F = n-&forbidden_
fu_ind-&NRI = n-&nal_reference_idc&&5;
fu_ind-&TYPE = 28;
//设置FU HEADER,并将这个HEADER填入sendbuf[13]
fu_hdr =(FU_HEADER*)&sendbuf[13];
fu_hdr-&R = 0;
fu_hdr-&S = 0;
fu_hdr-&E = 0;
fu_hdr-&TYPE = n-&nal_unit_
nalu_payload=&sendbuf[14];//同理将sendbuf[14]的地址赋给nalu_payload
memcpy(nalu_payload, n-&buf + t * 1400 + 1,1400);//去掉起始前缀的nalu剩余内容写入sendbuf[14]开始的字符串。
bytes=1400 + 14;
//获得sendbuf的长度,为nalu的长度（除去原NALU头）加上rtp_header，fu_ind，fu_hdr的固定长度14字节
send(socket1, sendbuf, bytes, 0);//发送rtp包
FreeNALU(n);
static int FindStartCode2 (unsigned char *Buf)
if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=1) return 0; //判断是否为0x000001,如果是返回1
else return 1;
static int FindStartCode3 (unsigned char *Buf)
if(Buf[0]!=0 || Buf[1]!=0 || Buf[2] !=0 || Buf[3] !=1) return 0;//判断是否为0x,如果是返回1
else return 1;
&RTP header格式，见下图：
各个字段代表含义如下：
V:版本号，一般为2;
P：填充字段标识；
X：扩展头标识；
CC：CSRC计数，4比特
M：标志 1bit，在传输h264时表示h264 nalu的最后一包
PT：负载类型 7 bits, H264类型为96,荷载类型的赋值或者通过profile或者通过动态方式
SN：序列号16 bits
Timestamp：时间戳32bits，如果为视频的话，应该设置为1/9000,音频为1/8000，如果NAL单元没有他自己的时间属性(即,parameter set and SEI NAL units)，RTP时戳设置成访问单元主编码图像的RTP时戳。
SSRC：32bits，用以识别同步源。
CSRC列表：0到15项，每项32比特，CSRC列表识别在此包中负载的所有贡献源。识别符的数目在CC域中给定。若有贡献源多于15个，仅识别15个。CSRC识别符由混合器插入，并列出所有贡献源的SSRC识别符。例如语音包，混合产生新包的所有源的SSRC标识符都被列出，这样可以在接收端正确指示参与者。& &&
RTP payload格式：
& & & & H.264Payload 格式定义了三种不同的基本的负载(Payload)结构，接收端可能通过RTP Payload的第一个字节来识别它们。这一个字节类似NALU 头的格式，而这个头结构的NAL 单元类型字段则指出了代表的是哪一种结构，这个字节的结构如下：
F & & & &1比特
NRI & & &2比特
Type & & 5比特
可以看出它和H.264 的NALU 头结构是一样的。
字段Type：这个RTP payload 中 NAL 单元的类型。 这个字段和 H.264 中类型字段的区别是，当type的值为24-31表示这是一个特别格式的 NAL 单元，而H.264中，只取1-23是有效的值。
关于NALU使用RTP包进行发送可能的类型有：
1. 单一 NAL 单元模式
& & & &即一个 RTP 包仅由一个完整的 NALU 组成。这种情况下 RTP NAL 头类型字段和原始的H.264的NALU 头类型字段是一样的。
对于 NALU的长度小于 MTU 大小的包，一般采用单一 NAL 单元模式。对于一个原始的H.264 NALU 单元常由 [StartCode] [NALU Header] [NALU Payload] 三部分组成，其中 Start Code 用于标示这是一个NALU 单元的开始，必须是&00 00 00 01& 或&00 00 01&，
NALU 头仅一个字节，其后都是 NALU 单元内容。打包时去除 &00 00 01& 或&00 00 00 01& 的开始码，把其他数据封包的 RTP 包即可，有如下例子：
42 A0 1E 23 56 0E 2F ... ]
封装成 RTP 包将如下:
[ RTPHeader ] [ 67 42 A0 1E 23 56 0E 2F ]
（在这里要说明的是，如果客户端是通用的播放器，比如VLC或者JM的话需要将前导码去掉，但是如果使用的是ffmpeg在客户端解码的话，发送前不需要去掉前导码，去掉之后可能会导致ffmpeg解码错误）。
2. 组合封包模式
& & & &即可能是由多个 NAL 单元组成一个 RTP 包。分别有4种组合方式：STAP-A，STAP-B， MTAP16， MTAP24。那么这里的类型值分别是 24，25，26 以及 27。
3. 分片封包模式
& & & &用于把一个 NALU单元封装成多个 RTP 包。存在两种类型 FU-A 和 FU-B。类型值分别是 28 和 29。
而当 NALU 的长度超过 MTU 时，就必须对 NALU 单元进行分片封包。&也称为Fragmentation Units(FUs)。将NALU拆分成小于MTU的数据包进行发送，如果使用的是VLC等网络播放器的话，需要设置FU header，如下图所示：
如果使用的是ffmpeg自行进行数据包接收与解码，则完全不必写FU header。
其实在后面的实际操作中会发现，SPS、PPS都是非常小，不到一百个字节，都是单个的NAl进行打包发送，而I帧一般都比较大，会采用分包发送，一般也是FU-A方式分片，其中MTU一般是1500个字节。FFmpeg中都有现成的源程序可以参考的。
&对于H264的I帧、P帧等主要是FU（分片）发送，那么FU到底是怎样一个过程呢。
& & &相同NAL单元的分片必须使用递增的RTP序号连续顺序发送(第一和最后分片之间没有其他的RTP包）。相似, NAL单元必须按照RTP顺序号的顺序装配。FUs不可以嵌套。即 一个FU 不可以包含另一个FU。运送FU的RTP时戳被设置成分片NALU的NALU的时刻。
& & &&FU-A的RTP荷载格式：
& & &&& 0 & & & & & & & & & & & & & & & & & & & & & & &1 & & & & & & & & & & & & & & & & & & & & & & 2 & & & & & & & & & & & & & & & & & & & & & &3
& & & & 0 & 1 & 2 &3 & 4 &5 &6 & 7 &8 & 9 & 0 &1 &2 &3 &4 & 5 & 6 & 7 & 8 &9 & 0 &1 & 2 &3 &4 & 5 &6 & 7 & 8 &9 &0 & 1
& & & +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
& & & | & & & FU indicator & & & & &| & & &FU header & & & & & & | & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & &|
& & & +--+--+--+--+--+--+--+--+--+--+--+-+--+--+--+--+ & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & |
& & & | & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & |
& & & | & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & FU payload & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & &|
& & & | & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & |
& & & | & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & +--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
& & & | & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & & &：...OPTIONAL RTP padding & & & & & & & & & & & |
& & &+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+--+
FU indicator : &1字节的分片单元指示
& & & +---------------+
& & & &|0|1|2|3|4|5|6|7|
& & & +-+-+-+-+-+-+-+
& & & |F|NRI| &Type & |
& & & +---------------+
NRI: 2 bits,&00值指示NAL单元的内容不用于重建影响图像的帧间图像预测.这样的NAL单元可以被丢弃而不用冒影响图像完整性的风险。大于00的值指示NAL单元的解码要求维护引用图像的完整性。
注意：任何非零的NRI在H.264 解码器的处理是相同的。因此,接收者在传送NAL单元给解码器时不必操作NRI的值。NRI值必须根据分片NAL单元的NRI值设置。H.264编码器必须根据H.264规范设置NRI值。
当nal_unit_type 范围的是1到12。特别是，H.264规范要求对于nal_unit_type为6，9，10，11，12的NAL单元的NRI的值应该为0。
对于nal_unit_type等于7，8 (指示顺序参数集或图像参数集)的NAL单元,H.264编码器应该设置NRI为11 (二进制格式）。
对于nal_unit_type等于5的主编码图像的编码片NAL单元(指示编码片属于一个IDR图像), H.264编码器应设置NRI为11。
FU header: &1字节的分片单元头
& & & +---------------+
& & & |0|1|2|3|4|5|6|7|
& & &+-+-+-+-+-+-+-+
& & & |S|E|R| &Type & |
& & & +---------------+
S: (1 bit)
& &当设置成1，开始位指示分片NAL单元的开始。当跟随的FU荷载不是分片NAL单元荷载的开始，开始位设为0。
E: (1 bit)
& &当设置成1，结束位指示分片NAL单元的结束，即荷载的最后字节也是分片NAL单元的最后一个字节。
& &当跟随的FU荷载不是分片NAL单元的最后分片,结束位设置为0。
R: (1 bit)
& & 保留位必须设置为0，接收者必须忽略该位。
Type: (5 bit)
& & & &NAL单元荷载类型定义。
FU payload : 分片单元荷载。
关于时间戳，需要注意的是h264的采样率为90000HZ，因此时间戳的单位为1(秒)/90000，因此如果当前视频帧率为25fps，那时间戳间隔或者说增量应该为3600，怎么算出来的呢，每帧是1/25秒，那么这1/25秒有多少个时间戳单元呢，除以1/90000即可。而如果帧率为30fps，则增量为3000，以此类推。
1）第一个FU-A包的FU indicator：
F应该为当前NALU头的F，而NRI应该为当前NALU头的NRI，Type则等于28，表明它是FU-A包。
FU header生成方法：S = 1，E = 0，R = 0，Type则等于NALU头中的Type。
2）后续的N个FU-A包的FU indicator和第一个是完全一样的，如果不是最后一个包，则FU header应该为：S = 0，E = 0，R = 0，
Type等于NALU头中的Type。
3）最后一个FU-A包FU header应该为：S = 0，E = 1，R = 0，Type等于NALU头中的Type。
因此总结就是：
同一个NALU分包的FU indicator头是完全一致的，FU header只有S以及E位有区别，分别标记开始和结束，它们的RTP分包的序列号应该是依次递增的，并且它们的时间戳必须一致，而负载数据为NALU包去掉1个字节的NALU头后对剩余数据的拆分，这点很关键，你可以认为NALU头被拆分成了FU indicator和FU header，所以不再需要1字节的NALU头了。
关于SPS以及PPS，配置帧的传输我采用了先发SPS，再发送PPS，并使用同样的时间戳，或者按照正常时间戳增量再或者组包发送的形式处理貌似都可以，看播放器怎么解码了，另外提一下，如果我们使用vlc进行播放的话，可以在sdp文件中设置SPS以及PPS，这样就可以不用发送它们了。
使用VLC播放时，sdp文件中的分包模式选项：packetization-mode=1，否则有问题。另外sdp里面设置的编码type必须和rtp包中的一致。
ok关于H264的打包就说到这了，其实这些都有现成的了，不用自己去怎么琢磨，但是感兴趣的可以研究下，毕竟知道原理在看代码或者编代码的时候都会有一定的帮助，至少会提高点自信心吧。
&&相关文章推荐
* 以上用户言论只代表其个人观点，不代表CSDN网站的观点或立场
访问：397240次
积分：4844
积分：4844
排名：第6026名
原创：85篇
转载：228篇
评论：31条
(1)(4)(28)(22)(5)(11)(5)(2)(10)(23)(17)(9)(3)(13)(4)(11)(12)(16)(9)(1)(1)(33)(34)(31)(7)(1)