程序员笔记（八十七）protobuf

外向笑小鸭子 2024-01-12 14:29:58  50093 赞同 0 反对 0

分类：资源标签：运维

程序员笔记（八十七）protobuf

一、protobuf是什么？

protobuf(Google Protocol Buffers)是Google提供一个具有高效的协议数据交换格式工具库(类似Json)，但相比于Json，Protobuf有更高的转化效率，时间效率和空间效率都是JSON的3-5倍。后面将会有简单的demo对于这两种格式的数据转化效率的对比。但这个库目前使用还不是太流行，据说谷歌内部很多产品都有使用。

二、protobuf有什么？

Protobuf 提供了C++、java、python语言的支持，提供了windows(proto.exe)和linux平台动态编译生成proto文件对应的源文件。proto文件定义了协议数据中的实体结构(message ,field)

关键字message: 代表了实体结构，由多个消息字段(field)组成。

消息字段(field): 包括数据类型、字段名、字段规则、字段唯一标识、默认值

数据类型：常见的原子类型都支持(在FieldDescriptor::kTypeToName中有定义)

字段规则：(在FieldDescriptor::kLabelToName中定义)

required：必须初始化字段，如果没有赋值，在数据序列化时会抛出异常

optional：可选字段，可以不必初始化。

repeated：数据可以重复(相当于java 中的Array或List)

字段唯一标识：序列化和反序列化将会使用到。

默认值：在定义消息字段时可以给出默认值。

三、protobuf有什么用？

Xml、Json是目前常用的数据交换格式，它们直接使用字段名称维护序列化后类实例中字段与数据之间的映射关系，一般用字符串的形式保存在序列化后的字节流中。消息和消息的定义相对独立，可读性较好。但序列化后的数据字节很大，序列化和反序列化的时间较长，数据传输效率不高。

Protobuf和Xml、Json序列化的方式不同，采用了二进制字节的序列化方式，用字段索引和字段类型通过算法计算得到字段之前的关系映射，从而达到更高的时间效率和空间效率，特别适合对数据大小和传输速率比较敏感的场合使用。

2、数据序列化/反序列化

a、规则：

protobuf把消息结果message也是通过 key-value对来表示。只是其中的key是采取一定的算法计算出来的即通过每个message中每个字段(field index)和字段的数据类型进行运算得来的key = (index<<3)|type;

type类型的对应关系如下：

Value会根据数据类型的不同会有两种表现形式：

对于各种int,bool,enum类型，value就是Varint

对于string,bytes,message等等类型，value就是length+原始内容编码

Varints是一种紧凑表示数字的方法。它用一个或者多个字节表示一个数字，值越小的数字字节数越少。相对于传统的用4字节表示int32类型数字，Varints对于小于128的数值都可以用一个字节表示，大于128的数值会用更多的字节来表示，对于很大的数据则需要用5个字节来表示。

Varints算法描述：每一个字节的最高位都是有特殊含义的，如果是1，则表示后续的字节也是该数字的一部分；如果是0，则结束

如果您发现该资源为电子书等存在侵权的资源或对该资源描述不正确等，可点击“私信”按钮向作者进行反馈；如作者无回复可进行平台仲裁，我们会在第一时间进行处理！

评价 0 条

程序员笔记 （八十七）protobuf

相关资源

关注我们

程序员笔记（八十七）protobuf