Redis出口流量分析与压缩处理

RUN apk add lz4-dev
RUN pecl install -o -f -D 'enable-redis-igbinary="yes" enable-redis-lz4="yes"' igbinary redis \
 && docker-php-ext-enable igbinary redis

项目里修改三个文件config/database.php 新增redis链接，配置压缩选项为lz4

php

<?php

return [
    'connections' => [
      'redis' => [
        'cache-compress' => [
            'url' => env('REDIS_CACHE_URL'),
            'host' => env('REDIS_CACHE_HOST', '127.0.0.1'),
            'password' => env('REDIS_CACHE_PASSWORD', null),
            'port' => env('REDIS_CACHE_PORT', 6379),
            'database' => env('REDIS_CACHE_COMPRESSION_DB', 2),
            'timeout' => 8 * 3600,
            'read_timeout' => 8 * 3600,
            'read_write_timeout' => 8 * 3600,
            'persistent' => true,
            'options' => [
//                'serializer' => 2, //Redis::SERIALIZER_IGBINARY,
                'compression' => 3, // Redis::COMPRESSION_LZ4
            ]
        ],
    ]
];

config/cache.php 增加一个store, 并指定redis链接

php

<?php

return [   
    'stores' => [
        'redis-compress' => [
            'driver' => 'redis',
            'connection' => 'cache-compress',
        ],
    ],

];

config/permission.php 修改缓存store为redis-compress

php

<?php
return [
    'cache' => [
        // 'store' => 'default',
        'store' => 'redis-compress',
    ],
];

Igbinary

一开始在 database.php里尝试了 igbinary, 然而key大小并没有什么变化，依旧是1.6mb，所以就放弃了这个选项。

php

<?php

return [
    'connections' => [
      'redis' => [
        'cache-compress' => [
            'options' => [
                'serializer' => \Redis::SERIALIZER_IGBINARY
            ]
        ],
    ]
];

今天重新研究了一下igbinary，发现 Redis 里存储的数据既有php serialize的特征，也有 igbinary_serialize 的特征。

🙄 下面是最简的重现步骤

php

$input = ['a','b'];
$key = 'SERIALIZER_IGBINARY';
$redisClient = Redis::connection('cache-compress')->client();
$redisClient->set($key, $input); // 单独使用 igbinary
Cache::store('redis-compress')->put($key, $input); // 共同使用 php serialize 和 igbinary

直接使用 PhpRedis Client的时候，事情就如期望一样运作，但搭配 Laravel Cache 的时候，就不对劲了。

翻了一源码，发现 Laravel 对 Redis 又包装了一个 Store, 在这个 Store里做了一次序列化处理

https://github.com/laravel/framework/blob/8.x/src/Illuminate/Cache/RedisStore.php#L332

php

protected function serialize($value)
{
    return is_numeric($value) && ! in_array($value, [INF, -INF]) && ! is_nan($value) ? $value : serialize($value);
}

这就会导致，Laravel先对输入做 serialize()，然后再转交给 PhpRedis 再处理一次 igbinary_serialize()

为了理解这个行为，可能要追溯到 Laravel 5.8 的版本，那时，官方选择的redis库是predis, predis是不处理序列化，序列化需要由程序自行完成。

这个问题直到今天也没有解决，相关issue也只是从表面上解决了igbinary参数没有传递给redis，并没有解决laravel硬编码的序列化问题。

https://github.com/laravel/framework/issues/44652

解决办法有两个：

直接在php内完成, 也就是laravel目前的实现，将 serialize 函数变为 igbinary_serialize 即可
选择将动作交由PhpRedis完成，由于配置已经开启，直接 return $value 即可

考虑到PhpRedis本身就已经是c实现的高性能库了，序列化仅仅只会额外增加一些负载，这里选择通过PhpRedis完成

将 laravel/framework/src/Illuminate/Cache/RedisStore.php

复制到 app/overwrite/laravel/framework/src/Illuminate/Cache/RedisStore.php

重写 serialize() 和 unserialize()

php

// gbinary是否开启
protected $enableIgbinary = false;

public function __construct(Redis $redis, $prefix = '', $connection = 'default')
{
    // blabla...
    // 加载igbinary配置，判断开启
    if ($this->connection()->client()->getOption(\Redis::OPT_SERIALIZER) === \Redis::SERIALIZER_IGBINARY) {
        $this->enableIgbinary = true;
    }
}

protected function serialize($value)
{
    if (is_numeric($value) && !in_array($value, [INF, -INF]) && !is_nan($value)) {
        return $value;
    }
    if ($this->enableIgbinary) {
        return $value;
    }
    return serialize($value);
}

protected function unserialize($value)
{
    if (is_numeric($value)) {
        return $value;
    }
    if ($this->enableIgbinary) {
        return $value;
    }
    return unserialize($value);
}

通过 composer.json 替换处理

json

{
    "autoload": {
        "exclude-from-classmap": [
            "vendor/laravel/framework/src/Illuminate/Cache/RedisStore.php"
        ],
        "files": [
            "app/overwrite/laravel/framework/src/Illuminate/Cache/RedisStore.php"
        ]
    },
}