memcached 异常 : 单数据项超过默认值1m

    众所周知, Memcached 是一个高性能的分布式内存对象缓存系统,用于动态Web应用以减轻数据库负载。 
    最近自己开发的一个小网站 www.dmvcd.com 也使用上了它. 主要是用于保存动漫和漫画信息, 可以方便快速查询和搜索, 减少DB交互, 以提高搜索性能. 
但是最近发生了异常, 虽然不会导致网站挂掉, 但是对数据方面还是有影响的. 异常信息如下: 
[2015-05-24 11:36:46] ERROR ~ Error:  Too large. 
[2015-05-24 11:36:46] INFO ~ Reconnection due to exception handling a memcached operation on {QA sa=localhost/127.0.0.1:11211, #Rops=1, #Wops=2, #iq=0, topRop=Cmd: 1 Opaque: 10 Key: source_comics_1_v1 Cas: 0 Exp: 3600 Flags: 3 Data Length: 1063648, topWop=Cmd: 1 Opaque: 10 Key: source_comics_1_v1 Cas: 0 Exp: 3600 Flags: 3 Data Length: 1063648, toWrite=786434, interested=5}. This may be due to an authentication failure. 
OperationException: SERVER: Too large. 
at net.spy.memcached.protocol.BaseOperationImpl.handleError(BaseOperationImpl.java:164) 
at net.spy.memcached.protocol.binary.OperationImpl.getStatusForErrorCode(OperationImpl.java:211) 
at net.spy.memcached.protocol.binary.OperationImpl.finishedPayload(OperationImpl.java:173) 
at net.spy.memcached.protocol.binary.OperationImpl.readFromBuffer(OperationImpl.java:162) 
at net.spy.memcached.MemcachedConnection.handleReads(MemcachedConnection.java:463) 
at net.spy.memcached.MemcachedConnection.handleIO(MemcachedConnection.java:380) 
at net.spy.memcached.MemcachedConnection.handleIO(MemcachedConnection.java:242) 
at net.spy.memcached.MemcachedConnection.run(MemcachedConnection.java:833) 
[2015-05-24 11:36:46] WARN ~ Closing, and reopening {QA sa=localhost/127.0.0.1:11211, #Rops=1, #Wops=2, #iq=0, topRop=Cmd: 1 Opaque: 10 Key: source_comics_1_v1 Cas: 0 Exp: 3600 Flags: 3 Data Length: 1063648, topWop=Cmd: 1 Opaque: 10 Key: source_comics_1_v1 Cas: 0 Exp: 3600 Flags: 3 Data Length: 1063648, toWrite=786434, interested=5}, attempt 0. 
[2015-05-24 11:36:46] INFO ~ No buffer for current write op, removing 
[2015-05-24 11:36:46] WARN ~ Discarding partially completed op: Cmd: 1 Opaque: 10 Key: source_comics_1_v1 Cas: 0 Exp: 3600 Flags: 3 Data Length: 1063648 
[2015-05-24 11:36:48] INFO ~ Reconnecting {QA sa=localhost/127.0.0.1:11211, #Rops=0, #Wops=1, #iq=0, topRop=null, topWop=Cmd: 1 Opaque: 11 Key: source_comics_2_v1 Cas: 0 Exp: 3600 Flags: 1 Data Length: 58, toWrite=0, interested=0} 

    从异常信息来看, 在保存数据到memcached时, 数据量过大 1063648 字节(超过了1m), 只写了 786434 字节), 导致部分数据没写成功. 初步怀疑是保存的数据量过大, 那么memcached应该是可以调整这个大小的 (因为我没有在启动memcached的参数中, 增加调整单据项大小的参数, 所以使用的还是memcached的默认值) 
解决方案: 
在memcached启动参数中, 调整单个数据项的最大值, 由默认值1m调整为2m: -I 2m 

这里, 顺便把memcached的启动参数和状态作一个简单的记录, 以便以后查阅: 

1. 参数说明(注意大小写): 

-d 启动一个守护进程 
-p是设置Memcache监听的端口,推荐1024以上的端口 
-s <file>     用于监听的UNIX套接字路径(禁用网络支持) 
-a <mask>     UNIX套接字访问掩码,八进制数字(默认:0700) 
-m 分配给Memcache的最大内存数量,单位是MB,默认64MB 
-t 线程数,默认为4 

-c选项是最大运行的并发连接数,默认是1024 
-f 块大小增长因子,默认是1.25 
-n <bytes>最小分配空间,key+value+flags默认是48 
-k锁定所有内存页。注意你可以锁定的内存上限。 

-l 绑定的ip地址,可以设置内外网IP, 如果设置为外网IP, 则要注意安全隐患. 如果设置为127.0.0.1, 则只有本机能访问 
-d start 启动memcached服务   
-d restart 重起memcached服务   
-d stop|shutdown 关闭正在运行的memcached服务   
-u 指定运行Memcache的用户,只有root用户才能使用这个参数 

-v 提示信息(在事件循环中打印错误/警告信息。) 
-vv 详细信息(还打印客户端命令/响应) 
-vvv 超详细信息(还打印内部状态的变化) 
-h 打印这个帮助信息并退出。 
-i  打印memcached和libevent的许可。 

-U <num> UDP监听端口 (默认: 11211, 0 时关闭) 
-P 设置保存Memcache的pid文件, 需要与 -d 一起使用. 
-M 内存耗尽时返回错误,而不是删除项   
-L 尝试使用大内存页(如果可用的话)。提高内存页尺寸可以减少"页表缓冲(TLB)"丢失次数,提高运行效率。  www.2cto.com  

              为了从操作系统获得大内存页,memcached会把全部数据项分配到一个大区块。 
-D <char>     使用 <char> 作为前缀和ID的分隔符。 
              这个用于按前缀获得状态报告。默认是":"(冒号)。 
              如果指定了这个参数,则状态收集会自动开启;如果没指定,则需要用命令"stats detail on"来开启。 
-R 每个连接可处理的最大请求数。 
-C 禁用CAS。 
-b 设置后台日志队列的长度,默认为1024 
-B 绑定协议 - 可能值:ascii,binary,auto(默认) 
-I 重写每个数据页尺寸。调整数据项最大尺寸, 默认为1m, 最小是1K,最大值128M 

2. memcached 连接测试 
telnet 127.0.0.1 11211 
如果能连接上, 说明memcached运行正常, 如果要查看 memcached 运行状态, 则需要使用命令stats 来查看: 

STAT pid 25587                             进程ID 
STAT uptime 419763                         服务器运行秒数 
STAT time 1432439858                       服务器当前unix时间戳 
STAT version 1.4.4                         服务器版本 
STAT pointer_size 64                       操作系统字大小(这台服务器是64位的) 
STAT rusage_user 13.125004                 进程累计用户时间 
STAT rusage_system 25.086186               进程累计系统时间 
STAT curr_connections 11                   当前打开连接数 
STAT total_connections 25                  曾打开的连接总数 
STAT connection_structures 12              服务器分配的连接结构数 
STAT cmd_get 134524                        执行get命令总数 
STAT cmd_set 1081                          执行set命令总数 
STAT cmd_flush 7                           指向flush_all命令总数 
STAT get_hits 132495                       get命中次数 
STAT get_misses 2029                       get未命中次数 
STAT delete_misses 0                       delete未命中次数 
STAT delete_hits 0                         delete命中次数 
STAT incr_misses 0                         incr未命中次数 
STAT incr_hits 0                           incr命中次数 
STAT decr_misses 0                         decr未命中次数 
STAT decr_hits 0                           decr命中次数 
STAT cas_misses 0                          cas未命中次数 
STAT cas_hits 0                            cas命中次数 
STAT cas_badval 0                          使用擦拭次数 
STAT auth_cmds 0 
STAT auth_errors 0 
STAT bytes_read 144972396                  读取字节总数 
STAT bytes_written 4772215913              写入字节总数 
STAT limit_maxbytes 67108864               分配的内存数(字节) 
STAT accepting_conns 1                     目前接受的链接数 
STAT listen_disabled_num 0                
STAT threads 4                             默认线程数 
STAT conn_yields 0 
STAT bytes 1155631                         存储item字节数 
STAT curr_items 0                          item个数 
STAT total_items 1081                      item总数 
STAT evictions 0                           为获取空间删除item的总数 

3. memcached 命中率: 
memcached命中率= get_hits/cmd_get, 也可以是 命中率 = get_hits/(get_hits + get_misses). (我网站使用的memcached的命中率为 98.49%, 还可以. 呵呵...) 


4. memcached启动参数使用举例: 
/usr/bin/memcached -d -m 68 -u root -l 192.168.5.80 -p 11222 -c 256 -I 2m -P /tmp/memcached.pid 

本文出自 “上帝之手” 博客,请务必保留此出处http://96688huang.blog.51cto.com/2002966/1654649

郑重声明:本站内容如果来自互联网及其他传播媒体,其版权均属原媒体及文章作者所有。转载目的在于传递更多信息及用于网络分享,并不代表本站赞同其观点和对其真实性负责,也不构成任何其他建议。