注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

wangkai的博客

写不出长遍大论, 只记一些随笔, 一些瞬间想法, 或记一些技术, 以便来日回忆

 
 
 

日志

 
 

更好的内存管理-jemalloc  

2011-05-31 11:23:23|  分类: 软件技术(杂) |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

今年年初由于facebook而火起jemalloc广人之,但殊不知,malloc界里面很早就出名了。Jemalloc始人Jason Evans也是在FreeBSD很有名的开发。此人就在2006提高低性能的mallocjemallocJemalloc2007始以FreeBSD准引进来的。件技革新很多是FreeBSD起的。在FreeBSD用广泛的技术会慢慢入到linux

目前jemallocfirefox中也在使用。在firefox2中出存碎片问题之后,便在firefox3中使用了jemalloc。在safarichrome中使用的是googletcmalloc

Jemalloc的技特性

Jemalloc聚集了malloc的使用程中所验证的很多技。忽略细节着眼,最出色的部分仍是arenathread cache。(事上,这两个与tcmalloc的架几乎相同。Jemalloc only的部分将会在另一次posting继续

Arena

其像malloc集中管理一整块内存,不如其分成块来分而治之。此小便称为arena想象一下,小朋友一图纸们随意地点。果可想而知,他肯定相互方而不敢肆意地synchronization),而影响画图效率。但是如果老事先在大图纸分好每人的域,小朋友就可以又快又准地在各自地域上画图这样念就是arena

Thread cache

如果是辟小块内存,使不arena而直接malloc各自的线thread cache域。此ideagoogletcmalloc的核心部分,亦在jemalloc中体

再拿上面的例子,小朋友除了一图纸外,再各自A4这样,小朋友在不大面的点,只在自己的A4上心情地即可(no arena seeking)。可以在自己手上的或涂(using thread cache),完全不用人(no synchronization, no locking),迅速有效地

jemalloc的核心layout。看着复杂,其都是上面明的部分。

更好的内存管理-jemalloc - Alex - wangkaisino的博客
 

实际jemalloc的性能呢?

更好的内存管理-jemalloc - Alex - wangkaisino的博客
 

最左的就是glibcmalloc,最右的就是jemalloc从图表上可以看出,jemalloc的性能有glibc倍以上。非常倒性的性能差。因此,使用了jemalloc用程序自然快很多。Jemalloc的就是tcmallocTcmalloc的性能其相差甚微,低jemalloc2.1.04.5%上和tcmalloc1.4版本,而如今到了1.6版本,因此实际这两应该是不相仲伯的。Jemalloc始人jason evans也意一点,cpu core 8以上的算机上jemalloc效率更高。

程序的最后的免午餐 kth分布式技lab      

2005表了一篇文章午餐的束了在之前,程序就算不用费脑子,cpu时钟速度增加,程序性能自己就上去。但在不同,cpu时钟趋定,而核地增加。程序需要适应这样的多线程多程的境,开发出适合的程序。文章的大这样容。

6年之后的如今,篇文章完全现实了。事cpu时钟停留在3GHz,而核不上升。在程序要适线程多程的分布式算,速度才能上升。但是这样的程序很

在在多线程的境下,程序员们的最后一道午餐便是tcmallocjemalloc这样malloc library于使用多线程的程序而言,性能提高%

共享一下我本人的经验。我本人在kth术研究所分布式技lab中承担iLock(分布式同步工具,请参googlechubby)。在iLock中用了googletcmalloc果,性能提升了18~22%

最大的点就是不需要做任何复杂的工作便可得到这样的效果。不需要代编译。只需在行二制之前,在cmd窗口中

$ LD_PRELOAD=tcmalloc所设置的文件夹/libtcmalloc.so

这样在之后行的用程序使用tcmallocjemalloc而代替glibcmallocptmalloc)。置此,我便可得到性能20%的提升,这真是送的最后的免午餐。

如今,在分布式技lab中使用googletcmalloc。原因在于性能上者差不多,但googletcmalloc所提供的程序分析工具非常(heap profiler, cpu profiler)丰富。所以tcmalloc可能更方便一些。

一定要使用最新的malloc?一定要的!

  评论这张
 
阅读(28725)| 评论(0)
推荐 转载

历史上的今天

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017