本帖最后由 Akasaka 于 2017-11-3 22:09 编辑

Supermicro SuperStorage Server(Uit ver) 咳咳。。大家好久不见。。。

这次搞到的是一台超微的超级存储服务器，总共36个盘位（前24+后12），单盘最大容量8TB，整机最大容量288TB；

1+1冗余电源，最大输出1200W

超微双路主板，支持Xeon 5500/5600系列CPU ######################################################### 本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。 ######################################################### Silver Sky Studio Blog: https://blog.silversky.moe/oob-evaluation/supermicro-36-bay-superstorage-server-out-of-box

#########################################################

I. 外观（工业设计） 这台服务器是标准4U机架式，但是其内部构造为双2U，即两个2U服务器叠加在一起

↑ 从上图我们也可以看出下面12个盘位和上面12个盘位之间有一层钢板

↑ 主板和电源这一层是可以单独拆卸的，拧掉4个螺丝直接抽出来即可（不好好理线的话会扯断的，上图的线是我重新理过的，刚拿到手没法看）值得一提的是在前背板和后背板之间的空间还可以再塞至少4块硬盘，只不过在这里就只能再额外加一块了（图左下角的一个内部盘家）当然如果DIY的话也是可以的 ↑ 拧掉电源旁边的两个螺丝以及对面与其对应的4个螺丝即可抽出

↑ （讲道理一抽线扯掉了才是喜闻乐见的）可以看到上面三个风扇下面三个风扇，分别负责下面12个硬盘，上面主板CPURAM阵列卡，和前面24个硬盘

↑ 可以注意到重启按钮是凹陷下去的，这并不是坏掉了，而是有意设计的因为如果误碰到重启按钮主机则会立即重启，数据也会随之消失～但是电源按钮碰到了并不会立即关机而是有序的关机，长按4秒后强行关机

↑ Sanyo Denki（三洋电机）制造的 San Ace 80，在服务器市场上很常见的产品。四个固定位置使用了橡胶垫来隔绝振动。这里要表扬一下超微，用了这么些年还没有掉黑渣渣的橡胶垫，DELL那个还没有两年就掉黑渣渣被我直接换成螺丝固定了 // Fun fact: 对于超微这样的准系统制造商热衷于San Ace 80，而DELL则更喜欢使用San Ace 60。型号9GV0812P1F031，额定电压12V（工作电压范围10.2V-13.8V），1.5A（最低0.12A）；最高转速8000RPM，最低2400RPM；最大风量3.05立方米/分钟，最小0.92立方米/分钟；最大静压力301.0 Pa，设计寿命在60度下工作40,000小时。算不上什么暴力扇，但是6个压这台服务器是够了（实际工作中主板检测到的转速在8500RPM以上）

II. 电源模组（Power Supply Unit, PSU）

↑ “不就是电源吗，叫这么高大上干什么” NoNoNo... 这可不是普通家用的电源amigo.

↑ 1+1冗余电源，单个单元最大输出1200W，非LB (Load Balancing)，所以最大输出不是2400W而是1200W（100-240V输出1000W，200-240V输出1200W） EMACS... Emm....... Vim大法好！！！！！之前见到过，但是没实际上手过，本来以为是哪个三线小作坊做的实际上是尊贵的台厂Zippy Technology Corp.旗下的产品，EMACS 注意这只是个“电源笼”，并不是其本身，所以80PLUS认证的不是这玩意，认证的是供电单元↓

↑ 是的！没有80PLUS标签！我拿到手抽出来一看发现没有80PLUS就彻底死心了其实一开始我问商家这是不是80PLUS电源的时候商家说不是，我就很失望，因为这种Heavy Duty的服务器如果没有80PLUS的话，电源转换效率得不到保障，电费爆炸预订（现在什么电源还没个80PLUS。。）可是我去查了一下供电单元的型号，发现其居然是80PLUS银牌（要知道很多第三方服务器电源能达到铜牌就不错了）有趣的是，这个PSU只输出12V和5V，但是没有3.3V，实际上3.3V是在电源笼里面做的转换，然后再输出的。这个设计你是在家用机上见不到的=。= 在服务器上很早就出现了，PSU只输出12V/3.3V或者12V/5V的近年来DELL更加激进，PSU只输出12.2V/12Vsb，剩下的直接交给主板自己转换（详见DELL PowerEdge R730xd开箱测评）

从前到后讲，可以看出EMACS设计的用心之处 ↑ 很常见的PSU滑入锁定设计

↑ 一个螺丝，可以保持锁定或者开启的状态可以防止误拔插，或者在调试的时候方便拔插（我是不会说我之前当着人家的面拔电源线连着PSU一起拔出来了。。。）

↑ 这种接头在现在很少见了，大部分都是PCB直接伸出去一部分都有好处和坏处上图这种街头能够提供更大的面积，承受的电流更大，但是如果经常拔插可能会导致接口损坏（向上翘）

↑ 拿一张DELL PowerEdge R730xd的PSU来做比较，这种相比起EMACS来说就不容易损坏，上面的类似于PCI-E的小针脚还可提供PSU的状态信息（在DELL 11G服务器之后加入了越来越多Power Consumption的读数和调整选项）哦，对了，还有氧化了易于清理（（（（（（

↑ 电源笼内部view 蜂鸣片是用来报警用的，当一个电源没插电或者损坏的时候就会响起

↑ 这个电源的输出，一个标准ATX 24pin，两个ATX 8pin给主板供电，一个电源状态的信号线接到主板上，剩下两个接口算是模块化电源的雏形图右边的两个接口就是可以自己定义的

↑ 比如说这样，转换成4个D口（给后背板供电）

↑ 24pin的接口分出了9个D口两个SATA供电口（分别给前背板和内置硬盘供电）

III. 主板，CPU，内存，附属设备

↑ 主板是一块Supermicro X8DTI-F Intel® 5520 (Tylersburg) 芯片组，支持Intel® Xeon® processor 5600/5500 系列，最多两颗，QPI 最高 6.4 GT/s 内存最高支持到192GB DDR3 1333/ 1066/ 800MHz ECC 或者 48GB Unbuffered

↑ 恩，富士康制造的Socket

这台服务器主要用作存储，所以使用了两块Intel Xeon L5630，低压U，用两个COOLER MASTER的双热管散热压着绰绰有余内存使用了4条4G的ECC内存，总共16G，为ZFS存储提供足够的buffer

↑ 镁光的内存，一般一般我是不会说总共4条内存有两条是坏的，开机ECC直接不给通过屏蔽掉了论服务器内存和普通内存的区别。普通家用的内存坏了，只要你系统跑着没事你就感觉不出来，系统足够耐操就能一直用着（参考FreeBSD），服务器内存开机检测到有问题直接给你屏蔽掉，如果没有设置Stop On Error的话就屏蔽掉继续开机（咦？我的内存呢？？？）

↑ 供电不多说，在服务器市场里面素质平平 VITEC的电感，OptiMOS的MOSFET，松下的铝有机聚合物电容

↑ 接口也是当年服务器标配的接口（PS/2接口除外，当时大部分厂商都已经舍弃掉了）

↑ 前面板控制线根据超微对于这个接口（JF1）的定义，从上到下分别是（图中为从左到右） NMI，空闲，电源LED，HDD LED，NIC1 LED，NIC2 LED，风扇失效LED，电源失效LED，重启按钮，电源按钮

↑ Intel ICH10R南桥芯片 ↑ 他的左上角写着X8DT3的小chip是主板的BIOS ↑ 顺时针转，Winbond W83795ADG，是硬件监控用的，收集温度，电压，风扇转速等信息并反馈给BMC ↑ 右上角那个吕块下面压的是Intel 5520北桥，继承上一代（LGA771/LGA775）北桥芯片的特性，超级烫，用了差不多4个南桥芯片那么大的散热片都压不住 ↑ 右下角6个SATA2接口，当年intel南桥标配。。 ↑ 芯片正下方两个内部USB接口

↑ nuvoTon WPCM450RA0BX，这块主板的BMC（基板管理控制器，Baseboard management controller）芯片，是IPMI（智能平台管理接口，Intelligent Platform Management Interface）的重要组成部分 ↑ 内部集成了一个Matrox G200eW显示芯片 ↑ 最最最最左下角那个小螃蟹，REALTEK RTL8201N PHY，是给IPMI使用的，独立的网卡芯片

↑ 一块海力士的存储芯片，1G DDR2 SDRAM，没搞清楚这块给谁用的？？？？？？？查了一圈没找着 ↑ 在他的右边是一块 Spansion FL128P1F，128M的Flash

↑ 在这里本应是一块LSI 1068E的阵列卡芯片，但是只在X8DT3主板上有所以这里就空着啦～～ //我们自己焊一块吧（x 就算焊了也没什么用，1068E只支持到SAS(1)，SATA2，虽然速度能保持在200MB/S左右，但是实际上还是没什么用=。= 手上就有这么一块，陪我过了不知道多少年，原先在主服务器上，现在退休了在防静电袋里 ↑ 一块Winbond 83627HG-AW，Super I/O芯片，管理COM接口，一个内部一个外部 ↑ 在他的左边是TPM接口，由北桥芯片直接管理嘛。。。这俩都没什么用就是了（x ↑ Intel® 82576EB 双千兆以太网控制器其实应该有个散热片压在上面的，不知道为啥没有。。。也不知道为什么好像差点芯片就受损了。。。（黑线）讲到网卡来讲个事情，超微同时期还有个主板叫X8DTU-LN4F+ 我们在LA有一台服务器就是用的这个主板和这个网卡芯片只不过那个主板有点特殊，用了双芯片，结果就不知道哪根筋抽了，总是会Blocking traffic 查了一圈说是hardware offload的问题，一个很久之前的技术，在CPU还是奔三的时候就有了，为了减轻CPU压力才出现的技术，而现在CPU的运算能力比当初强多了，已经不需要hardware offload了，但是仍然有这个技术，还在使用。嘛，也不是一点用都没有只是这个型号貌似有点小问题。。。。。。。。。会自己阻塞流量。。。。。。。然后我们就在kernel messages里面看到一会堵塞一会好了一会堵塞一会好了。。。然后现在那台服务器我们不要了。。。。。。

IV. 存储，背板，通道卡

这服务器上面贴的金山的固资标签，我并不知道之前这服务器怎么用的，但是给我发过来是块技嘉的GC-MSL Z2？？？？？？？只不过看战损成色也差不多是和他差不多时期的。。。（金山的机房绝对是我见过最脏的。。。。。这服务器里面的灰都是黑色的渣）说好了LSI SAS2008呢！查了一下这个通道卡的芯片是LSI SAS2008。。。 SAS2，SATA3，默认最高带8块硬盘让这货来带36块硬盘我有点虚，所以我打算后期做多通道卡冗余，正好背板也支持

↑ 后背板讲道理我就从来没加过加固背板的。。。 DELL, HPE, IBM都没有 ↑ 或许是一位内这台服务器的特殊之处，他是个“超级”存储服务器 36个硬盘如果共振谁受得了 ↑ 所以上图我们可以看到这样的小“锚点”这些小锚点和盘架上的两个带胶皮垫的孔咬合，也就是说原本只有硬盘接口相接，现在不光是硬盘接口，还有盘架也和背板咬合，进一步减少震动既保护了硬盘也减少了共振=。= ↑ 4个D口电源接口，也就是一个D口带三个硬盘，一个蜂鸣片用来警告使用 ↑ 一块Macronix MX29LV320ETTI-70G，Flash Nor 记忆体，32M，用来存储SAS Expander的固件 ↑ 在他正下面散热片下面的就是SAS Expander，本来一根SFF-8087的线只能接4块硬盘，通过Exapnder能连接12块甚至24块硬盘。 ↑ 前背板的芯片和他的Flash ↑ 无法拍摄到Expander芯片，因为如果要取下散热片基本上要连着芯片一起扯下来了（（ ↑ 在他的下面还是那个Macronix MX29LV320ETTI-70G记忆体 ↑ 这台服务器并非纯粹的Supermicro SuperStorage服务器，从盘架即可看出，这个盘架是Uit(United Information Technology) 特有的，使用了内六角锁对硬盘进行一定程度上的安全保护，由于这台服务器无法选配前挡板或者后挡板 ↑ 但是这样带来了一定的问题，比如说老化之后容易按下去不弹起，需要人工助力 ↑ 整个除了按钮是塑料的其他的都是铁的。 ================================ 好了，其实到这里整篇开箱测评就结束了。对，没有性能测试，因为测试这样的老机器也没有任何（参考）价值，而且已经说明是除了硬盘全部走低功耗路线，也没有什么可以期待的性能爆炸磁盘性能如果我自己测了感觉不错的话应该还是会分享出来，只不过也不抱什么期待就是了 ================================ IV. 附录 Supermicro X8DTi-F：http://www.supermicro.com/products/motherboard/QPI/5500/X8DTi-F.cfm Supermicro X8DTi-F Motherboard Manual：http://www.supermicro.com/manuals/motherboard/5500/MNL-1062.pdf EMACS KIN-2C00V 80PLUS Report：https://plugloadsolutions.com/psu_reports/ZIPPY%20TECHNOLOGY%20CORP._KIN2C00V_SO-873_1200W_Report.pdf Panasonic SEPC Series Aluminum Organic Polymer Capacitors：https://www.mouser.com/Panasonic/Passive-Components/Capacitors/Aluminum-Electrolytic-Capacitors/Aluminum-Organic-Polymer-Capacitors/SEPC-Series/_/N-bmaie?P=1yyeh3hZ1yzvjj0 Sanyo Denki San Ace 80：http://www.mouser.com/ds/2/471/San_Ace_80GV38_E-534096.pdf Sanyo Denki 9GV0812P1F031：https://www.mouser.com/ProductDetail/Sanyo-Denki/9GV0812P1F031/?qs=sGAEpiMZZMt9MS9kROxCwxJGgTye%252bJ04KFd78iEa5cQ= SK Hynix H5PS1G63EFR：https://www.skhynix.com/eolproducts.view.do?pronm=DDR2+SDRAM&srnm=H5PS1G63EFR&rk=03&rc=consumer SK Hynix H5PS1G63EFR Consumer Manual：https://www.skhynix.com/product/filedata/fileDownload.do?seq=1938 S25FL128P 128-Mb 3.0 V Flash Memory - Cypress Semiconductor：http://www.cypress.com/file/196851/download Macronix MX29LV320ETTI-70G：https://www.digikey.com/product-detail/en/macronix/MX29LV320ETTI-70G/1092-1101-ND/2744784 Macronix MX29LV320ETTI-70G Datasheet：http://www.macronix.com/Lists/Datasheet/Attachments/6096/MX29LV320E%20T-B,%203V,%2032Mb,%20v1.3.pdf OptiMOS™3 Power-MOSFET (Search result)：http://www.alldatasheet.com/view_datasheet.jsp?Searchword=020N03LS VITEC 59PR9013 Datasheet：http://www.datasheets360.com/part/detail/59pr9013/8761569334581791582/?alternatePartManufacturerId=0 Nuvoton Technology Corporation of America Winbond W83627HG-AW：https://www.digikey.com/product-detail/en/nuvoton-technology-corporation-of-america/W83627HG-AW/W83627HG-AW-ND/1133309 Winbond W83795ADG：http://www.nuvoton.com/resource-files/Nuvoton_W83795G_W83795ADG_Datasheet_V1.43.pdf

================================ V.视觉图

=======================================

@branchzero[/url] @guanyuhan426 @Kazakiri @飘X00草帽 @银月丫de喵爷 @Hikari @最爱夜骑