NAS是什么?
2019年5月终于入手了群晖DS1618+,加装 了16G内存,配备了4块Seagate Ironwold 10G,并拿出2个盘位做SSD缓存。作为一个爱折腾的人,硬件又武装到了牙齿,怎么能不好好折腾一下呢?从装机启动到现在大约折腾了3周多时间,通过 这轮折腾,现在我对群晖NAS的认识就是:爱折腾人的大玩具。
这个大玩具能够怎么玩?看看我都玩了些什么:远程数据迁移、 Drive多电脑同步、Syncthing远程NAS同步、远程安装Transmission套件下载、Docker安装Youtube-dl、人人影视、https证书安装、VPN Server、webdav协议挂载本地和远程网盘、Video Station刮削器改造、Emby服务器安装、Amazon Fire端DSVideo和Kodi客户端安装、Audio Station歌词插件安装、VMM安装LEDE软路由等等折腾。可以说在张大妈里看到的白群晖的种种玩法,一个不拉全来了一遍。而且我的NAS同步需要跨越半个地球,这是大多数张大妈NAS文章里没有的,因此一些血泪教训和避坑经验值得交流一下。就以这篇文章纪录我做的种种折腾和经验体会,让别的爱折腾的人少踏坑,玩好群晖这个大玩具。这篇文章不是新手教程,懒人不愿意一步一步截图贴图,但我会贴上我学习过的好教程帖子,这篇文章的重点是我遇到过的坑和避坑经验,干货多多,建议大家先收藏,慢慢看。
写完以后发现文章太长,分成2篇吧,这一篇就主要讲一讲机型选择和数据远程迁移。
需求及机型选择
算起来,我使用NAS已经有8年了。第一台NAS是2012年购入的西数Mybook live 3GB,当时完全没有NAS的概念,连NAS这个名词也没听到过,只是把它当成一个不需要连接USB线的外置硬盘用。而且当时用的是100M网口的路由,读写速度最高不过十几M,西数除了一个不大好用的同步工具外,没有提供别的工具软件,使用体验并不好。16年了解到了群晖NAS,正好Mybook live在断电多次以后硬盘彻底休息了,于是入手了一台DS216+II体验,这才对NAS是什么有了切身体验。不仅是一个存储设备,而且是一台服务器,功能是Mybook live不可同日而语的。最早上手用的是Photo Station和Video Station,Photo Station用来分享照片,尤其是给宝宝拍的照片和视频,通过Photo Station或者DSPhoto自动备份之后,不住在一起的父母就能马上看到孙子的照片。Video Station则是看片的利器,那面海报墙让人一看就会爱上。再往后又学会了使用Cloud Station同步,通过Cloud Station在2台笔记本之间同步,这样工作笔记本就不用带回家了,因为同步之后使用环境完全是一样的。但当时没有太多时间,对群晖NAS没有进一步研究,满足了基本需求也就搁下了。
2018年,我被公司外派到美国工作,在新泽西大农村晚上有了充裕的时间,又开始折腾上海家里的NAS了。远程视频看电影超出预想的好,4GB左右720P电影可以在线播放,缓存在可接受的程度内。顺便提一句,发现Video Station和DSVideo对于画质的处理是不一样的,Video Station就是按原分辨率播放,而DSVideo会根据带宽降低分辨率,因此流畅度更好,但画质有所下降。这也是合理的,一般来说移动端才会有外出使用的场景,在带宽不足的地方需要降低画质来保证流畅,也可减少流量。这说明群晖开发软件时还是考虑得很周到的。 Cloud Station升级到Drive后也堪称完美,同步目录的设置更加灵活,可以允许设置多个同步任务。而且我在办公室电脑上修改的文件可以完美近乎实时同步到家里的电脑上,要知道这可以文件从美国传到中国,又从中国传回来,绕着地球转了一整圈了啊。
19年3月认识了张大妈,当时原创里推送的全是N AS相关话题,正是我感兴趣的。于是在大量阅读的同时,也就不知不觉被种了草。家里DS216+II的毛病也就越来越多地被看出来了。首先是速度太慢,Celeron N3060的CPU,内存只有1G,实时内存占用经常是80%以上,加上我是远程操作,做一个操作反应一般要在30秒以上,有时得几分钟,煞是磨炼耐心;其次学会了装Transmission组件挂机下载以后,硬盘占用急剧扩大,4G的西数红盘,用了4年也不过存1.3G的东西,在短短1个月里就达到了3.03G,DSM直接亮起了红灯,92%的磁盘占用;第三,远程毕竟不方便,家里网络出问题之后,同步就中断了,造成在家里修改的文件办公室里看不到,办公室修改的文件,家里看不到,严重影响工作效率!谢天谢地,总算找到了一条过硬的理由,影响工作,不改是不行了。于是高高兴兴地找张大妈文章开始选型了。
*选型要求
白群晖,安全稳定方便是最主要的,群晖的DDNS和Quick Connect都是我的刚需;
四盘位以上;
IntelCPU,也就是Plus系列;
内存要可扩展,上虚拟机对内存的需求还是很大的。
最初打算入手的是DS918+,四盘位觉得够了,还得考虑今后回国的时候方便携带啊。美亚550美元,当时比京东便宜几百元,张大妈不支持美亚的价格卡片,我就不贴了。
内存查了好多资料,Intel的资料表显示J3455最大支持8G内存,虽然有网友说16G也能支持,毕竟眼见为实。于是决定上2根8G的,原装的4G内存是DDR3L规格的,正好拿 回上海给DS216+II升个级用,不浪费。
Intel J3455官方资料
硬盘决定选好一些的,网上看到数落西数红盘的很多,群晖官方与希捷有合作,支持希捷酷狼IronWolf Health技术。亚马逊查了一下红盘和酷狼价格差不多,那就决定酷狼了。酷狼10T的每T单价最低,4块10T的,组Raid10也有18T左右,够用很久了。关于硬盘选择还出了个小插曲,从下面这篇文章知道了叠瓦盘,再一查,希捷酷狼10T盘有2个型号,ST10000VN0004和ST10000VN0008,网上有人说只有ST10000VN0008是采用垂直磁纪录技术的,ST10000VN0004是叠瓦盘。但问题是在售的只有ST10000VN0004,差点为保险想改成价格差不多的IronWolf Pro 8TB。好在下单前舍不得损失这8T(4x2T)存储空间,深扒了一下希捷几个型号的Data Sheet和UserManual,对照了希捷的惯用表述,以及单位面积磁密度等指标,妥妥的PMR氦气盘。
Seagate IronWolf 10T User Manual
2块XPG SX8200 Pro 512GB 3D NAND NVMe Gen3x4 PCIe M.2 2280 Solid State Drive R/W 3500/3000MB/s SSD (ASX8200PNP-512GT-C)固态硬盘,DS918+支持NVME SSD缓存,也不能让插槽空着不是?查了Toms Hardware的SSD横评,Kingston的XPG SX8200 Pro是Editor's Choice,就选它了。尽管查到这篇香港人的测试表明SSD缓存反而影响硬盘的读写性能,也有台湾人抱怨918+只用了2×1 PCIE通道给NVME,导致性能发挥受限,但是不管了,至少对Photo Station拉缩略图和对虚拟机有好处吧。这里强烈建议大家读读那篇香港人的测试,这是我看到的唯一一篇详细测试各种RAID模式下群晖表现的文章。
UPS,有了前一个Mybook live断电损坏整个硬盘的教训,这个决不能省。216+II用的是施耐德APC650,做过放电测试,支持216+II超过了1个小时。可是美亚上比较多的是CyberPower,有液晶显示功率和电量,价格还低。查了一下CyberPower是台湾硕天,UPS大厂,群晖兼容列表里也有它,于是就选了CyberPower CP850PFCLCD PFC Sinewave UPS System, 850VA/510W, 10 Outlets, AVR,Mini-Tower。
值友Hillperson跟我的配置比较像,SSD缓存还是起意于他的下面这篇文章,在此表示感谢。
看到值友在文章下的建议是加缓存不如上万兆,我也想上万兆啊,但是除了价格因素之外,万兆必须要有线才能发挥出来。而我家里早就没有台式机了,租的房子也不方便拉线,全部场景都是无线连接。虽然有路由器5G能达到1、2千兆带宽,可轻薄笔记本高配也就是双天线802.11AC,理论带宽867M,总还会有干扰导致降速,我的Surface Pro 5实测握手协议802.11AC,握手带宽702M,连千兆都发挥不满,更别提万兆了。下单之前突然想到WIFI 6标准已经发布了,以后WIFI 6有没有可能超过千兆呢?赶紧Google,
802.11ac最高只支持256-QAM,802.11ax可以支持到1024-QAM。由于调制码的密度越大,承载的数据量也就越大,802.11ax相较802.11ac在承载数据量的能力上提高了2到3倍。如果从数据角度来看,单条空间流80M带宽的关联速率从433Mbps提升到了600.4Mbps,理论最大关联速率(160M带宽,8条空间流)从6.9Gbps提升到9.6Gbps左右。
也就是说,今后Wifi 6普及以后,NAS到路由之间的这段千兆联接有可能成为瓶颈。而且博通已推出了是用于移动平台且集成了蓝牙的一体式产品BCM4375,考虑到功耗和芯片面积问题,峰值速度降为1.429Gbps,集成蓝牙5.0,同样也支持1024QAM、MU-MIMO和OFDMA。我这套NAS使用的时间不会短,还是需要考虑升级可能性的。群晖具备升级万兆网卡能力的最低型号DS1618+,一查1618+的价格,惊到我了,美亚719美元,去年黑五599美元,当时国内1618+还是7100元钉得死死的,最近618才降到了6600。美亚有近2000元的价差啊,查了一下重量,在托运行李允许的范围内,于是果断改成DS1618+。硬盘不变,UPS不变,内存1618+是DDR 4L规格的,换下来也不能用在216+II上,所以改成上一条16G内存,与原装4G组成20G内存。瘾科技这篇文章说非官方16G ECC内存不会有错误信息,所以我选了Kingston KSM24SED8/16ME Server Premier – DDR4-16 GB – SO-DIMM 260-pin – 2400 MHz / PC4-19200 – CL17-1.2 V – unbuffered -ECC内存,比官方内存便宜1/3,装上去之后发现非正常关机后开机仍会有错误提示,但完全不影响使用。DS1618+不支持NVME缓存,反正多了2个盘位,就买了2块Samsung 512G 860 EVO装上做缓存了。
所以最后配置是:
DS1618+
16GB Kinston DDR4 ECC内存 + 原装4G Non-ECC内存
2块Samsung 512G 860 EVO SSD
4块Seagate IronWolf 10T NAS专用硬盘
CyberPower 850VA UPS
个人使用来看,有点性能过剩了,但一开始我就说过,我把NAS定义为爱折腾人的大玩具,为了玩,就奢侈一点吧。
开箱、开机及数据迁移
我的拍照技术不行,拍出来一点没有美感,随便放2张意思一下吧。
Made in
Taiwan,老美也叫Taiwan了,不叫Fumosa。
Made in Taiwan R. O. C. 开始看成了ROG,还以为跟玩家国度有什么关系呢。
美亚的硬盘就是工业包装,没有国内的包装好看。买了6块IronWolf,4块装机,1块以后带回上海扩容216+II,另1块作灾备。
美亚的IronWolf硬盘包装是工业包装,没有国行那么漂亮。
4块硬盘+2块SSD
4块儿狼头和2块SSD的祼照
Kingston 16G ECC内存
Kingston 16G ECC内存
装机全家福
全家福
CyberPower
UPS倒是不错,供电插口很多,左边5个是有电池保护的,右边5个只有防浪涌。上面这么多同轴电缆、串口、网口的作用还没仔细研究,应该是保护路由器用的。我只用了右上角的USB口,联线到1618+的USB口。
SyberPower的接口很丰富,提供了5个UPS+防浪涌的电源插口,5个只防浪涌的电源插口,上面几个同轴电缆、网口、串口是什么用途还没仔细研究,似乎是对路由器进行保护的,我只用了右上角的USB口
加内存不难,底部有个小舱,拆掉2颗螺丝就开到内存槽了
换内存很方便,底部有一个内存仓盖板,需要 下2颗螺丝。
扩容之后的内存
内存扩容之后
安装系统就不上图了,张大妈有好多这样的展示。说一个事,构建 存储池时DSM对组Raid的硬盘要做全盘校验,我的4块10T盘用了15个小时,挺漫长的。但如果不组Raid,构建存储池就快很多了,几分钟的事。上两张装完 系统后的照片。
DSM能识别IronWolf硬盘,把图标改成狼头。内存占用常年低于20%,看来20G内存有点浪费了。
对IronWolf硬盘,可以执行IronWolf健康检测,在检测计划程序里设置。
SSD缓存只用了40%,512G缓存也有点过大了。这里顺便科普一下,1块SSD可以做读缓存,读写缓存需要2 块SSD组成Raid 1。因为写的时候是先进缓存,然后在空闲时写入硬盘,如果还未写入硬盘时,SSD出现故障,则会造成数据损失,因此必须采用2块SSD组Raid 1后才能做写缓存。
使用感受吗,就是快。所有应用都是秒开,即使是远程,也比在局域网下操作216+II快多了。在办公室连接上1618+看个高清电影,一点缓存都不需要,可以随意拖动进度条。当然不是几十G的原盘电影。看原盘电影,即使在局域网下,WIFI连接,八、九十G的原盘也放不出来。
重点说一下数据迁移,事前参考过下面这篇文章,这篇文章的测试很全了,可是我不具备局域网迁移的条件,Internet数据迁移的辛酸不是事前可以想象的。
迁移的方式我尝试过的有:
Hyper Backup异地备份;
群晖的新套件,数据迁移助手;
Rsync远程;
Cloud Station Share Sync;
下面一个一个来讲讲。
1. Hyper Backup异地备份。需要先在目标NAS上从套件中心安装Hyper Backup
Vault,然后在源NAS上安装Hyper Backup套件,在Hyper Backup套件里设置备份到远程NAS。具体备份过程看这里,我已经把这2个组件卸载了,就不上图了。卸载的原因是当然是没法用,而且也找到了更好的替代方案,替代方案后面再说
。没法用不是说不能开始备份,实际上我试了多次,每次都能开始备份,但是备份数据量比较大,远程带宽不够,备份几十兆数据后就停了。
这个套件有一个功能是可以备份NAS的设置,包括用户和安装的程序,这一点对数据迁移比较方便,在本地可能比较好用。Hillperson在下面这篇文章中 提到:只有通过Hyper Backup还的照片可以被Photo Station识别,Copy过来的照片文件夹Photo Station无法识别。这个情况我也遇到了,经过研究,发现是权限设置的问题。只要把copy过来的照片文件夹的读写权限开给Photo Station,就能识别了。这里顺便强调一下:DSM是Linux系统,不同于Windows,文件和文件夹都有权限,一定要设置对。我遇到过的问 题大多数最后发现都是权限丢失造成的问题。这里引申出的一个教训就是创建文件夹,copy文件这些操作最好都在File Station里完成,别贪图方便映射网络驱动器后在Windows下做,这样创建的文件夹和文件都会丢失权限设置,今后可能带来大问题。
2.
数据迁移助手,这是群晖的一个新的Beta版组件,不过从官方资料里看到目前只支持局域网内迁移,尝试了一下,确实对远程域名不支持,提示无效的操
作。这个也不好用。
3. Rsync是Linux里的一个传统服务,特点是只做和单身传送,不能用于同步。我打算将上海216+II当成下载机,下载好的内容存放到共享文件夹Video之下的 电影和电视剧文件夹下,然后单向传给1816+。之所以这样是因为在美国BT下载电影,有可能会收到网络公司或者影视公司的律师信,初步了解是因为BT下 载过程中也参与了分发,这是违法的。因此在上海下载,然后同步过来,这相当于我在2个钱包之间转移东西,至于钱包里装的是啥,那是我的隐私。
我用Rsync单向传送整个Video共享文件夹,具体操作如下:
打开源NAS的控制面板,双击共享文件夹同步
打开源NAS的控制面板,双击共享文件夹同步
点击任务列表
点击任务列表
随便取一个任务名称,比如“电影文件夹同步”,点下一步
随便取一个任务名称,比如“电影文件夹同步”,点下一步
选择需要同步的文件夹,Rsync可以同步包括Homes文件夹在内的所有顶层文件夹,功能比较强大。要钩上下面一个警告信息才能继续点下一步
选择需要同步的文件夹,Rsync可以同步包括Homes文件夹在内的所有顶层文件夹,功能比较强大。要钩上下面一个警告信息才能继续点下一步
在服务器名称或IP地址中输入目标NAS地址,可以输入DDNS地址,不需要带端口号。钩上启动段落分块选项,可以只传变更的部分,减少带宽占用。点下一步
在服务器名称或IP地址中输入目标NAS地址,可以输入DDNS地址,不需要带端口号。钩上启动段落分块选项,可以只传变更的部分,减少带宽占用。点下一步
选择同步计划,建议选第一项。点下一步
选择同步计划,建议选第一项。点下一步
点应用,开始同步
点应用,开始同步。
同步开始后任务列表中会出现一行同步任务,同时在目标NAS打开控制面板的共享文件夹同步中的链接列表时会出现一个对源NAS的链接。请按照我的步骤操作,官方文件关于这一功能写错了,把源和目标NAS写反了。说说Rsync同步的优劣。
优点:
可同步任意文件夹,功能强大。
可设置多个同步任务,配置灵活。
传输速度尚可,我的洲际同步速率在1-6MB/s之间波动,大多数时候能稳定在3-4MB/s。
缺点
界面不友好,看不到同步进程。
文档不清晰。
最致命的一点,功能与文档不一致。警示信息说:“所选 的同步目标端如有与来源端同名的文件夹,将会被更名。若无同名文件夹存在,则会新增。”按这个警示信息,目标端的文件应该是安全的,但是实际上目标端的同名文件夹中的内容会被清空。我的一些宝宝小时候的视频就被清掉了,幸亏还有备份,不然就会造成不可补救的损失了。备份和同步,就是为了数据安全。这样的不靠谱功能,谁敢长期靠它完成同步呢?
4.之前我提到过,PC端与NAS同步,Drive套件做得非常完善。那么NAS和NAS同步,不能用PC端的Drive软件了,该用什么呢?群晖官方给出的方案是Cloud Station Sharesync套件。不过这个套件感觉是原先的同步工具Cloud Station系的,不是新开发的Drive系的。所以套件功能不如Drive系的灵活。
Cloud Station
ShareSync是在目标NAS端发起,在目标NAS上从套件中心安装Cloud Station
ShareSync套件,打开套件,按照提示输入源NAS的地址、用户名、密码,点击下一步。注意这里源NAS地址可以输入DDNS地址,也可以输入Quick Connect
ID,尽量选择DDNS地址,通过Quick Connect服务器转发会慢不少
Cloud Station ShareSync是在目标NAS端发起,在目标NAS上从套件中心安装Cloud Station ShareSync套件,打开套件,按照提示输入源NAS的地址、用户名、密码,点击下一步。注意这里源NAS地址可以输入DDNS地址,也可以输入Quick Connect ID,尽量选择DDNS地址,通过Quick Connect服务器转发会慢不少
选择要同步的文件夹,官方文档提示Cloud Station
ShareSync套件不支持homes文件夹的同步。我这里只能同步music和photo文件夹,video文件夹看不到。起初以为是由于已经在用Rsync同步video文件夹,
可是Rsync同步完成后取消了Rsync同步任务后还是看不到,在控制面板里给video文件夹设置了CloudStationClientr读取和写入权限以后还是看不到video
文件夹,不可解。 点开扳手图标可以设置同步方向。点应用开始同步。
选择要同步的文件夹,官方文档提示Cloud Station ShareSync套件不支持homes文件夹的同步。我这里只能同步music和photo文件夹,video文件夹看不到。起初以为是由于已经在用Rsync同步video文件夹, 可是Rsync同步完成后取消了Rsync同步任务后还是看不到,在控制面板里给video文件夹设置了CloudStationClientr读取和写入权限以后还是看不到video 文件夹,不可解。 点开扳手图标可以设置同步方向。点应用开始同步。
同样说说Cloud Station ShareSync的优劣:
优点
在状态栏有图标,可看到同步进程,点开后可以看日志文件,能知道它在干啥,这对同步软件很重要。
可选择
速度尚可,我的洲际同步速率在1-6MB/s之间波动,大多数时候能稳定在3-4MB/s。
缺点
如前所说,不能同步homes文件夹,这是致命的,宣布了它不能被用作日常同步软件,总不能为了同步把用户私有文件夹变成公共文件夹吧 。
有不可解的现像,如前面提到的不能同步video文件夹。
智能程度不够。同步完成的文件,比如照片,DSM会在后台 进行索引处理,修改了文件的时间戳,则Cloud Station ShareSync会判断文件被修改,再次同步回来,造成一大堆conflict文件。
写在最后
这4种同步工具,实测下来后2种可用,事实上我也是靠这2个工具完成了数据迁移。当然经历了漫长的时间,2T多的数据,前后传了约3周( 当中有4天多上海的路由器出现故障,传输中断,家人又不在,等了4天多家人回到家后才重启路由器解决),全部迁移完成的时候我不由得长长出了一口 气,成就感满满。但是这4个工具在我看来,没有一个是完美的同步工具,那么下一步的数据同步怎么办呢?别急,我们的主角在下一篇将闪亮登场。下一 篇将包括NAS数据远程同步,远程安装Transmission套件下载、Docker安装Youtube-dl、人人影视、https证书安装、VPN Server、webdav协议挂载本地和远程网盘、Video Station刮削器改造、Emby服务器安装、Amazon Fire端DSVideo和Kodi客户端安装、Audio Station歌词插件安装、VMM安装LEDE软路由等等,敬请期待…