找回密码
 加入我们
搜索
      
查看: 108533|回复: 96

[存储] esxi使用系统U盘做存储

  [复制链接]
发表于 2017-3-14 10:21 | 显示全部楼层 |阅读模式
本帖最后由 zhongli_1978 于 2017-3-14 10:47 编辑

1.前言
   本人虚拟机比较偏爱esxi,但esxi通常需要一个数据存储器,client manager上只支持hdd。据说玩黑群直通(非RDM)比较合适,

本着省钱省功耗的原则,直通板载achi给黑裙,esxi存储使用系统u盘空闲的空间。这样省了一张hba卡,省了一个盘位,降了功耗。
2.适用场景
   本文档适用于
    a.必须esxi6及以上版本
    b.esxi系统u盘(tf)建议8G以上
    b.熟悉esxi ssh人士。
3.操作步骤
  a.打开esxi ssh并root登录
  b.进入/vmfs/devices/disks目录。shell:cd /vmfs/devices/disks
c.列出磁盘 shell:ls
     6.0通常是mpx.vmhba32:C0:T0:L0,但6.5不不同,可能是以naa开始。通常规律是有一个前缀想同,后面带有:1,5,6,7,8类似的:数字很可能就是
     esxi的系统盘(不带":数字"的那个)。本文以mpx.vmhba32:C0:T0:L0为例
     还可通过partedUtil getptbl mpx.vmhba32:C0:T0:L0 查看分区信息以确认设备
   d.查看分区
      shell:partedUtil getptbl mpx.vmhba32:C0:T0:L0
      显示输出:
      gpt
    2088 255 63 33554432
    1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B systemPartition 128
    5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
    6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
    7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 vmkDiagnostic 0
    8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
    9 1843200 7086079 9D27538040AD11DBBF97000C2911D1B8 vmkDiagnostic 0
   c.获取上文中红色部分值(红色部分每个人是不同的),将其-34 (减34) 替换如下shell中的X.(shell为方便复制就不排便了)    (复制出shell部分到写字板,然后将X换成所计算的值,复制到esxi shell中执行)
      为什么是34,我也不清楚,我是试出来的最小值,还有个-48出现的也比较频繁。网上大都说是-2048.这都没问题。
     shell:
partedUtil setptbl mpx.vmhba32:C0:T0:L0 gpt \
"1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B 128" \
"5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 0" \
"6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 0" \
"7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 0" \
"8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 0" \
"9 1843200 7086079 9D27538040AD11DBBF97000C2911D1B8 0" \
"2 7086080 15472639 EBD0A0A2B9E5443387C068B6B72699C7 0" \
"3 15472640 X AA31E02A400F11DB9590000C2911D1B8 0"
    d.创建存储:
       shell:vmkfstools -C vmfs5 -b 1m -S UsbDatastore mpx.vmhba32:C0:T0:L0:3
      完成后即可在client里看到一个UsbDatastore的存储了,可在上面建虚拟机。
4.总结
      u盘由于速度原因,建议不要其建立大的虚拟机文件,否则经常会导致存储丢失(也可能是我u盘有点问题)。比合适的是做黑裙虚拟机,通过iso启动,
当然想ros,openwrt这类小的系统也是没问题的,总之就是减少u盘操作。


     因最近有不少坛友及群友问这个比较多,早上上班匆匆编写,有不对不好的请指正,不足的请补充,谢谢!
      

评分

参与人数 1邪恶指数 +20 收起 理由
kmb101 + 20 666

查看全部评分

发表于 2017-3-14 10:40 | 显示全部楼层
-2048.,这个应该是外挂USB设备时候作为参考的参数。

“获取上文中红色部分值,将其-34 (减34) 替换如下shell中的X”——替换如下shell中的X

如何操作?
 楼主| 发表于 2017-3-14 10:45 | 显示全部楼层
siyiye 发表于 2017-3-14 10:40
-2048.,这个应该是外挂USB设备时候作为参考的参数。

“获取上文中红色部分值,将其-34 (减34) 替换如下sh ...

用计算器把红色数字一减啊:33554432-34 。然后放到命令的X处 注意,红色部分每个人是不同的
发表于 2017-3-14 10:52 | 显示全部楼层
zhongli_1978 发表于 2017-3-14 10:45
用计算器把红色数字一减啊:33554432-34 。然后放到命令的X处 注意,红色部分每个人是不同的 ...

主要是看了上面一段的显示是:1 5 6 7 8 9

下面又多了:1 5 6 7 8 9   2 3

没搞清楚怎么来的——是上面的没有全部复制么?还有就是如何判断 3 是U盘闲置存储?
 楼主| 发表于 2017-3-14 11:30 | 显示全部楼层
siyiye 发表于 2017-3-14 10:52
主要是看了上面一段的显示是:1 5 6 7 8 9

下面又多了:1 5 6 7 8 9   2 3

不是很明白你说的。我已经尽量通俗了。只要按照步骤是没问题的,a.b步骤都是为了生成c步骤的命令:一个是设备(mpx.vmhba32:C0:T0:L0),一个是扇区(X).把这2个参数换成自己的执行就可以了。
至于那个分区是vmfs分区,上面的3号分区。执行partedUtil getptbl mpx.vmhba32:C0:T0:L0就可以到“AA31E02A400F11DB9590000C2911D1B8 vmfs 0”字样就是。
发表于 2017-3-15 21:26 | 显示全部楼层
呵呵,恭喜楼主开新帖。

我是把SD联到Ubuntu虚拟机上,用gnome-disk-utility建的VMFS分区。其他的磁盘工具也应该可以。
发表于 2017-3-21 16:46 | 显示全部楼层
使用楼主的方法成功了,还想问个问题,为什么esxi只能装在tf卡上,不能装U盘上。机器是gen8
 楼主| 发表于 2017-3-21 18:02 | 显示全部楼层
iscelor 发表于 2017-3-21 16:46
使用楼主的方法成功了,还想问个问题,为什么esxi只能装在tf卡上,不能装U盘上。机器是gen8 ...

不可能。我没有tf卡。就u盘
发表于 2017-5-23 15:30 | 显示全部楼层
本帖最后由 ramses 于 2017-5-23 15:39 编辑

找这个教程好久啊,居然就是身边。
还有想问问,我用gen8装esxi6.5 到tf卡,但是在esxi中认不到gen8上的u盘,想让虚拟机用u盘启动,这样又节约个hhd
黑裙我弄好了u盘,可以直接启动gen8,但是就是esxi虚拟机中不能用u盘引导,奇怪科
 楼主| 发表于 2017-5-23 15:48 | 显示全部楼层
ramses 发表于 2017-5-23 15:30
找这个教程好久啊,居然就是身边。
还有想问问,我用gen8装esxi6.5 到tf卡,但是在esxi中认不到gen8上的u盘 ...

如果是黑裙,iso可以放到tf卡或u盘上启动。大文件系统不能放在u盘上,已通过一年的检验,发现不稳定。认不了u盘是因为要停掉esxi的usb检查:/etc/init.d/usbarbitrator stop
如果重启也要生效的话,还需要关掉自动启动 chkconfig usbarbitrator off
建议不这样做,都放一个介质上就可以了。如果这样做了,esxi的u盘设备就不能自动发现,分给虚拟机用了
发表于 2017-5-23 15:56 | 显示全部楼层
还有我使用这个办法,说我空间不够,我也是8g的tf卡啊
gpt
966 255 63 15523840
-43后是 15523806
"3    15472640 X AA31E02A400F11DB9590000C2911D1B8 0"
比这个15472640还要大的数字,
然后最后一步创建的时候,就说没空间了
Error: No space left on device
好奇怪,我重新做次6.5试试呢
 楼主| 发表于 2017-5-23 16:12 | 显示全部楼层
ramses 发表于 2017-5-23 15:56
还有我使用这个办法,说我空间不够,我也是8g的tf卡啊
gpt
966 255 63 15523840

8G可能少几个分区,比如8,9。需要贴一下gpt信息。如果没有,文中命令去掉8,9,2区,3区开始值是上一区扇区结束值+1,结束扇区算法不变
发表于 2017-5-23 17:51 | 显示全部楼层
本帖最后由 ramses 于 2017-5-23 18:23 编辑
zhongli_1978 发表于 2017-5-23 15:48
如果是黑裙,iso可以放到tf卡或u盘上启动。大文件系统不能放在u盘上,已通过一年的检验,发现不稳定。认 ...

嗯一会试试,我正在重装esxi,
8/9分区还是有的
怎么去掉分区呢?命令是?

gpt
966 255 63 15523840
1 64 8191 C12A7328F81F11D2BA4B00A0C93EC93B systemPartition 128
5 8224 520191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
6 520224 1032191 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
7 1032224 1257471 9D27538040AD11DBBF97000C2911D1B8 vmkDiagnostic 0
8 1257504 1843199 EBD0A0A2B9E5443387C068B6B72699C7 linuxNative 0
9 1843200 7086079 9D27538040AD11DBBF97000C2911D1B8 vmkDiagnostic 0装完6.5后就有8、9这两个分区


发表于 2017-5-23 18:31 | 显示全部楼层
本帖最后由 ramses 于 2017-5-23 18:35 编辑

我把2删掉全部给3
好像可以了


发表于 2017-5-23 20:54 | 显示全部楼层
好贴啊,不知道用128G SLC usb3.0的u盘放系统和虚拟机会不会稳定啊
发表于 2017-5-23 21:16 | 显示全部楼层
折腾一阵的结果就是:U盘勉强做esxi的启动盘还行,剩余空间放VM,简直是找虐啊.....

用个64G的拆机SSD,速度都好啊
发表于 2017-5-23 22:00 | 显示全部楼层
siyiye 发表于 2017-5-23 21:16
折腾一阵的结果就是:U盘勉强做esxi的启动盘还行,剩余空间放VM,简直是找虐啊.....

用个64G的拆机SSD,速 ...

只能放黑裙,其他的就算了吧。我的ssd还在n54L上,所以我先用tf做黑裙启动的
发表于 2017-5-23 22:02 | 显示全部楼层
速度太慢了啊,而且容易坏
发表于 2017-5-23 22:38 | 显示全部楼层
jas浩渊 发表于 2017-5-23 22:02
速度太慢了啊,而且容易坏

这个是的,后面还是迁移到ssd
但是gen8要一个u盘或者tf卡才能SATA5启动,好烦
直接玩黑裙算了,用u盘启动,ssd装个winserver2016
 楼主| 发表于 2017-5-24 08:33 | 显示全部楼层
alone 发表于 2017-5-23 20:54
好贴啊,不知道用128G SLC usb3.0的u盘放系统和虚拟机会不会稳定啊

期待验证结果。有可能是我u盘差了。nappit也是建议用ssd做u盘。
 楼主| 发表于 2017-5-24 08:35 | 显示全部楼层
siyiye 发表于 2017-5-23 21:16
折腾一阵的结果就是:U盘勉强做esxi的启动盘还行,剩余空间放VM,简直是找虐啊.....

用个64G的拆机SSD,速 ...

速度还行,特别是linux之类的系统,启动没有感觉龟速,启动完后操作流畅。window估计是不行的。
发表于 2017-5-28 15:35 来自手机 | 显示全部楼层
你确定你主板板载sata可以直通嘛。服务器芯片组不说家用的不行吧。
发表于 2017-5-28 16:18 | 显示全部楼层
anglabace 发表于 2017-5-28 15:35
你确定你主板板载sata可以直通嘛。服务器芯片组不说家用的不行吧。

然而服务器的也不行,我主板s1200spl,c236芯片组,esxi装u盘,就是不能直通板载sata……
 楼主| 发表于 2017-5-28 16:31 | 显示全部楼层
nameistom 发表于 2017-5-28 16:18
然而服务器的也不行,我主板s1200spl,c236芯片组,esxi装u盘,就是不能直通板载sata…… ...

需要手工在/etc/vmware/passthru.map里加上配置。主要是通过lspci找到achi的设备号。我的c236如下改就行了。
vi /etc/vmware/passthru.map
#Intel Corporation Sunrise Point-H AHCI Controller
8086    a102    d3d0    fasle
发表于 2017-5-28 16:58 | 显示全部楼层
zhongli_1978 发表于 2017-5-28 16:31
需要手工在/etc/vmware/passthru.map里加上配置。主要是通过lspci找到achi的设备号。我的c236如下改就行 ...

好的,感谢,我回去试试
发表于 2017-6-1 01:08 | 显示全部楼层
本帖最后由 zhuzhe1983 于 2017-6-1 01:16 编辑

好像mbr的U盘不行,折腾了半天看不到u盘,还把挂的一个SSD给改了。。。。
 楼主| 发表于 2017-6-1 10:51 | 显示全部楼层
zhuzhe1983 发表于 2017-6-1 01:08
好像mbr的U盘不行,折腾了半天看不到u盘,还把挂的一个SSD给改了。。。。

都可以。谨慎使用,特别是要注意操作的是哪个盘。
partedUtil setptbl mpx.vmhba32:C0:T0:L0 gpt 这行就是把u盘设置为gp模式的,mbr会被改成gpt
发表于 2017-6-1 20:49 | 显示全部楼层
zhongli_1978 发表于 2017-6-1 10:51
都可以。谨慎使用,特别是要注意操作的是哪个盘。
partedUtil setptbl mpx.vmhba32:C0:T0:L0 gpt 这行就 ...

我是没看到U盘,把SSD错当成U盘,估计已经挂掉了~~ 不过没啥重要东西

我安装ESXI到U盘的之前,格式化成MBR了,不知道是否是看不到U盘的原因~
 楼主| 发表于 2017-6-2 09:31 | 显示全部楼层
zhuzhe1983 发表于 2017-6-1 20:49
我是没看到U盘,把SSD错当成U盘,估计已经挂掉了~~ 不过没啥重要东西

我安装ESXI到U盘的之前,格式化成M ...

如果是另外的u盘需要把系统的u盘服务停了。上文所说的是u盘做系统盘又做存储盘。
停u盘服务:
/etc/init.d/usbarbitrator stop
chkconfig usbarbitrator off
发表于 2017-6-2 10:33 | 显示全部楼层
我就是系统盘哈,不过我也执行过你提到的这两个命令,估计是mbr的锅,有空我改成gpt再试试看
您需要登录后才可以回帖 登录 | 加入我们

本版积分规则

Archiver|手机版|小黑屋|Chiphell ( 沪ICP备12027953号-5 )沪公网备310112100042806 上海市互联网违法与不良信息举报中心

GMT+8, 2024-11-23 01:15 , Processed in 0.014787 second(s), 6 queries , Gzip On, Redis On.

Powered by Discuz! X3.5 Licensed

© 2007-2024 Chiphell.com All rights reserved.

快速回复 返回顶部 返回列表