HP GEN8万兆+RAID卡双PCIE设备无损改装——低成本CPU自带PCIE拆分方案

lasx

wxcup 发表于 2024-2-28 13:49
建议可以先看一下一楼提到的那个《intel部分桌面级CPU的pcie通道拆分另类低成本实现》的帖子，那里面描述 ...

我看他有些cpu短接了不止1处。而且没有1155的短接脚位。你的图是哪个帖子里来的？

wxcup

lasx 发表于 2024-2-28 15:06
我看他有些cpu短接了不止1处。而且没有1155的短接脚位。你的图是哪个帖子里来的？ ...

可以参考这个帖子：
https://linustechtips.com/topic/ ... -pci-e-bifurcation/
我引用的第一张图片就是从这个帖子来的，因为同样是第三代CPU，所以参考了里面的intel文档内容尝试的；

lasx

wxcup 发表于 2024-2-28 15:18
可以参考这个帖子：
https://linustechtips.com/topic/1463027-say-no-to-the-paywall-of-pci-e-bifurcat ...

我去看看。

微光城市

懒得折腾了，最多加一块2.5G的网卡完事

lasx

CFG[6:5] 两个引脚的定义是这样的。

1. 00: 8+4+4
   
2. 01:reserved
   
3. 10: 8+8
   
4. 11: 16

复制代码

所以如果要实现8+4+4的话你要短接两处才行。N35<->M35和 L37<->M37。
就是你图片里面的两个都要短接才行。
如果按你图片里面的贴法的话，组合是01,是预留位。怎么拆分出来x8+x8的，按道理要短接L37<->M37才是8+8。

这个把我搞迷惑了。

楼主你确定是短接的N35<->M35吗？

补充：
还有个CFG[2]要起作用，默认高电平，按说明书看拆分8+4+4用不上。

wxcup

lasx 发表于 2024-2-28 16:46
CFG[6:5] 两个引脚的定义是这样的。

所以如果要实现8+4+4的话你要短接两处才行。N35M35和 L37M37。

短接两处这个我试过了啊，我这个机器按x8+x4+x4短接两处自检过不去的；
要不你可以自行验证一下看看，如果能成功的话那就最好不过了

我系我

Gen8吃灰中。。。。。。。

wxcup

lasx 发表于 2024-2-28 16:46
CFG[6:5] 两个引脚的定义是这样的。

所以如果要实现8+4+4的话你要短接两处才行。N35M35和 L37M37。

CFG[6:5]置为10的意思就是把CFG5的N35引脚拉低到gnd变成0即可；
CFG6的L37默认是高电平，拉低后就是0，变成了CFG[6:5]等于00，配置为8+4+4；
但是这个模式会导致HP microserver Gen8自检卡住，所以最后选择了只短接CFG5拆分8+8模式；

lasx

wxcup 发表于 2024-2-28 17:16
CFG[6:5]置为10的意思就是把CFG5的N35引脚拉低到gnd变成0即可；
CFG6的L37默认是高电平，拉低后就是0，变 ...

默认两个都是高电平。

他这个6不是在前吗？6在前代表是L37拉到0，你的说法刚好相反。。

wxcup

lasx 发表于 2024-2-28 17:20
默认两个都是高电平。

他这个6不是在前吗？6在前代表是L37拉到0，你的说法刚好相反。。 ...

没关系，你可以再仔细看看然后自己尝试一下，我本来也是打算搞8+4+4拆分的；

因为我原本是买的是OCP+双NVME的拆分卡的，如果能上844拆分的话，效果应该会更好，双nvme的固态速度也可以更好的发挥25G网卡的速度；
可惜搞不定才退而求其次弄得88拆分；


最早买的拆分卡如图，正面有ocp接口位置，走pcie 8x的通道；
背面有两个M.2插槽，走双4x的pcie通道，如果844拆分可行的话此卡是gen8的绝配；
中间带一个风扇可以给网卡和两块NVME同时散热；


全高半高挡板都有，支持10G和25G网卡；


网卡安装后的图示，单槽宽度非常适合小机箱使用


背面的两个M.2装上散热片还可以利用机箱主风扇和风道进行散热；
M.2插槽不光可以插nvme固态盘，也可以上一块M.2转6 sata的转接卡，能充分榨干CPU直出的16X pcie带宽；

lasx

wxcup 发表于 2024-2-28 17:40
没关系，你可以再仔细看看然后自己尝试一下，我本来也是打算搞8+4+4拆分的；

因为我原本是买的是OCP+双N ...

你这个投入就有点大了。
我想了一下，我准备接去买个双2.5g双m2的拆分卡试试。
先试试能不能用，再考虑要不要上ocp的卡。

wxcup

lasx 发表于 2024-2-28 18:05
你这个投入就有点大了。
我想了一下，我准备接去买个双2.5g双m2的拆分卡试试。
先试试能不能用，再考虑 ...

貌似开销没多少吧，这个转接卡150块，ocp网卡便宜的也就100多，总共不超过300块吧
我建议你先试试把[CFG6:5]短接成00看能不能启动，然后在决定买哪种转接卡；

lasx

wxcup 发表于 2024-2-28 18:20
貌似开销没多少吧，这个转接卡150块，ocp网卡便宜的也就100多，总共不超过300块吧
我建议你先试试把[CFG6 ...

ocp要上的话还要看支持型号。 还得买模块。后续如果能搞再说吧。

lasx

wxcup 发表于 2024-2-28 18:20
貌似开销没多少吧，这个转接卡150块，ocp网卡便宜的也就100多，总共不超过300块吧
我建议你先试试把[CFG6 ...

试试过了，两个一起短接，会在cpu自检完成后卡住。只能像你这样才能自检完成。挺遗憾的。不知道是不是bios内默认把cfg2设置了。买的转接卡到了，能识别到1块nvme，剩下一个不识别。
另外，是不是不能直通？我这一直提示重新引导。

wxcup

lasx 发表于 2024-3-1 22:32
试试过了，两个一起短接，会在cpu自检完成后卡住。只能像你这样才能自检完成。挺遗憾的。不知道是不是bio ...

那跟我遇到的情况基本一致，844拆分在当前配置下基本不可行；

你说的直通是在esxi下么？版本多少？要直通网卡还是nvme固态盘？

另外市面上还有一种带拆分芯片的8x转双nvme的扩展卡，可以考虑试试看，把其中一个8x带宽通过硬件拆分芯片转接成多个4x的m2接口；
关键字“NVME免拆分硬盘扩展卡“和”ASM2812”；

还有PLX芯片方案，关键字“M.2 NVMe SSD扩展卡 PCIe扩4口M2转接卡带PLX芯片 Gen 10 Plus v2”
不过成本就高多了，但是基本可以把gen8的x16 pcie带宽榨干；

lasx

wxcup 发表于 2024-3-2 04:26
那跟我遇到的情况基本一致，844拆分在当前配置下基本不可行；

你说的直通是在esxi下么？版本多少？要直 ...

头疼，我有点感觉是用的双面导电铜箔带胶一面导电性不够，我用万用表测过，要用力按才通。准备试试银浆。
不能直通那个是转接卡的网卡不支持acs，关掉就行了。
这个机器就家里共享用，暂时用2.5G过渡一下。等有人做出来直接板载万兆的拆分卡再换。
ocp的话，换固态存储了再考虑吧。

wxcup

lasx 发表于 2024-3-2 12:20
头疼，我有点感觉是用的双面导电铜箔带胶一面导电性不够，我用万用表测过，要用力按才通。准备试试银浆。 ...

银浆当然效果更好，不过恢复原状的话难度要比铜箔胶带略高，因为那个cpu插座上也会粘上银浆，清理起来会比较麻烦；
2.5G网卡的话其实直接走usb直通就可以了，没必要插PCIE插槽，黑群晖直接装驱动就可以使用；
万兆和固态基本上标配了，上了固态硬盘配上万兆网卡，整体上才没有短板

lasx

wxcup 发表于 2024-3-2 12:45
银浆当然效果更好，不过恢复原状的话难度要比铜箔胶带略高，因为那个cpu插座上也会粘上银浆，清理起来会 ...

是的，我也就是验证一下你这个方案是否可行，目前这种短接好像和intel的说明书对不上，但结果是能用的。

ggyy2000

wxcup 发表于 2024-2-26 05:11
简单说就是pcie拆分卡拆出两个pcie x8信号，第一个x8给了ocp接口，所以要选用ocp的设备；
ocp网卡直接插 ...

[img]刚刚抄作业完成，换了E31265 v2 并短接了N35到Gnd，但是我对PCIE 拆分成功了没，有些不确定，感觉是OK了，现在HwiNFO显示是3.0的16x一个，3.0的8x一个，2.0的4x一个---这个3.0的8x应该是split出来的吧？对比手头还有一个MS Gen8(E3 1230 v2)只有3.0的16x一个和2.0的4x一个。
大神们，能帮我看看吗
下面第一张图是E3-1230 v 没有拆分的信息，PCIE 16x上插的一张显卡；第二张图是E3-1265L 已经拆分的信息，PCIE 16X的插槽上什么都没有，用的是HP内嵌的显卡。

wxcup

ggyy2000 发表于 2024-3-3 16:40
[img]刚刚抄作业完成，换了E31265 v2 并短接了N35到Gnd，但是我对PCIE 拆分成功了没，有些不确定，感觉是 ...

应该是成了，跟我这个拆分前后的图片基本一致；
接下来弄个拆分卡和转接卡就可以验证了；

ggyy2000

wxcup 发表于 2024-3-3 17:49
应该是成了，跟我这个拆分前后的图片基本一致；
接下来弄个拆分卡和转接卡就可以验证了； ...

感谢大神的原创作业，我基本抄成了,迈络思的万兆网卡已经识别了。现在还剩一个12Gb的HBA卡，已经接上PCIE 8x的小转接卡了---但是碰到个问题，这个的电源是个小4pin的口子，不知道是否和楼主的一样？楼主有转接线的链接吗?我找了淘宝好几家，没有小4pin到大4D的线，今天还不能完全验证HBA是否OK.

Mellanox CX4421A

wxcup

ggyy2000 发表于 2024-3-3 20:18
感谢大神的原创作业，我基本抄成了,迈络思的万兆网卡已经识别了。现在还剩一个12Gb的HBA卡，已经接上PCIE ...

我的那个光驱转接线是好早以前买的了，貌似都是小4pin转sata电源接口，没有直接转成大4D的
现在搜“gen8 软驱线”貌似还能搜到，再加一个sata转大4D即可；
我是光驱供电线接了一分二的sata线，之后再分别接不同的sata SSD和其他设备
还一种方式是把硬盘背板的大4D供电线接个一分二的大4D分叉线，然后分别转接出来即可；

ggyy2000

wxcup 发表于 2024-3-4 04:23
我的那个光驱转接线是好早以前买的了，貌似都是小4pin转sata电源接口，没有直接转成大4D的
现在搜“gen8  ...

我应该已经成功了，不过还差一步就是外接HBA 硬盘笼子。
另外就是怎么把三张卡和小转接卡装进Gen8.

如图，HWiNFO显示信息，万兆网卡和HBA卡都正常识别了。HBA是3.0 PCIE 8x

E3-1265L-Split_with_MellanoxCX4421A_HBA_card_ok

ggyy2000

wxcup 发表于 2024-3-4 04:23
我的那个光驱转接线是好早以前买的了，貌似都是小4pin转sata电源接口，没有直接转成大4D的
现在搜“gen8  ...

楼主，我还是碰到了一个问题就是买的迈洛思的OCP 网卡，型号应该是跟你一样Mellanox Connectx-4 CX4421A, 对吧？然后我记得你是买的电口模块，我也买了一个电口模块，插上去后，用网线接到路由器的千兆网口， 显示已识别---但是，没有IP地址。。。。懵了，可有什么经验吗？不知道会不会是电口模块不支持或者兼容不好？

wxcup

ggyy2000 发表于 2024-3-7 21:15
我应该已经成功了，不过还差一步就是外接HBA 硬盘笼子。
另外就是怎么把三张卡和小转接卡装进Gen8.

恭喜折腾成功，接下来就要看怎么固定转接卡和HBA卡了，还要考虑HBA散热的问题；
固定方式可以参考我帖子里的方法，也可以考虑使用3d打印件配合

wxcup

ggyy2000 发表于 2024-3-7 21:21
楼主，我还是碰到了一个问题就是买的迈洛思的OCP 网卡，型号应该是跟你一样Mellanox Connectx-4 CX4421A, ...

看着像是模块的问题，买了几个模块？
如果买了两个模块的话，把网卡的两个接口都插上，然后用网线直连，配上IP看两个网口互相ping是否可以ping通，如果能ping通的话证明模块和网卡应该都没有问题；

ggyy2000

wxcup 发表于 2024-3-8 04:23
看着像是模块的问题，买了几个模块？
如果买了两个模块的话，把网卡的两个接口都插上，然后用网线直连， ...

感谢回复和指导！
我其实碰到了2次同样的情况，都是这台Gen8（安装的Win Server 2016）：
1. Gen8 自带网卡，本来OK，然后我安装了些服务器的功能，重启后，网卡显示已识别，但是拿不到IP 地址。。。。折腾半天，最后卸载了驱动，重启，系统自动重新安装驱动，好了。
2. 然后就是昨天，插上模块，又是显示已识别，但是详情里一片空白拿不到IP ----我想不会这么巧，都是同样的问题？于是各种折腾找OCP 驱动，又在这里询问了一下---最后没辙了，卸载驱动，重启，又好了。
感觉莫名其妙，可能是窝装的server 2016 有点问题吧。。。。。不过好了就算了，可以用了。后面再看看怎么把3张卡塞进Gen8里面了。
再次感谢！

wxcup

ggyy2000 发表于 2024-3-8 18:26
感谢回复和指导！
我其实碰到了2次同样的情况，都是这台Gen8（安装的Win Server 2016）：
1. Gen8 自带网 ...

Mellanox的网卡建议还是去官网下最新的驱动，我之前也遇到过windows自带驱动不稳定的情况；
另外建议在M记官网升级一下固件，兼容性好像有所改善；
我目前光转电模块和AOC混插，在esxi下跑没有任何兼容性问题；
Winserver 2016建议也升级到2022，稳定性和兼容性应该会更佳。

画梦之人

请帮忙发一下pcie拆分卡链接，十分感谢。

wxcup

画梦之人 发表于 2024-3-11 12:17
请帮忙发一下pcie拆分卡链接，十分感谢。

已私信，请查收