Container安装

本页面已设置访问密码，请输入密码查看全文：

本指南详细说明如何在高性能计算（HPC）集群环境中，通过容器化方式安装和部署软件。以K-mer计数器（KMC）为例，展示从创建专用目录、配置参数、构建容器到最终同步验证的完整流程。适用于需要在多节点环境中保证软件环境一致性的分析任务。

环境与路径准备

进入容器专用节点

# 通过集群调度系统或直接登录容器专用节点
ssh user@container-node

创建工作目录

# 创建个人测试目录（示例路径）
mkdir -p /mnt/data1/prog1/Container/Test/JiaYuhang
cd /mnt/data1/prog1/Container/Test/JiaYuhang

获取容器构建工具

# 从代码仓库复制容器构建脚本和参数文件（1.5版本）
cp /mnt/data1/prog1/Programs/container_maker/1.5/container_maker.sh .
cp /mnt/data1/prog1/Programs/container_maker/1.5/parameter_container_maker.txt .

3. 参数文件配置详解

3.1 参数说明

编辑 parameter_container_maker.txt 文件，以下是各关键参数的详细解释：

参数名	说明	示例值
App_name	容器/应用的名称，用于标识	`genomesurvey`
container_dir	容器构建的输出目录	`./` （当前目录）
based_sif	基础镜像路径，支持系统名称或.sif文件路径	`/mnt/data1/prog1/Container/hub/ubuntu/ubuntubase_V1.1`
yum_install	需要安装的yum/rpm依赖包，逗号分隔	`wget,gcc,make,git`
pip_install	Python 2需要安装的pip包，逗号分隔	`numpy,biopython`
pip3_install	Python 3需要安装的pip包，逗号分隔	`numpy,pandas`
perl_install_interactive	是否交互式安装Perl模块（YES/NO）	`YES`
perl_install	需要安装的Perl模块名，逗号分隔	`Bio::Perl,Statistics::Descriptive`
R_install_interactive	是否交互式安装R包（YES/NO）	`YES`
files_in_out	外部文件复制到容器内的映射，格式：`外部路径:内部路径`	`/opt/software:/usr/local/software`
login	目标同步服务器的IP或主机名	`110.1.1.22`
port	同步服务器的SSH端口	`50000`
login_dir	同步到目标服务器的目录路径	`/public23/4_After_Sales_Personal/JiaYuhang`
user_id	同步使用的用户名	`ReSeq`
development_mode	开发者模式（YES/NO），YES生成空容器进入交互安装	`YES`
bind	开发者模式下，挂载外部路径到容器内	`/mnt/data1/prog1/Container/Test/JiaYuhang:/mnt`

KMC安装配置示例

以下是为安装KMC调整后的参数配置：

# KMC容器构建参数
App_name=kmc_container
container_dir=./
based_sif=/mnt/data1/prog1/Container/hub/ubuntu/ubuntubase_V1.1
yum_install=gcc,gcc-c++,make,zlib-devel
pip_install=NA
pip3_install=NA
perl_install_interactive=NO
perl_install=NA
R_install_interactive=NO
files_in_out=NA

login=110.1.1.22
port=50000
login_dir=/public23/4_After_Sales_Personal/JiaYuhang
user_id=ReSeq

development_mode=YES
bind=/mnt/data1:/mnt/data1

# 自定义软件安装指令块
# >> 块开始标记
# 下载并编译KMC
wget https://github.com/refresh-bio/KMC/releases/download/v3.2.1/KMC3.2.1.linux.tar.gz &&
tar -zxvf KMC3.2.1.linux.tar.gz &&
cd KMC3.2.1.linux &&
make &&
cp bin/* /usr/local/bin/
# >> 块结束标记

分步操作流程

因为我在这里执行的时候还不知道可以初始化就能挂载路径，所以重复进行了。

第一次执行（开发者模式，挂载路径）

# 1. 修改参数文件，确保以下设置：
#   development_mode=YES
#   bind=/mnt/data1:/mnt/data1  # 根据实际情况调整

# 2. 执行构建脚本
bash container_maker.sh

# 3. 脚本会提示进入交互式shell
# 此时容器已创建并运行，自动进入容器内部终端
# 检查路径是否正确挂载：
ls /mnt/data1  # 应该能看到外部目录内容

# 4. 在容器内手动安装所需软件（示例安装KMC）：
cd /tmp
wget https://github.com/refresh-bio/KMC/releases/download/v3.2.1/KMC3.2.1.linux.tar.gz
tar -zxvf KMC3.2.1.linux.tar.gz
cd KMC3.2.1.linux
make
cp bin/* /usr/local/bin/

# 5. 测试安装
kmc --version

# 6. 退出容器（这不会终止容器，只是退出shell）
exit

第二次执行（封装sif并同步）

# 1. 修改参数文件，更改以下设置：
#   development_mode=NO  # 关闭开发者模式
#   确保自定义安装指令已正确填写在文件中

# 2. 再次执行构建脚本（不要覆盖沙盒）
bash container_maker.sh

# 3. 脚本将：
#   - 基于已存在的容器沙盒进行封装
#   - 生成最终的.sif镜像文件
#   - 自动同步到指定的远程节点
#   - 显示同步状态和完成信息

# 4. 注意观察日志，确认：
#   - "Creating final SIF image..." 成功
#   - "Synchronizing to remote node..." 成功

验证与测试

在目标节点验证

# 登录到同步的目标节点（或其他分析节点）
ssh -p 50000 ReSeq@110.1.1.22

# 进入同步目录
cd /public23/4_After_Sales_Personal/JiaYuhang

# 查看同步的sif文件
ls -lh *.sif

# 测试容器运行
# 方法1：直接运行命令
singularity exec kmc_container.sif kmc --version

# 方法2：进入容器交互模式测试
singularity shell kmc_container.sif
kmc --help
exit

# 方法3：运行完整分析流程测试
singularity exec kmc_container.sif kmc -k31 -ci1 /path/to/reads/*.fastq output /tmp

最佳实践建议

路径管理：
- 使用绝对路径而非相对路径
- 统一容器内部外部路径结构
- 为不同软件创建专用目录
版本控制：
- 为每个软件版本创建独立的容器
- 在容器名称中包含版本号：kmc_v3.2.1.sif
- 保留构建参数文件备查
资源优化：
- 仅在必要时使用开发者模式
- 清理容器内临时文件后再封装
文档记录：
- 记录每个容器的构建日期和用途
- 保存安装软件的具体版本信息
- 记录遇到的特殊依赖和解决方法

附录

快速参考命令

# 查看容器信息
singularity inspect kmc_container.sif

# 导出容器内容
singularity run --bind /host/path:/container/path kmc_container.sif

# 清理临时文件
singularity cache clean

# 列出所有容器
ls /mnt/data1/prog1/Container/hub/ubuntu/*.sif