文件传输

用户数据存储空间

在计算云上,系统根据三种使用模式会为用户在共享文件系统上分配三种目录:

  • 每位用户会分配一个个人目录用于私有实例,路径为 /home/USERID

  • 每个用户分配一个共享文件系统上的目录,作为独占集群里的Home目录,路径为 /group_homes/PRIVATE_CLUSTER/home/USERID

  • 对于加入公共集群的用户,系统会为用户在公共集群中分配一个Home目录,路径为 /group_homes/PUBLIC_CLUSTER/home/USERID

在公共集群中,不管用户登录到那套集群,用户的HOME目录信息均保持一致。用户在自己的各种独占集群实例中看到的HOME结构也保持一致。用户的私有实例也都共享同样的HOME目录结构。

在用户的私有实例中,可以通过/group_homes目录访问到在公共集群和独占集群里的数据。

image0

Web页面数据传输

平台支持通过Web页面上传下载数据和管理文件。

警告

通过Web页面上传和下载文件有数量限制,每次最多上传10个文件,下载1个文件。

  • 私有实例

点击我的资源,进入数据管理, 可以看到Home目录下的子目录和文件。

image3

  • 共享实例

点击共享资源,进入共享项目,点击数据管理

image2

  • 独占集群

类似共享实例,进入独占集群项目,点击数据管理

image2

  • 公共集群

类似共享实例,进入共享集群项目后,点击数据管理

image1

通过ssh账户传输

由于Web传输文件功能有限,对于开放了SSH端口的集群或实例,用户可以通过SSH账户使用scp类的工具来传输数据。

image4

以公共集群项目为例,用户在公共集群hpctest的页面里,选择科研实例,点击实例最右侧的SSH服务地址按钮,会弹出平台对外开放的IP地址和端口:

image5

首次使用SSH登录的用户需要 重置平台密码

reset_pw

用户在校内,能够直接访问平台服务IP地址的情况下,可以使用scp、WinSCPXmanager等scp工具来传输数据:

scp -P 20139 some_data u2600201@ssh_ip:/home/USERID/

WebDAV 协议访问

由于不是所有实例都提供SSH端口的访问方式,对于需要批量上传或下载的用户,平台还提供了WebDAV协议的文件访问方式。

WebDAV是一种通信协议,支持大批量的文件传输。对于用户来说,相当于将平台的服务器以网盘的形式挂载到用户的个人电脑,用户将个人电脑里的数据拷贝或者上传到平台的服务器上。

WebDAV协议访问的地址是211.87.224.135:4918 。用户验证请使用平台ID(u + id, 例如u2600201)和密码。

Windows系统建议使用RaiDriveCyberduck。Mac系统建议使用Cyberduck

为了方便,平台提供了上述软件,请根据需要下载:

Mac:

Windows:

Cyberduck使用说明

打开Cyberduck,点击“新建连接”,按照下图所示填写连接方式,要选择“WebDAV(HTTP)”方式。用户验证请使用平台用户名和密码。

cyberduck connect

连接过程中出现任何提示,直接点“继续”。连接成功后,可以使用软件的创建文件夹、上传等功能。注意,使用共享实例,比如交互式的JupyterLab、RStudio、Stata、MATLAB的用户,目标文件夹是“MyData”文件夹。软件的“操作”按钮下有“新建文件夹”、“上传”等功能。

RaiDrive使用说明

下载RaiDrive并安装后,点击窗口顶部的“添加”按钮,按照下图所示创建WebDAV驱动器。

raidrive connect

点击确定后,会跳出一个Windows资源浏览器窗口。RaiDrive已经把新添加的WebDAV连接创建成了一个网络存储驱动器,可以像操作本地磁盘一样从其他驱动器里拖拽文件或者拷贝到这个驱动器下的子目录中。

注意

RaiDrive WebDAV驱动器功能有局限

  • WebDAV驱动器里的文件不支持编辑,只支持创建和删除。

  • 根目录下不能创建目录或文件,只能在列出的顶层目录下操作。

虚拟机实例内访问Home目录

平台内的虚拟机实例访问共享文件系统上的Home目录的机制类似于用户从外部访问WebDAV服务。目前平台上的虚拟机镜像预先做好了WebDAV卷的自动挂载,挂载点是/webdav。