文件传输¶
用户数据存储空间¶
在计算云上,系统根据三种使用模式会为用户在共享文件系统上分配三种目录:
每位用户会分配一个个人目录用于私有实例,路径为
/home/USERID
。每个用户分配一个共享文件系统上的目录,作为独占集群里的Home目录,路径为
/group_homes/PRIVATE_CLUSTER/home/USERID
。对于加入公共集群的用户,系统会为用户在公共集群中分配一个Home目录,路径为
/group_homes/PUBLIC_CLUSTER/home/USERID
。
在公共集群中,不管用户登录到那套集群,用户的HOME目录信息均保持一致。用户在自己的各种独占集群实例中看到的HOME结构也保持一致。用户的私有实例也都共享同样的HOME目录结构。
在用户的私有实例中,可以通过/group_homes目录访问到在公共集群和独占集群里的数据。
Web页面数据传输¶
平台支持通过Web页面上传下载数据和管理文件。
警告
通过Web页面上传和下载文件有数量限制,每次最多上传10个文件,下载1个文件。
私有实例
点击我的资源,进入数据管理, 可以看到Home目录下的子目录和文件。
共享实例
点击共享资源,进入共享项目,点击数据管理。
独占集群
类似共享实例,进入独占集群项目,点击数据管理。
公共集群
类似共享实例,进入共享集群项目后,点击数据管理。
通过ssh账户传输¶
由于Web传输文件功能有限,对于开放了SSH端口的集群或实例,用户可以通过SSH账户使用scp类的工具来传输数据。
以公共集群项目为例,用户在公共集群hpctest的页面里,选择科研实例,点击实例最右侧的SSH服务地址按钮,会弹出平台对外开放的IP地址和端口:
首次使用SSH登录的用户需要 重置平台密码
用户在校内,能够直接访问平台服务IP地址的情况下,可以使用scp、WinSCP或Xmanager等scp工具来传输数据:
scp -P 20139 some_data u2600201@ssh_ip:/home/USERID/
WebDAV 协议访问¶
由于不是所有实例都提供SSH端口的访问方式,对于需要批量上传或下载的用户,平台还提供了WebDAV协议的文件访问方式。
WebDAV是一种通信协议,支持大批量的文件传输。对于用户来说,相当于将平台的服务器以网盘的形式挂载到用户的个人电脑,用户将个人电脑里的数据拷贝或者上传到平台的服务器上。
WebDAV协议访问的地址是211.87.224.135:4918
。用户验证请使用平台ID(u
+ id, 例如u2600201)和密码。
Windows系统建议使用RaiDrive或Cyberduck。Mac系统建议使用Cyberduck。
为了方便,平台提供了上述软件,请根据需要下载:
Mac:
Windows:
Cyberduck使用说明¶
打开Cyberduck,点击“新建连接”,按照下图所示填写连接方式,要选择“WebDAV(HTTP)”方式。用户验证请使用平台用户名和密码。
连接过程中出现任何提示,直接点“继续”。连接成功后,可以使用软件的创建文件夹、上传等功能。注意,使用共享实例,比如交互式的JupyterLab、RStudio、Stata、MATLAB的用户,目标文件夹是“MyData”文件夹。软件的“操作”按钮下有“新建文件夹”、“上传”等功能。
虚拟机实例内访问Home目录¶
平台内的虚拟机实例访问共享文件系统上的Home目录的机制类似于用户从外部访问WebDAV服务。目前平台上的虚拟机镜像预先做好了WebDAV卷的自动挂载,挂载点是/webdav。