Linux编程
20220519_7za软件解压linux服务器超大文件
Song Wei
2023年3月12日 05:43
176
20220519_7za软件解压linux服务器超大文件
gzip采用的是一种无损压缩算法,压缩效率较低,无法对大的压缩文件进行充分的压缩。因此,在处理大的压缩文件时,可能需要使用其他压缩格式或工具,如7z、bzip2、xz等,以获得更好的压缩效率。
7za采用7z压缩格式,可以对文件进行更高效的压缩,从而使得解压缩的过程更加快速。其次,7za支持多线程解压缩,可以利用多个CPU核心和多个线程进行并行解压缩,从而进一步加快解压缩速度。此外,7za还支持多种压缩格式,可以适用于不同类型的文件。
01 下载超大文件:
从 https://support.illumina.com/sequencing/sequencing_software/igenome.html 网站下载人的hg19基因组后,得到一个44G 大小的文件 (Homo_sapiens.zip)
(base) root@dell-server:/home/newdisk_dell_3/genomes# ls -lhtr
总用量 89G
-rwxrwxrwx 1 20082 root 5.3K 6月 18 2014 README.txt
-rw-r--r-- 1 root root 756M 3月 2 2017 Drosophila_melanogaster_UCSC_dm3.tar.gz
-rw-r--r-- 1 root root 44G 10月 19 2019 Homo_sapiens.zip
02 unzip软件解压报错:
(base) root@dell-server:/home/newdisk_dell_3/genomes# unzip Homo_sapiens.zip
Archive: Homo_sapiens.zip
warning [Homo_sapiens.zip]: 42641665723 extra bytes at beginning or within zipfile
(attempting to process anyway)
error [Homo_sapiens.zip]: start of central directory not found;
zipfile corrupt.
(please check that you have transferred or created the zipfile in the
appropriate BINARY mode and that you have compiled UnZip properly)
03 7za软件顺利解压
寻找原因之后发现linux只能对小文件使用unzip命令,超过2G就需要用别的命令来解压,最后使用7za命令顺利解压。
7za 软件包可以从 https://sourceforge.net/projects/p7zip/ 网站下载。
(base) root@dell-server:/home/newdisk_dell_3/genomes# 7za x Homo_sapiens.zip
标签:
linux
北京 天气
晴
1℃