clear # 清屏


# 重定向
ls > a.txt
ls >> a.txt # “追加” 保存

cd /home # 进入一个目录  
cd .. # 返回上一级目录  
cd ../.. # 返回上两级目录  
cd ～ # 切换到当前用户的主目录
cd - # 返回上次所在的目录  

pwd # 显示工作路径  

# ls:查看
ls # 查看目录中的文件  
ls my_dir # 查看 my_dir 目录中的文件
ls -l # 显示文件和目录的详细资料  
# 结果类似
# drwxrwxr-x  2 codespace root       4096 Jun 14 02:20 _data
# 第一部分是:
# d：代表它是文件夹；r：代表有read读权限；w：write；x ：执行权限；rwx：该用户所在用户组的权限；r-x：其它用户组的权限
# 2 代表文件被使用的次数
# codespace：当前用户
# root：当前用户组

ls -l # 显示的时间是修改时间 modification time
ls -l --time=atime # 显示最近访问时间 access time
ls -l --time=ctime # 显示 属性（如权限等）修改时间 status time

ls -a # 显示隐藏文件  
ls *[0-9]* # 显示包含数字的文件名和目录名  
ls -h # 文件的大小的单位加上 K/M/G，而不是一串数字 ，更美观

tree # 显示文件和目录由根目录开始的树形结构
tree -d # 仅显示目录
tree -L n # n代表数字..表示要显示几层...
tree -f # 显示完整路径..
tree -N # mac 中使用，防止乱码

du -h -d 1 reading/
du -sh # 当前文件夹的大小
du -sh dir1 # 估算目录 dir1 已经使用的磁盘空间
du -sk * | sort -rn # 以容量大小为依据依次显示文件和目录的大小

mkdir dir1 # 创建一个叫做 'dir1' 的目录
mkdir dir1 dir2 # 同时创建两个目录  
mkdir -p /tmp/dir1/dir2 # 创建一个目录树  

# rm: 删除
rm -f file1 # 删除文件
rm -r dir1 # 删除一个叫做 'dir1' 的目录并同时删除其文件和子文件夹  
rmdir dir1 # 删除目录，目录为空才行

cp file1 file2 # 复制一个文件  
cp dir1 dir2 # 复制 dir1 到 dir2，不会复制子目录
cp -r dir1 dir2 # 复制 dir1 到 dir2，包括子目录
# -a ：包括子目录，并且保持权限

mv dir1 new_dir # 移动/重命名 一个文件/目录  



touch a.txt # 创建一个文件

ln -s file1 lnk1 # 创建一个指向文件或目录的软链接。软链接就是“快捷方式”
# lnk1 中只是保存了 file1（如果是相对路径，就只保存相对路径；如果是绝对路径，就保存绝对路径，因此常常用绝对路径）
# 可以对文件创建软链接，也可以对文件夹创建软链接
# 创建软链接后的使用方式例如：cat lnk1; ls lnk1
ln file1 lnk1 # 创建一个指向文件或目录的物理链接  

ps  # 查看进程
# -a 全部显示
# -u显示详细状态
# -x 显示没有控制终端的进程


top # 查看进程
# -M 根据内存陪许
# -P 根据CPU排序
# -T 根据进程时间
# q退出

kill [-signal] pid # 结束进程

whoami # 显示当前用户
who # 显示所有用户

find my_path -name file1.txt # 在 my_path 中查找 file.txt

# 可以使用通配符。*（0个或多个字符） 和 ?（1个字符）
find my_path -name "*.txt" # 在 my_path 中查找 '.txt' 结尾的文件
find my_path -name "file?.txt" # 查找类似 file1.txt 的文件
# 实际上，这些命令也可以使用通配符：ls、cp、mv


find my_path -user guofei # 在 my_path 中查找属于用户 'guofei' 的文件和目录
find my_path -type f -atime +100 # 搜索在过去100天内未被使用过的文件  
find my_path -type f -mtime -10 # 搜索在10天内被创建或者修改过的文件  


find my_path -name "*.txt" -exec cat {} \;
# 搜索所有的 *.txt 文件，然后用 cat 显示它们
# 解释： find [path] [expression] -exec [command] {} ; 允许匹配后执行某个命令
find my_path -name \*.rpm -exec chmod 755 '{}' \; # 搜索以 '.rpm' 结尾的文件并定义其权限  


find my_path -xdev -name \*.rpm
# -xdev选项表示只在当前文件系统中搜索文件，不搜索其他挂载的文件系统

locate \*.ps # 寻找以 '.ps' 结尾的文件（先运行 'updatedb' 命令 ）（基于数据库，速度比find快）
whereis ls # 显示一个二进制文件、源码或man的位置  
which ls # 显示一个二进制文件或可执行文件的完整路径  


# 案例：
# 删除空文件夹
find . type -d -empty|xargs rm -rf
# type -d 指的是类型为文件夹
# -empty 指的是空文件夹
# xargs 是把前一个命令的输出作为输入，例如 xargs -n 1 rm -f 读入一条数据

cat file1.txt file2.txt > file3.txt
# 把两个文件的内容都显示出来，然后放到另一个文件中

# 案例：寻找 txt 文件
ls -l | grep .txt


# 案例：统计文件个数
# 统计当前文件夹下文件的个数
ls -l |grep "^-"|wc -l

# 统计当前文件夹下目录的个数
ls -l |grep "^d"|wc -l

# 统计当前文件夹下文件的个数，包括子文件夹里的
ls -lR|grep "^-"|wc -l

# 统计文件夹下目录的个数，包括子文件夹里的
ls -lR|grep "^d"|wc -l

# 显示当前时间
date
# 按照指定的格式显示时间
date +%Y/%m/%d
date +%Y-%m-%d
date +%H:%M:%S


# 显示日历
cal
# 查询 2018/02 的日历
cal 02 2018

date +%Y-%m-%d --date '1 days ago'
DATE=$(date +%Y-%m-%d --date '1 days ago')

history [-raw] histfiles
# 选项与参数：
# n ：数字，意思是“要列出最近的 n 笔命令列表”的意思！
# -c ：将目前的 shell 中的所有 history 内容全部消除
# -a ：将目前新增的 history 指令新增入 histfiles 中，若没有加 histfiles ，
# 则默认写入 ~/.bash_history
# -r ：将 histfiles 的内容读到目前这个 shell 的 history 记忆中；
# -w ：将目前的 history 记忆内容写入 histfiles 中！

# 把文件做 base64 编码
base64 -i file.zip>a.txt
base64 -d -i a.txt -o file2.zip
# -i: input
# -d: decode

/dev/sd[a-p][1-128]：为实体磁盘的磁盘文件名；
/dev/vd[a-d][1-128]：为虚拟磁盘的磁盘文件名

ls -li

df：列出文件系统的整体磁盘使用量；
du：评估文件系统的磁盘使用量（常用在推估目录所占容量）

tar -cf archive.tar file1 # 打包
tar -tf archive.tar # 显示包中的内容
tar -xf archive.tar # 解包
tar -rf archive.tar b.txt # 向一个已存在的 tar 文件中添加一个新文件

# -c 产生新的包
# -f 指定包的文件名
# -x 解包
# -r 往包内增加文件； -u 更新文件
# -t 列出文件
# -v 显示正在处理哪个文件
# -C 指定解压缩到哪个目录


# 压缩算法：
# -z ：通过 gzip 的支持进行压缩/解压缩：此时文件名最好为 *.tar.gz
# -j ：通过 bzip2 的支持进行压缩/解压缩：此时文件名最好为 *.tar.bz2
tar -jcvf archive.tar.bz2 tmp # 打包压缩
tar -jtvf archive.tar.bz2 # 显示压缩包
tar -jxvf archive.tar.bz2 # 解压缩

tar -cf all.tar *.jpg # 将所有.jpg的文件打成一个名为all.tar的包。
tar -uf all.tar logo.gif  # 更新原来tar包all.tar中logo.gif文件
tar -cvf archive.tar file1 file2 dir1 # 打包一个包含了 'file1', 'file2' 以及 'dir1'的档案文件

zip -r FileName.zip DirName # 压缩
# -r ：打包所有子文件夹
zip FileName.zip a.txt
# 如果 FileName.zip 存在，那么把 a.txt （以覆盖方式）添加进去

unzip FileName.zip # 解压
# -d ：解压缩到指定目录，例如 unzip -d ./path2 a.zip 

# -P ：指定密码
# -9 ：指定压缩级别

cd /lib/modules/$(uname -r)/kernel
# uname -r 代表 20.3.0
# 上面代表 cd 到 /lib/modules/20.3.0/kernel


export x='ls' # 加 export 后，可以被子程序使用
export # 单独的会吧所有变量都显示出来

HOME # 用户主文件夹
SHELL # 所使用的 SHELL程序，Linux 默认是 /bin/bash
HISTSIZE # 可以记录多少历史命令
PATH # 变量目录
LANG # 语言
RANDOM # 0~32767 的随机数

# 用来读取用户输入
read [-pt] variable
# -p:后接提示字符
# -t:等待秒数

# 例子：
read -p "Please keyin your name in 30s: " -t 30 your_name
echo $your_name

declare [-aixr] variable
# -a : array 类型
# -i ：integer 类型
# 不支持浮点类型

# 例子：
x=100+200 # 其实是字符串加
declare -i x=100+200 # 这才是数字加

var[1]='a';var[2]='b'
echo "${var[1]},${var[2]}"

cmd1 && cmd2  # cmd1 正确执行，则开始执行 cmd2
cmd1 || cmd2  # cmd1 执行且错误，则开始执行 cmd1

# 例子：
ls /tmp/vbirding && echo "exist" || echo "not exist"
# 若存在，这显示 exist，否则显示 not exist

ls > file.txt
# 添加到文件的末尾
ls >> file.txt 

tree | more 
# 把第一个命令的结果，当成“文件”；然后把它放到第二个命令中
# 上面的命令相当于两条命令  tree > file.txt; more file.txt

if [ 条件 ]; then
  执行
fi


if [ 条件 ]; then
  执行
else
  执行
fi


if [ 条件 ]; then
  执行
elif [[ condition ]]; then
  #statements
else
  执行
fi


read ny;
if [ "${ny}" == "y" ]||[ "${ny}" == "Y" ];then
    echo "yes";
elif [ "${ny}" == "n" ]||[ "${ny}" == "N" ];then
    echo "no";
else
    echo "what?";
fi
# || 是或， && 是且

while [[ condition ]]; do
  #statements
done

until [[ condition ]]; do
  #statements
done


sum=0 # 这是加总的数值变数
i=0 # 这是累计的数值，亦即是 1, 2, 3....
while [ "${i}" != "100" ]; do
  i=$(($i+1)) # 每次 i 都会增加 1
  sum=$(($sum+$i)) # 每次都会加总一次！
done
echo "The result of '1+2+3+...+100' is ==> $s"

sum=0; i=0;
for (( i = 0; i < 10; i++ )); do
  i=$(($i+1)) # 每次 i 都会增加 1
  sum=$(($sum+$i)) # 每次都会加总一次！
done
echo $sum

for x in one two three four
do
        echo number $x
done

chmod u+rw,g+rw,o+r file.txt
# (另外，还可以以数字的形式实现，不写了)

# 如何把权限全部去掉
chmod a=- file.txt

whoami # 显示当前用户
who # 列出正在登陆的用户
passwd # 修改当前用户的密码
exit # 退出登陆

# 新建用户
sudo useradd -m guofei2 -g my_group
# 创建一个用户 guofei，它属于一个用户组 my_group
# -m 同时创建用户目录
# 如果不指定 -g，那么会创造一个和用户名相同的用户组

# 给新用户设置密码
sudo passwd guofei2

# 列出所有用户
cat /etc/passwd
# 显示的某一行格式如下：
# guofei2:x:1001:1001::/home/guofei2:/bin/sh
# 每一项意义如下：
# 用户名、密码占位符、uid（用户id）、gid（组id）、用户描述（可选）、用户主目录、用户 shell 类型

# 列出所有的用户组
cat /etc/group
# 显示的某一行如下：
# guofei2:x:1001:

# 也可以用这个命令查看用户信息
id # 所有用户
id guofei2 # 查看某个用户
# 显示如下：
# uid=1001(guofei2) gid=1001(guofei2) groups=1001(guofei2)

# 切换到另一个用户
su guofei2
su - guofei2 # （更常用）切换到用户 guofei2，然后切换到 guofei2 的工作目录，同时加载 guofei2 的环境变量

# 修改用户组
usermod 
# -g 修改用户组
# -G 设置一个附加组
# 例子：给用户 guofei2 设置一个附加组 sudo：
sudo usermod -G sudo guofei2
# 这样，用户 guofei2 可以使用 sudo 权限了

# 修改附加组
gpasswd
# -a 添加附加组
# -d 删除附加组
gpasswd -d guofei2 sudo # 从 guofei2 删除附加组 sudo


# 删除用户
userdel -r guofei2
# -r 同时删除用户主目录，同时删除同名的用户组

# 创建用户组
groupadd my_group

# 删除用户组
groupdel my_group
# 用户组下面没有用户，才能删

# 最常用
pkg -l | grep ruby

apt list

# rpm包安装的
rpm -qa | grep ruby
# 以deb包安装的
dpkg -l | grep ruby
# yum方法安装的
yum list installed | grep ruby

# 如果是以源码包自己编译安装的，例如.tar.gz或者tar.bz2形式的，这个只能看可执行文件是否存在了，
# 上面两种方法都看不到这种源码形式安装的包。如果是以root用户安装的，可执行程序通常都在/sbin:/usr/bin目录下。
# 说明：其中rpm yum 是Redhat系linux的软件包管理命令，dpkg是debian系列的软件包管理命令

apt-get update
# 基础软件
apt-get install sudo
sudo apt update


# 常用工具

# 安装 gcc/g++/make 等编译和构建所需的基本软件
sudo apt install build-essential
sudo apt install gcc
gcc --version


# ifconfig:
sudo apt install -y net-tools
# tree：
sudo apt install tree
# 安装git：
sudo apt install git
# 用 sudo apt install git-all 安装所有额外组件

# 看CUDA：
nvidia-smi

# 安装
sudo dpkg -i package.deb
# 卸载
dpkg -i package
# 查询
dpkg -l package

# 下载安装包 https://www.anaconda.com/products/individual
# 用 sh 命令运行下载好的安装包 sh **.sh
# 设置环境变量：
export ANACONDA_HOME='root/anaconda3' # 这里填入你安装 anaconda的目录
export PATH=$ANACONDA_HOME/bin:$PATH
source ~/.bashrc

pyspark  
spark-shell  

# linux 服务器上安装
sudo apt install -y openssh-server  

# 在本地：
ssh user@ip  # ssh 连接服务器
# -f SSH连接成功后，转入后台运行。用来在不中断SSH连接的情况下，在本地shell中执行其他操作。
# -p 22 请求 22 端口
# -N 表示只连接远程主机，不打开远程shell

exit # 退出

export remote_ip=10.10.10.10
# 把本地的 9987 端口和服务器的 8888 连接起来(先确保本地的 9987 端口没被占用)
ssh -f guofei@${remote_ip} -N -L 9987:localhost:8888
# 远程连接并开启 jupyter：
ssh guofei@${remote_ip}
jupyter-lab --no-browser --port=8888
# 本地打开浏览器 http://localhost:9987/lab?token=123

# 本地的 bash 里面
scp /Users/guofei/Desktop/me.png guofei@10.10.10.10:me.png