Eric 发布的文章

Java 性能优化视频笔记

https://thestrangeloop.com/2017/the-performance-engineers-guide-to-java-hotspot-virtual-machines-execution-engine.html
这个视频其实和她的那本书基本是一致的, 加了些那年比较新的东西.

  1. JDK 是我们开发用的开发工具集, 里面包含 JRE 和一些工具, 比如 jps, cmd, JVisualVM 等;
  2. JRE 是 Java 运行时引擎, 是 Java 代码跑起来的必要设施. 它处于用户代码和 OS 之间;
  3. API 是我们的代码和 JRE 之间的接口;
  4. JRE 里面主要的功能是 编译 和 内存管理, 所以 JRE 层面的优化主要是编译和内存管理(heap)方面;
  5. Java 的内存管理主要是管理 内存的分配和内存的回收 -> 内存管理算法 -> CMS, G1, etc;
  6. 编译分为 静态编译 和 动态运行时编译;
  7. JIT 优化: 提前编译, 分层编译, 基于已搜集信息的编译(profile-based), 启发式编译;
  8. Java 代码是先翻译(javac 成 class 文件字节码)然后再部分编译(JIT);
  9. JRE(运行时)的主要目的就是把字节码转换成操作系统 native 代码;
  10. 内存分配-> 快速分配 -> TLAB & PLAB;
  11. 锁: 偏向锁, 轻量锁, 锁膨胀, 锁消除;
  12. 代码: inline, 逃逸分析, 代码消除, 栈上分配, 寄存器分配;
  13. String 实现的优化 itern();

MAC 的 PATH 环境变量

在 MAC 上工作, 竟然遇到要更改 PATH 环境变量的情况. 比如有的 Java 工程是基于 JDK8 的, 有的是基于 JDK11 的, 所以经常要改这个变量. 那么我们看到的 PATH 环境变量是从哪里来的, 那些配置文件会改这些 PATH 值呢?

首先, 我们先看下当前的 PATH 变量:

~ xiatian$ echo $PATH
/usr/local//Cellar/curl/7.80.0_1/bin/:/usr/local/bin:/usr/bin:/bin:/usr/sbin:/sbin:/Applications/Wireshark.app/Contents/MacOS:/Users/xiatian/work/tools:/Applications/Visual\ Studio\ Code.app/Contents/Resources/app/bin/

这里面有好多路径, 那么我们好奇当系统启动的过程中, 最初的 PATH 是什么呢?

  1. MAC 上最初的 PATH 是从 /etc/paths 文件读的:

    ~ xiatian$ cat /etc/paths
/usr/local/bin
/usr/bin
/bin
/usr/sbin
/sbin

  2. 然后, 它会把 /etc/path.d 里面的路径逐个添加到后面, 比如我们可以看到我的 wireshark 路径在上面的 PATH 里:

    ~ xiatian$ ls -l /etc/paths.d/
total 8
-rw-r--r--  1 root  wheel  43 Oct 19  2017 Wireshark
~ xiatian$ cat /etc/paths.d/Wireshark
/Applications/Wireshark.app/Contents/MacOS
  3. 在个人的 home 目录, 还有2个文件会影响 PATH 的值: .bash_profile & .bash_rc. 他们的区别是: 当一个 shell 是 login shell 的时候, 它会先执行 .bash_profile, 当是一个非 login 交互式 shell 的时候, 它执行 .bashrc. 但是在 MAC 上, 默认都是 login shell, 所以应该都执行. 来源于这个问答. 我试过了自带的 Terminal 和 安装的 iterm, 发现我的 MAC 都不是这么玩的.

  4. 我本地是执行的 ~/.profile. 查看 bash 的 man, 你会在 INVOCATION section 看到具体的配置执行顺序:

    ~ xiatian$ man bash
When bash is invoked as an interactive login shell, or as a non-interactive shell with the --login option, it first reads and executes commands from the file  /etc/profile,  if that  file exists.  After reading that file, it looks for ~/.bash_profile, ~/.bash_login, and ~/.profile, in that order, and reads and executes commands from the first one that exists and is readable.  The --noprofile option may be used when the shell is started to inhibit this behavior.
When an interactive shell that is not a login shell is started, bash reads and executes commands from ~/.bashrc, if that file exists.  This may be inhibited by using the --norc option.  The --rcfile file option will force bash to read and execute commands from file instead of ~/.bashrc.

所以, 只要仔细阅读 man bash 的内容, 你就知道 PATH 是怎么变化的啦.

Linux Containers and Virtualization 学习笔记

一本简短的关于 Linux 虚拟化方面的书, 涉及到虚拟机和container的一些核心概念, 挺好的.
<<Linux Containers and Virtualization: A Kernel Perspective>>

基础部分

  1. Linux Kernel and CPU help on virtualization.
  2. process-level virtualization -> Java -> Java runtime environment virtualized the POSIX layer.
  3. VMware -> virtualizing the actual hardware like the CPU, memory, disks, etc -> VMware software(hypervisor: host->guest OS) -> ESX (type 1: OS on hypervisor) & GSX (type 2: OS on OS)
  4. 对底层计算资源的更加灵活的利用/隔离/管控 -> 不同 level 的实现/优劣/代价/
  5. 2 种常见虚拟化技术的对比(VM-based vs container-based). 思考的角度/实现的思路 -> 我要一台虚拟机->我要一个 OS-> 一个物理机跑几个 OS (底层) | 虚拟化就是资源的隔离与限制 (上层)
  6. Hypervisor -> VMM (Virtual Machine Monitor): trapping and emulating the privileged instruction set & Device model: virtualizing the I/O devices
  7. VMM 满足 3 大属性: 1. Isolation 隔离, 2. Equivalency 同等性, 3. Performance 性能.

  8. VMM 基本功能:

    1. 不允许 VM 访问 privileged 状态;
    2. 处理异常和中断, map 到对应的虚拟机;
    3. 处理 CPU 虚拟化: 大部分指令 natively, trapping 部分特权指令;
    4. 处理各 VM 的内存映射, 控制物理内存映射

  9. 内存虚拟化: guest OS 不能直接操作物理内存, 不能操作硬件 page tables. 一般Virtual Memory -> CR3 + MMU (硬件) -> 查找 page tables -> 物理内存; 对应 VMM 有了 3 层抽象

    1. Guest virtual memory;
    2. Guest physical memory;
    3. System physical memory;
  10. 内存虚拟化: 对于3 层抽象, 可能的 2 个解决方案: 1) Shadow page tables ; 2) Nested page tables with hardware support -> AMD & Intel 提供硬件扩展 -> EPT (Extended Page Table) -> 2 层 page tables;

namespace

  1. Namespaces kernel 内部逻辑隔离, 通过限制系统资源可见性的方法 主体: process, 对象: (内核资源) mnt, pid, uts, ipc, net, time, cgroup, user.
  2. namespace 实现-> kernel 的内部数据结构 -> task-struct->nsproxy (task-struct->cred (user only)).
  3. namespace 相关的 syscall 1. clone; 2). unshare; 3. setns.
  4. 查看一个进程的 ns -> /proc/<pid>/ns/

  5. net namespace 相关的命令

    1. ip netns add myns
2. ip netns del myns
3. ip netns exec myns sh ## 执行 sh 在 myns namespace
4. ip link add veth0 type veth peer name veth1  ##创建 veth 对 (veth0 ~ veth1)
5. ip link set veth1 netns myns ## 把 veth 的一端加到 myns namespace

cgroup

  1. cgroup(control group): kernel 里的: cgroup controller + cgroupfs 组成;
  2. cgroup v1 ~ v2
  3. mount cgroup v2: mount -t cgroup2 none <mount_point>

  4. CPU group:

    1. CFS scheduler vs RT scheduler
    2. CFS -> cpu.shares vs cpu.cfs_quota_us/cpu.cfs.period_us (us:微秒)
    3. CFS -> 数据结构: task_struct -> sched_entity -> vruntime;
    4. CFS -> 每次 schedule 的时候, 计算权重,剩余时间,控制用量, 排序 -> 根据 CPU 个数, 进程数, 配置, 等信息
    5. CFS -> 数据结构: CONFIG_CFS_BANDWIDTH

  5. Block I/O cgroup

    1. 块设备 I/O 的读写 bytes 和 iops (数据量和次数);
    2. fairness + throttling
    3. process -> (Page Caches + VFS) -> File System -> Blocker Layer -> Driver -> Disk
    4. Block I/O cgroup 实现在 Blocker Layer;
    5. 数据结构: request_queue -> request -> bio;
    6. 控制结构: blkcg <- 块 I/O cgroup, 每个块 I/O cgroup 映射到一个 request queue. -> blkcg_gq;
    7. CFQ (Complete Fair Queuing) -> 每个 block I/O cgroup 以 group 为单位. 所有队列形成一个 queue tree;
    8. 数据结构: cfq_group -> vdisktime

Layered File System

  1. File system 屏蔽了底层的真实情况, 抽象成 文件读写. block 设备 vs non-block 设备 -> VFS;
  2. 所有的文件系统都注册到 VFS -> File -> (1:1) Inode (metadata). Dentry 内存里面用来根据 filename 查找遍历 Inode. Superblock (block, device metadata). File -> Dentry -> Inode -> page cache (address_space) -> memory page.
  3. mount -> 数据结构: vfsmount -> superblock;
  4. pdflush -> page dirty flush to disk;

  5. Layered File System:

    1. 节省磁盘 shared on disk
    2. 节省内存 -> 内存共享 (page cache). 快速启动 (已经加装在内存);
  6. Whereas in the case of a layered file system, the file system is broken into layers and each layer is a read-only file system. Since these layers are shared across the containers on the same host, they tend to use storage optimally. And, since the inodes are the same, they refer to the same OS page cache. This makes things optimal from all aspects.
  7. Union File System:
  8. OverlayFS: 一种 union FS. 大概可以理解为 Layered File System 是一个概念, UnionFS 是一个 API, OverlayFS 是一个实现

image.png

  1. 1
  2. 2
  3. 3
  4. 4
  5. ...
  6. 91