Performance Co-Pilot을 통한 성능 데이터 수집
RHEL8에는 시스템 수준의 성능 측적값을 모니터링/시각화/저장/분석 하기 위한 툴,서비스, 라이브러리 베품군인 PCP (Performance Co-Pilot) 가 포함된다.
경량 분산 아키텍쳐를 사용하며 로컬 및 원격 호스트의 중앙 집중식 분석에 이상적임
모든 PCP 툴이 원격으로 실행될 수 있어 분산형이다.
모니터링되는 호스트(들)에서 커널,서비스계층,웹서버등을 비롯한 성능 지표의 각 도메인에는 해당 도메인의 성능 측정값 수집을 책임지는 PMDA (Performanage measure domain agaent)가 필요하다.
모든 PDMA는 동일한 호스트의 PMCD(Performance measure Collector daemon) 을 통해 제어된다.
pcp 툴과 레거시 툴은 서로 기능이 거의 일대일로 일치한다.
pcp의 장점은 레거시 툴과 유사한 기능을 유지하면서 많은 최신 툴과 함께 사용할 수 있는 범용 스토리지 구조를 이용한다는 것이다.
PCP는 아래를 위한 프레임워크를 제공
- 실시간 데이터 모니터링 및 관리
- 기록데이터의 로깅 및 검색
PCP 및 관련 패키지 설치하기
pcp 패키지는 pmcd 수집기 데몬, pcp 명령, 하위 명령 및 기본 툴과 라이브러리를 제공
pcp-gui 패키지는 로컬 및 원격 성능 지표의 그래픽 데이터를 생성하는 pmchart 명령 등의 추가 유틸리티가 포함되며 또한 pcp 그래픽 뷰를 생성할 수 있다.
추가 시스템 모니터링 툴 pcp-system-tools 패키지는 pcp 명령에 인수로 전달되는 확장된 pcp 툴과 하위 명령 세트를 제공한다. 이 패키지에는 iostat, pidstat, free 등과 같은 레거시 명령의 pcp 버전이 포함되어 있다. 그래서 pcp free 이런식으로 명령을 칠 수 있음.
PCP 시작 및 활성화하기
PCP는 PMCD 데몬 수집기를 사용하여 시스템의 성능 지표를 수집한다.
PCP에 성능 지표를 제공하는 모든 시스템에 PMCD 인스턴스가 실행되고 있어야 한다.
systemctl enable --now pmcd
기본적으로 pcp 명령으로 퍼포먼스 코파일럿 구성 정보를 요약해서 확인한다.
[student@servera ~]$ pcp
Performance Co-Pilot configuration on servera.lab.example.com:
platform: Linux servera.lab.example.com 4.18.0-80.el8.x86_64 #1 SMP Wed Mar 13 12:02:46 UTC 2019 x86_64
hardware: 2 cpus, 4 disks, 1 node, 1829MB RAM
timezone: CDT+5
services: pmcd
pmcd: Version 4.3.0-1, 8 agents
pmda: root pmcd proc xfs linux mmv kvm jbd2
평소 쓰던 명령 앞에 pcp를 붙인다.
pcp free
pcp free랑 free 랑 수치가 좀 다른데, pcp free 명령은 커널이 사용하는 캐시 뿐만이 아니라 시스템에서 사용가능하거나 사용한 실제 메모리와 스왑의 총 용량을 요약해서 제공한다.
pcp dstat
vda 같은 디스크 사용량과 관련된 자세한 정보를 표시한다.
pcp dstat 명령은 일반적인 성능 분석 툴로 사용된다. 이 명령을 쓰면 동일한 간격으로 여러 시스템 리소스를 볼 수 있다.
예를 들어 디스크 사용량을 디스크 컨트롤러의 인터럽트와 결합해서 비교하거나 네트워크 대역폭 수치를 디스크 처리량과 직접 비교할 수 있다.
dd 명령을 백그라운드로 수행하여, diskreads라는 파일에 대해 쓰기 를 생성한다.
그동안 pcp dstat을 사용하여 1초마다 데이터를 수집하고 출력을 10회 반복하고 타임스탬프 및 디스크 통계를 표시한다.
[student@servera ~]$ dd if=/dev/zero of=diskreads bs=512 \
count=2M oflag=dsync &
[student@servera ~]$ pcp dstat --nocolor -tdD vda 1 10
----system---- --dsk/vda--
time | read writ
28-06 08:10:52|
28-06 08:10:53| 0 111M
28-06 08:10:54| 0 128M
28-06 08:10:55| 0 112M
28-06 08:10:56| 0 112M
28-06 08:10:57| 0 111M
28-06 08:10:58| 0 0
28-06 08:10:59| 0 0
28-06 08:11:00|1838k 0
28-06 08:11:01| 0 10kkill $(pidof dd) 명령을 사용하여 dd 명령을 종료합니다.
[student@servera ~]$kill $(pidof dd)
[student@servera ~]$
pcp dstat 명령에 인수를 제공하지 않으면 기본 옵션인 -cdngy가 사용된다.
기본옵션은 각각 --cpu, --disk, --net, --page, --sys에 해당한다.
추가로 다른 옵션은 각 줄에 타임스탬프 추가, 각 업데이트 사이에 지연 추가, 표시할 업데이트 수 등이 있다.
- -time : 타임스탬프 추가
- 2 8 : 2초마다 8번
- --proc : cpu 프로세스 통계 보고
pmstat 명령은 vmstat 과 유사한 정보를 제공한다. vmstat과 pmstat 둘다 수집 간격 (-t)와 샘플 수 (-s) 를 조정하는 옵션이 있다.
-t 1은 1초마다, -t 3은 3초마다.
1분 부하 평균, 스와핑 통계, 시스템 인터럽트 비율 및 컨텍스트 전환, CPU 사용자 코드, 시스템 및 인터럽트 처리 코드, 유휴 루프 통계를 캡쳐할 수 있다.
루프 구조로 sha1sum /dev/zero & 명령 인스턴스 4개를 실행하여 시스템에 워크로드를 적용한 다음, pmstat 명령을 실행합니다. 약 15회 반복하면서 값의 변화를 관찰합니다. PID 및 통계 값은 명령을 실행할 때마다 달라집니다.
[student@servera ~]$ for i in $(seq 1 4); do sha1sum /dev/zero & done
[1] 2154
[2] 2155
[3] 2156
[4] 2157
[student@servera ~]$ pmstat
@ Sun Jun 30 15:54:33 2019
loadavg memory swap io system cpu
1 min swpd free buff cache pi po bi bo in cs us sy id
0.70 0 1229m 2104 364200 0 0 0 0 2017 307 95 5 0
0.96 0 1229m 2104 364200 0 0 0 0 2016 305 96 4 0
1.20 0 1229m 2104 364200 0 0 0 0 2014 304 95 5 0
1.59 0 1229m 2104 364200 0 0 0 0 2015 307 95 5 0
1.94 0 1229m 2104 364200 0 0 0 0 2013 306 95 5 0
2.11 0 1220m 2104 364220 0 0 0 0 2069 404 95 5 0
2.34 0 1228m 2104 364212 0 0 0 27 2099 458 95 5 0
2.55 0 1228m 2104 364212 0 0 0 0 2014 304 96 4 0
2.67 0 1228m 2104 364212 0 0 0 0 2013 303 96 4 0
2.78 0 1228m 2104 364212 0 0 0 0 2015 304 95 5 0
2.87 0 1228m 2104 364212 0 0 0 0 2013 304 95 5 0
2.96 0 1228m 2104 364212 0 0 0 0 2015 299 96 4 0
3.05 0 1228m 2104 364212 0 0 0 18 2015 308 95 5 0
3.12 0 1228m 2104 364212 0 0 0 0 2016 306 95 5 0
3.19 0 1228m 2104 364212 0 0 0 0 2014 306 95 5 0
...output omitted...ctrl+c로 pmstat을 종료한다.
아래 명령어로 sha1sum /dev/zero 명령 인스턴스를 모두 종료한다.
[student@servera ~]$pkill sha1sum
[2] Terminated sha1sum /dev/zero
[3]- Terminated sha1sum /dev/zero
[1]- Terminated sha1sum /dev/zero
[4]+ Terminated sha1sum /dev/zero
performance co-pilot에는 개별적으로 추적되는 지표를 쿼리하는 텍스트 기반 메커니즘이 있다.
저장된 지표 목록을 가져올 때 pminfo 명령 사용
관련 데이터를 수집하려면 메트릭과 함께 pmval 명령을 사용한다.
아래처럼 리스트 쭉 나옴
하나 찍어서 볼 수 있음. dt 명령은 뭘까?
대문자 T옵션으로 상세 설명 확인 가능. 근데 dt가 더 나을지도? pminfo -h 에서 자세히 보자.
pminfo 에서 “사용가능한 메모리”를 추적하는 성능지표를 찾는다. 찾은 후에는 해당 설명을 표시하고 간격당 15초 속도로 샘플 출력 5개를 수집합니다.
[student@servera ~]$pminfo | grep free
mem.freemem
...output omitted...
[student@servera ~]$ pminfo -dt mem.freemem
mem.freemem
Data Type: 64-bit unsigned int InDom: PM_INDOM_NULL 0xffffffff
Semantics: instant Units: Kbyte통계 값은 명령 실행할때마다 달라진다.
[student@servera ~]$pmval -t 15 -s 5 mem.freemem
metric: mem.freemem
host: servera.lab.example.com
semantics: instantaneous value
units: Kbyte
samples: 5
interval: 15.00 sec
1261872
1261904
1261904
1261904
1261936
pmval -s 5 proc.nprocs 여기서 -s 5는 샘플 다섯개
그래픽 유틸리티를 사용하여 성능 지표 데이터 그리기
pcp-gui 패키지는 여러 라이브 호스트에서 소싱된 성능 지표 값을 그리는 pmchart 그래픽 유틸리티를 제공한다.
로컬 및 원격 호스트를 동일한 뷰에서 표시할 수 있다. 하나 이상의 pcp 아카이브 세트를 기록데이터의 소스로 사용할 수 있다.
pmchart 명령은 라이브 데이터 및 다른시스템의 데이터를 그래프로 그리고 보관된 데이터 파일의 데이터를 재생할 수 있음.
실행하면 아래와 같이 뜬다. 아직 차트가 구성되지 않은 것임
차트 추가하려면 FILE -> NEW CHART 선택
이런식으로 나옴
이런식으로 여러가지 체크해서 만들 수 있다.
아래 사진은 MEM 부분은 적용 안한것임.
이런식으로 여러가지 체크해서 만들 수 있다.
관리자는 동일한 pmchart 창에 표시할 여러 그래프를 구성할 수 있음.
pmchart 의 그래프 데이터는 1초마다 업데이트되며, 각 독립 그래프에서 간격을 수정할 수 있다.
예시
- 백그라운드에서 pmchart 유틸리티를 시작합니다.
[student@workstation ~]$pmchart &- New Chart(새 차트) 아이콘을 클릭합니다.
- Metrics(지표) 탭에서 mem → freemem을 선택하고 OK(확인) 버튼을 클릭합니다.
- New Chart(새 차트) 아이콘을 다시 클릭합니다.
- Metrics(지표) 탭에서 network → interface → out → bytes → en
*X*를 선택하고 OK(확인) 버튼을 클릭합니다. - 선택한 차트를 검토합니다. 사용 가능한 다른 몇 가지 차트를 실험합니다.
- PCP 차트 인터페이스를 닫습니다.
- 상단 메뉴 표시줄에서 File(파일) → Quit(종료)를 클릭합니다.
pcp 차트를 사용하여 원격 호스트 액세스
원격 호스트의 성능 지표에 액세스하려면 다음을 수행합니다.
- 로컬 및 원격 호스트에 pcp 패키지를 설치합니다.
- 각 원격 호스트의
44321/tcp포트에 대한 액세스 권한을 부여합니다. - 로컬 및 원격 호스트에서
pmcd데몬을 시작하고 활성화합니다. - 시스템 모니터링 툴이 필요한 모든 호스트에 pcp-system-tools 패키지를 설치합니다.
기본적으로 pmchart는 로클 호스트 pmcd 데몬에 연결한다.
원격 호스트에 연결하려면 pmchart 명령에 호스트명을 지정한다.
아래는 로컬 호스트에서 remotehost의 pmcd 데몬으로의 연결을 연다.
[user@host ~]$ pmchart -h remotehost또는 실행 중인 PCP 차트 인터페이스에 올바르게 구성된 원격 호스트를 추가할 수 있습니다.
- PCP Charts(PCP 차트) 인터페이스에서 Edit(편집) 메뉴를 클릭하고 Preferences(기본 설정)...를 선택합니다.
- Edit(편집) 메뉴를 열고 Preferences(기본 설정)...를 선택합니다.
- Settings(설정) 인터페이스에서 Hosts(호스트) 탭을 클릭합니다.
- Add Host Computer(호스트 컴퓨터 추가) 아이콘을 클릭합니다.
- Hostname(호스트 이름): 필드에 원격 호스트 이름을 입력합니다. OK(확인) 버튼, Close(닫기) 버튼을 차례로 클릭합니다.
- 추가 호스트를 확인하려면 PCP Charts(PCP 차트) 인터페이스에서 New Chart(새 차트) 아이콘을 클릭합니다. Metrics(지표) 탭을 클릭하여 해당 호스트의
pmcd데몬에 연결된 호스트 목록을 표시합니다.
로그에서 데이터 재생하기
pcp에는 pmlogger 명령으로 데이터를 로그에 저장하는 기능도 있다.
기본적으로 pmlogger 명령은 로깅된 데이터를 /var/log/pcp/pmlogger/HOSTNAME 에 저장한다.
pmlogger 아카이브에 데이터를 수집하고 나서는 pmval, pmchart 같은 툴로 선택한 성능지표를 기준으로 데이터를 쿼리 및 처리한다.
pmlogger 명령은 pcp 초기화 스크립트에서 데몬으로 시작될 수 있다. (데몬으로 시작됨) pmlogger는 기본적으로 1초마다 데이터를 수집한다. pmlogger는 데몬이다.
pmlogger 명령은 pcp 초기화 스크립트에서 데몬으로 시작될 수 있습니다. 수동으로 명령을 시작할 수도 있습니다.
[user@host ~]$ pmlogger /var/log/pcp/pmlogger/host.example.com
로그파일은 ISO 형식 날짜로 시작된다. 로그 파일 외에도 메타데이터 및 인덱스 정보를 저장하기 위해 여러 파일이 생성된다.
pmdumplog 명령으로 성능 지표 아카이브 로그의 내부 세부 정보를 본다.
-Z EST+5 옵션은 타임스탬프가 아카이브의 타임스탬프와 동일한 형식으로 표시되어 근본적으로 로컬 시스템의 표준 시간대를 재정의하도록 한다.
Z 옵션 없으면 타임존 얘기 안나옴.
참고 : 로그를 다른 시스템에 보낼때는 로그 파일 및 관련 .meta 파일을 복사한다. 파일 누락이 있으면 분석툴에서 로그를 못읽는다.
로그가 생성되어 있으면, pcp 명령 쓸때 -a 옵션 사용하여 라이브 데이터가 아닌 아카이브 데이터를 열 수 있다.
pmval, pmchart 명령에는 데이터를 특정 시간 범위로 좁히는데 사용해야 하는 시작 및 종료 시간을 지정하는 추가 옵션이 있다.
pmval -a 파일명 속성명
[user@host ~]$ pmval -a /var/log/pcp/pmlogger/host.example.com/20150224.00.10.0 kernel.all.load
...output omitted...
03:03:46.197 0.1100 0.1700 0.1200
03:03:47.197 0.1100 0.1700 0.1200
03:03:48.197 0.1100 0.1700 0.1200
03:03:49.197 0.1100 0.1700 0.1200
...output omitted...
pmval에서 아래와 같이 옵션을 사용하여 특정 기간을 지정할 수 있다. 날짜 값은 date의 결과와 비슷하므로 그걸 따라하면 된다. 아래는 2025년 2월 18일 23:30:00부터 23:31:00까지의 기록을 확인하는것이다.
pmval 명령을 사용하여 2019년 7월 7일 03:03:00부터 03:04:00까지의 부하 평균을 살펴봅니다.
[user@host ~]$ pmval -a /var/log/pcp/pmlogger/host.example.com/20190707.00.10.0 kernel.all.load -S '@ Sun Jul 07 03:03:00 2019' -T '@ Sun Jul 07 03:04:00 2019'
metric: kernel.all.load
archive: /var/log/pcp/pmlogger/host.example.com/20190707.00.10.0
host: host.example.com
start: Sun Jul 07 03:03:00 2019
end: Sun Jul 07 03:04:00 2019
semantics: instantaneous value
units: none
samples: 61
interval: 1.00 sec
1 minute 5 minute 15 minute
03:03:00.000 0.3000 0.2100 0.1200
03:03:01.000 0.3000 0.2100 0.1200
03:03:02.000 0.3000 0.2100 0.1200
...output omitted...대체(alternate) 시간 사양(specification)은 PCPIntro(1) 도움말 페이지에서 확인할 수 있습니다.
References
pmstat(1), pmcollectl(1), pmatop(1), pminfo(1), pmval(1) 및 pmchart(1) 도움말 페이지
PCP(Performance Co-Pilot) 데이터시트
'Performance Tuning > RH442 본문' 카테고리의 다른 글
| 2장 - 시스템 활동 보고서 Sar (0) | 2026.03.02 |
|---|---|
| 2장 - 시스템 모니터링 툴 (0) | 2026.03.02 |
| 1장 - 성능 튜닝 소개 (0) | 2026.03.02 |
| 소개 - 강의실 환경 (0) | 2025.02.10 |