2013. 10. 26. 16:06ㆍComputer System
Ⅰ. 컴퓨터 성능평가의 개요
가. 성능(Performance)의 정의
- 시스템의 총 생산성을 결정하는 2대 요소인 시스템의 사용 편이성 (Usability ), 성능 중의 하나- 단위 시간당 컴퓨터 시스템이 처리하는 작업의 수 (throughput)에 의해 결정되거나, 가용성 (Availabilit y), 처리량 (Throughput), 응답 시간 (Response time), 그리고 평균 대기 시간 (Average wating time) 등의 요소가 복합적으로 상호 작용되어 결정됨
나. 성능평가의 정의
- 컴퓨터 시스템 (하드웨어+소프트웨어)의 성능을 측정하거나 그 성능을 향상시킬 수 있는 방법을 조사하는 작업
- 작업 부하 모델 (Workload model )로 수행 능력을 측정하여 시스템의 성능을 객관적이고 종합적으로 판단함
다. 컴퓨터 성능평가의 대상
- 컴퓨터 시스템(하드웨어 + 소프트웨어)
- 일반적으로 컴퓨터 시스템의 성능 공학이 힘든 이유는 다양한 요소들이 복잡하게 상호 작용함으로써 성능으로 나타나기 때문임
라. 컴퓨터 성능평가의 척도
1) 질적(Qualitative)척도
→사용 편이성(Ease of Use)
→구조성(Structuredness)
→명령문의 강력성(Power of an instruction set)
2) 계수(Quantitative) 척도
→생산성(Productivity) : 주어진 단위 시간 내에 시스템에 의해 처리되는 정보량
→반응성(Responsiveness) : 시스템에 입력이 주어진 시각으로부터 시스템이 이와 관련된Corresponding) 출력을 생성하기까지의 시간
→활용성(Utilization) : 주어진 시간 동안 시스템의 특정 요소가 이용되는 정도
마. 컴퓨터 성능평가의 목적
1) 선정 평가(Selection Evaluation)
→컴퓨터 시스템 설치 환경 설계나 구매 (Procurement)를 목적으로 한 제품 선정을 위해 실시하는 평가
2) 성능 개발(Performance Projection)
→미개발 시스템의 목표 성능을 예측하기 위한 평가
→제조 ,개발 업체들이 하드웨어 ,소프트웨어 등을 설계시 미리 상품성을 고려하기 위해 실시하는 성능 평가
3) 성능 측정(Performance Monitoring)
→시스템의 성능 향상이나 운용 비용 절감 등을 위해 기존 시스템의 성능을 평가
Ⅱ. 컴퓨터 성능평가 기법
가. Timing
- 하드웨어의 성능 비교
- Addition time, Memory Cycle time
- MIPS, BIPS, TIPS (Million / Billion / Tera Instruction Per Seconds) : 정수 연산을 기준으로
산정하는 방법
- FLOPS (Million FLoating point Operation Per Second)
1) 부동 소수점 연산을 기준으로 산정하는 방법
2) 부동 소수점 연산을 많이 하는 과학계산용, 병렬 컴퓨터 또는 슈퍼 컴퓨터의 성능을
측정하는 기준으로 많이 사용
나. 혼합 명령문(Instruction mixes)
- 가장 자주 사용되는 명령어에 대한 가감 평균값
- Software의 성능 평가에는 부적합
다. 커널 프로그램 / 샘플 프로그램
- 설치시에 수행하는 전형적인 성능 평가법
- 같은 프로그램을 다른 기계에서 수행시켜 수행시간 비교
- Software의 비교에 유리
- 일반적인 특성을 많이 갖는 프로그램 선정
라. 합성 프로그램
- 커널 프로그램과 벤치마크의 혼합방식
- 기계의 특정 부분을 테스트하려고 작성된 실제 프로그램
마. 분석적 모델
- 수학적인 모델
- 큐잉 이론, 확률 통계 이론에 근거
바. BMT(Bench Mark Test)
Ⅲ. TPC Benchmark의 개요
가. Benchmark의 정의
- 컴퓨터 기종을 선택하기 위해 같은 기기 구성 시스템으로 실제의 작업을 컴퓨터로 수행시켜 보는 시험 또는 장치나 시스템의 성능을 실제 사용 환경에서 측정하기 위한 여러 가지 검사
- 비교할 대상이 되는 여러 컴퓨터에 표준 벤치마크 프로그램(벤치마크 루틴)을 수행시켜 수행 속 도를 비교하는 검사
- 많이 쓰이는 벤치마크 프로그램의 예로서는 행렬 곱셈, 에라토스테네스의 체 (Eratosthenes Sieve), 휘트스톤(Whet stone)
- 실제 사용될 프로그램(Production Program)과 실제 데이터(Production Data)로 실행
- 가장 많이 사용되는 평가 방법
- Vendor에 의해 자주 이용
- H/W, S/W 및 DBMS 등에 모두 적용
나. TPC의 정의
- Transaction Processing Performance Council (트랜잭션 처리 성능 평의회)
- OLTP 시스템의 처리 성능을 측정하는 성능 평가 기준의 표준 규격을 제정하기 위하여 1988년에 결성된 비영리 단체
- 미국의 탄뎀, DEC, IBM, 영국의 ICL, 일본의 NEC 등 OLTP 시스템 제조업체 34개사와 반도체 제조업체, 사용자 단체 등이 참가하여 OLTP 시스템의 성능 평가 기준을 TPC Benchmark라는 이름으로 발행
Ⅳ. TPC Benchmark의 종류 및 수행 절차
가. TPC Benchmark의 종류
|
종류 |
대상 및 특징 |
주요 테스트 J2EE |
|
TPC-C |
- 대상 : OLTP - 가장 일반적인 성능 시험 |
- 가상주문입력, 분산환경의 분 당 업무 트랜잭션 처리량 (tpmC) |
|
TPC-H |
- 대상 : 의사결정지원 시스템 - 대량의 데이터 시험, 복합적인 임시조회(Ad-Hoc Query)등의 시험에 사용 |
- 가격과 판촉, 수요와 공급, 수익과 이익, 시장 점유율 등 |
|
TPC-R |
- 대상 : 의사결정지원 시스템 - 비즈니스 Reporting 생성 |
- 표준화된 보고서 생성 |
|
TPC-W |
- 대상 : 전자상거래 - 보안, Shopping Carts, 신용카드 체크, Load Balancing 등을 포함 |
- 웹서버의 트랜잭션 |
|
TPC-A,B,D |
사용되지 않는 TPC BMT | |
나. TPC Benchmark의 수행 절차
Ⅴ. 컴퓨터 성능평가의 활용 및 고려사항
가. 컴퓨터 성능평가의 활용
1) 선정(Selection) : 컴퓨터 시스템 설치 환경 설계나 구매(Procurement)와 관련된 문제 해결
2) 개선(Improvement) : 시스템의 성능 향상이나 운용 비용 절감을 위해 기존 시스템에 수정
3) 설계(Design) : 사용자 집단에 의해서 라기보다는 제조, 개발 업체들이 하드웨어, 소프트웨어,
언어번역기능 등을 설계함에 있어 등장하는 문제로서 상품성을 높이기 위해서는 성능 평가가
매우 중시
나. Benchmark에 대한 고려사항
- 각 Vender사가 수억원의 비용을 투자하며 Benchmark 결과를 홍보하는 것은 사용자의 제품 선정 기준에서 성능이 차지하는 비중이 그만큼 크다는 것을 반증하는 것임
- 그러나 Benchmark 테스트 결과가 절대적인 평가 기준은 아니며 신뢰할 수 있는 객관적인 평가 기준에 불과하다는 점을 인식할 필요가 있음
- 왜냐하면 tmpC가 업계 공인 수치이지만 실제 업무에 사용할 때 똑같은 성능이 나오는 것은 아니기 때문임
- 또한 시스템 공급업체는 BMT 결과치를 발표할 때, 여러 BMT 기관의 자료 가운데 자신들의 시스템에 유리한 BMT 결과치만 공개하거나, 자사의 신제품과 경쟁사의 구형제품 또는 저가 기종을 단순 비교한 BMT 자료만 제시하는 경우가 있으므로 BMT 지수에 대하여는 주의 깊은 신뢰가 요구됨
[출처] [CA] TPC Benchmark (All Pass IT PE) |작성자 빅베어