Share Everything about SW Testing!

프라다폰 결함으로 인해 SW 업그레이트 출시

(gedwarp) — Mon, 22 Jun 2009 00:59:13 +0900

고가 명품 마케팅으로 등장한 프라다2 초기부터 SW 결함으로 말 많네요.

http://www.zdnet.co.kr/ArticleView.asp?artice_id=20090619165847

[교육] STA 주관 개발자 테스팅 교육 (TDD)

(gedwarp) — Fri, 12 Jun 2009 13:12:22 +0900

안녕하세요. 조현길입니다.

테스팅으로 국내 잘 알려진 권대표님 회사에서 KIPA 지원으로 싸게 개발자 테스팅

교육을 하네요. 개발자 테스티에 관심있고 시간 있으신 분들은 가보셔도 좋을 것

같습니다. 그럼 활기찬 주말 맞으시길 바랍니다. ^^

---------------------------------------------------------------------------------------------------------------------------------

[주최측 취지]
개발자 분들이 단위(Unit) 테스팅을 잘 해주는 것은 전체 제품 품질의 향상을 위해
핵심적인 사항입니다. 개발자 단위 테스팅을 커버하는 4일 교육과정이 정부 지원으로
거의 비용 없이 개설되어 여러분 또는 동료분 들이 개발 테스팅을 이해하고 진행하기
위해 본 교육 수강을 제안 드립니다. 본인을 개발자로서 차별화시켜 주는 최고의 도구가
될 것입니다. 또한 주변에 Unit Testing을 할 수 있는 역량을 필요로 하는 다른 개발자분
들이 있으면 많은 소개 바랍니다. 특히 애자일 개발이나 단위 테스팅, 오픈소스 툴 활용에
관심 있는 개발자 분들에게 유닛테스팅에 대한 확실한 지식을 전수해 드리겠습니다.

http://image.sten.or.kr/edu_kipa/tdd_edu_pop.html

패턴라이팅 (Pattern Writing)과 저자 워크샵

(gedwarp) — Fri, 03 Apr 2009 10:44:52 +0900

경험을 정리하고 패턴화하는데 많은 도움이 되는 것인 것 같아 긁어모은 자료들 한번 정리해보았습니다.

----------------------------------

패턴라이팅 (Pattern Writing)과 저자 워크샵

[패턴이란?]

반복적으로 발생하는 문제에 대한 성공적 해결책을 문서화한 것을 패턴이라고 하고, 이 패턴들로 구성되는 언어를 패턴 언어라고 합니다.

간단하게 설명드리면 손자병법의 36계는 적군의 규모가 아군의 3배이상일때 쓰면 좋다라는 식으로 이해하시면 쉬울 것 같습니다.

패턴 언어에는 컴퓨터 프로그램 설계뿐만 아니라 조직 구성, 새로운 아이디어 도입, 그룹 스터디 방식, 교육 방법론등에 대한 것까지 존재하고 있습니다.
이러한 패턴 언어의 장점은 여러가지가 있습니다. 무엇보다도 지식 전파와 공유가 쉬워지며, 효과적인 커뮤니케이션을 할 수 있습니다.

그리고 집단 아이큐를 더 높힐 수 있으며 사회적 변화를 일으키는 원동력이 될 수도 있습니다.

패턴의 개념은 크리스토퍼 알랙산더(건축가)가 만들었고, 우리가 익히 알고 있는 Kent Beck은 Ruby Conf 강연에서 크리스토퍼 알랙산더의

"Timeless way of Building"을 몰래몰래 감명깊게 읽었던 것에 대해서 이야기하고 디자인패턴의 큰 힌트가 되었던 것을 이야기 합니다.

개발자라면 GoF의 디자인 패턴을 안 들어보신 분이 없을 것입니다. 하지만 스스로 패턴을 작성해 보신 분은 드물 것이리라 생각합니다.

패턴을 글로 옮기는 것을 패턴 쓰기(Pattern Writing)라고 합니다. 그리고 함께 서로의 패턴을 개선시켜주는 것을 저자 워크샵(Writer's Workshop)이라고 합니다.

PLOP이라는 컨퍼런스는 매년 세계 도처에서 이 저자 워크샵을 진행해 오고 있으며, 그 결과물이 Pattern Languages of Program Design이라는 책으로 벌써 5권

까지 출간되기도 했습니다. 이 PLOP의 워크샵은 전통이 깊고 효과적이기로 유명합니다.

[패턴을 모으고 공유하기]
Planet: Pattern Language Network 은 일종의 civic movement 로 패턴을 모으고 공유하는 운동을 하고 있습니다.

Planet 에 대한 소개는 http://blip.tv/file/1813796 의 영상을 참조해주세요.

플래닛에서는 케이스 스터디를 뽑고 그 중에서 패턴 후보를 선별하여 패턴을 만들고 시나리오에 적용하고

마지막으로 패턴을 매핑하는 단계로 패턴을 만들고 공유합니다.

*케이스 스터디 모음
http://patternlanguagenetwork.myxwiki.org/xwiki/bin/view/Cases/

*케이스 스터디 쓰는 법
http://patternlanguagenetwork.myxwiki.org/xwiki/bin/view/Help/CaseStudyHelp

[패턴 사례 : 제가 임의로 만들어본 패턴]

---------------------------------------------------------------------------------------------
"Buffering Defect Registration"

Situation
-What was the setting in which this case study occurred?
SW Product 을 처음 테스트할 때, 테스트 중에 중요한 결함과 사소한 결함들이 여러가지 발견했으나, 개발팀의 리소스(시간,인력)가 여유있지 않을때,

Task
-What was the problem to be solved, or the intended effect?
한꺼번에 많은 결함을 등록할 경우, 원인은 같지만 중복되어 등록된 결함이 많을 수 있는데 중요한 결함해결보다는 결함처리 행정절차에

시간을 사용함으로써 비효율적인 중복이 발생할 수 있다. 또한, 초기에 한꺼번에 많은 결함 리포트는 개발팀의 사기나 자신감을 저하시키고,

결국 모든 결함을 해결하지 못하고 다음 릴리즈로 일부 결함을 연기하게 된다.

Actions
-What was done to fulfil the task?
1차 테스트에는 사소한 결함들은 개발팀에 숨겨두고 중요하고 핵심적인 결함만 리포트하여 그들이 충분한 시간을 가지고 결함을 해결하고 제품을 안정화 시킬 수 있는 버퍼를 제공한다.

Results
-What happened? Was is a success? What contributed to the outcomes?

개발팀의 협업 만족도 증가, 1차 테스트 결함 100% 해결, 2차 테스트 패스율 향상.

Lessons Learned
-What did you learn from the experience?
개발자의 입장에서 그들을 배려한 테스팅을 하되 해피 패스(Happy Pass)가 되지 않게 주의할 필요가 있다.
----------------------------------------------------------------------------------------

[저자 워크샵]
저자 워크숍이라는 것은, 여러 사람의 의견을 통해 저작물을 개선하려는 경우에 모두 적용할 수 있다. 어떤 종류의 저작물이건 가능하다.

저자 워크숍을 통해 글 첫머리에 예를 들었던 제품 의견 수렴회를 대체할 수도 있고, 시인들이 모여 자신의 시를 갈고 닦을 수도 있으며,

논문 준비하는 학생들이 자기 논문을 개선할 수도 있고, 화가들이 그림을 개선할 수도 있으며, 당연히 개발자들이 자기들의 소스 코드를

개선할 수도 있다. 뭐든지 개선이 가능하면 된다.

저자 워크숍은 19세기 말, 아이오와 대학에서 시작되었다. 이 워크숍은 매우 성공적이어서, 예를 들면 이곳 출신 퓰리처상 수상자만 16명이

될 정도다. 아이오와 대학의 저자 워크숍은 빠른 속도로 저자 커뮤니티 사이에 번져 나갔고, 현재는 초중급 작가들이 자신의 실력을 빠르게

높일 수 있는 가장 효과적인 방법 중 하나로 알려져 있다.

하나의 전문 분야에서 무엇인가가 대성공을 이루면 당연히 다른 분야에서 그것을 도용한다. 리처드 가브리엘(시인이면서 프로그래머다)이

문학 쪽에서 이 저자 워크숍을 훔쳐왔다. 그래서 소프트웨어 패턴으로 저자 워크숍을 했고, 나아가서는 소프트웨어 쪽만 아니라 마케팅

캠페인, 요리, 비즈니스 기획, 음악, 인테리어, 헤어 스타일 등 다양한 분야에 걸쳐 적용되었다.

자세한 사항은 아래 글들을 참조해주세요.
* http://www.ibm.com/developerworks/kr/library/dwclm/20081230/
* http://www.yes24.com/chyes/ChyesView.aspx?title=003002&cont=185

[적용사례]
P-CAMP 행사 : http://p-camp.tistory.com/entry/PatternWriting
한미유치원 적용 사례 : http://sites.google.com/site/hanmikindergarten/jeongbowa-gang-yeon-1/gang-yeon-1
Creative Commons Korea 커뮤니티 내부 적용 : http://vc.cckorea.org/boards/14/posts/1611
Creative Commons Korea 커뉴니티 내부 적용 : http://sites.google.com/site/cckwiki/contentworking/20090105
Software Test Engineer Network 커뮤니티 공유 사례 : http://www.sten.or.kr/bbs/board.php?bo_table=infodata&wr_id=1070
http://www.sten.or.kr/bbs/board.php?bo_table=infodata&wr_id=1077
Xper 커뮤니티 공유 사례 : http://groups.google.co.kr/group/xper/browse_thread/thread/a7f079dc1d5b48ca/404336907f4d1e9c?lnk=gst&q=pattern#404336907f4d1e9c
사회적 패턴 공유 운동 Planet - Pattern Language Network : http://patternlanguagenetwork.myxwiki.org/xwiki/bin/view/Cases/

[해외전문가초청강연] 탐색적 테스팅(Exploratory Testing)의 최고 권위자 James bach 초청 강연!!

(gedwarp) — Thu, 18 Sep 2008 09:18:13 +0900

권대표팀이 또 대한민국 SW 업계 발전을 위해 무리를 하시는 군요 ^^, 제임스 바크 스케쥴 안되는 걸 억지로 어케 잘 대려오신듯 아마도 한국에서 다시 오실려면 몇년을 걸릴 것 같습니다. 애자일 테스팅에 관심있으신 분이라면 필참하셔야 할 듯.. 벌써부터 STEN 사이트에는 자비털어 오신다는 분도 계시다는...

http://www.sten.or.kr/bbs/board.php?bo_table=news&wr_id=1330

말레이시아 국제 SW Testing 컨퍼런스, “SOFTEC 2008” 참관 후기

(gedwarp) — Wed, 03 Sep 2008 02:22:39 +0900

2008년 8월 26일, 쿠알라룸푸르에서 열린 “SOFTEC 2008” 컨퍼런스를 다녀왔다. 개인적으로는 휴가기간이었지만, S모사 사장님 말씀처럼 휴가가 단순한 휴식이 아닌 재도약을 위한 밑거름이 되어야 한다고 생각하기에 약간의 망설임은 접어두고 홀가분한 마음으로 떠났다.

SOFTEC은 Software Testing Conference 의 약자로, 말레이시아 최대 테스트 엔지니어 커뮤니티이자 ISTQB 말레이시아 지부인 MSTB (Malysis Software Testing Board) 가 주최하는 올해부터 시작한 국제적인 SW Testing 관련 행사이다. 워낙 준비가 잘되어 있어 첫회라는 것을 나중에 알고 놀랬을 정도였다. 행사 참석인원은 200 여명 가량이었고, 참가비는 70만원 상당으로 2일짜리 컨퍼런스 치고는 조금 비싼 편이었다. 말레이시아는 아시아에서 영어 교육이 잘이루어지는 나라로 손꼽히는 만큼, 대부분의 참가들이 영어를 유창하게 구사했고 모든 발표는 자료는 영어로 진행되었다.

* 행사장 내/외부

말레이시아 최대 쇼핑센터가 입점한 곳으로 잘 알려져 있는 럭셔리한 브루자야 타임 스퀘어 호텔에서 진행되었다. 4박5일 일정중 첫 2박3일을 타임 스퀘어 안에서만 멤돌았는데 초겨울 날씨라고 생각될 정도로 에어콘을 너무 강하게 틀어놓아서 실내에서는 긴팔을 입어야 할 정도였다. 부쓰의 경우, HP 와 정부산하 IT 인큐베이팅 센터 2 곳 뿐이었고, 부쓰 대신 컨퍼런스 참가자들이 자유롭게 소셜라이징 할 수 있는 공간이 많았다.

* 전체 세션
컨퍼런스 첫째날의 경우에는 크게 Government Track 과 Academia Track, Industry Track 으로 나위어서 진행되었는데, Government Track에서는 주로 IEEE 나 ISO와 같은 표준화 관련된 발표들이 진행되었고, Academia Track에서는 학계에서 연구된 테스팅 관련 사례가 발표되었고, Industry Track에서는 렉스블랙이나 퓨어테스팅과 같이 업계에서 이름이 잘 알려진 전문가나 회사의 발표가 주로 이루어졌다. 컨퍼런스 둘째날의 경우에는 이러한 트랙 구분 없이 업계에서 유명한 전문가의 튜토리얼 위주로 구성되었다. 전체적으로 화두가 되고 있는 애자일 테스팅이나 테스트 매니지먼트 쪽의 세션은 없었고 테스트에 대해 전반적으로 다루는 내용의 세미나가 많았다. 아직 재대로된 테스트 관련 트래이닝 코스도 없을 정도로 SW 테스팅에 있어서는 초창기인 말레이시아인 만큼 업계에 테스트의 중요성을 알리고 이슈를 제기하는 적합한 구성이었다고 생각된다.

* 1st Day : Tentative Keynote Speech

"YBhg Datuk Maximus Johnity Ongkili"라는 그야말로 읽고 힘들게 엄청나게 긴 이름을 가진 정부의 고위급 인사(우리나라로 치면 과학기술부 장관 정도)가 키노트 스피치를 하였는데, 등장할때 국가가 울려퍼지고 모든 사람들이 일어나서 박수를 치는 등 거의 공산권 국가를 연상하게 할 만큼 대단한 권위를 가지고 있다는 점과 정부에서 테스팅에 투자할려는 강한 의지가 엿보인다는 점이 놀라웠다.

* 1st Day : 3rd Keynote Speech

1st Key Note는 당췌 테스팅과는 그닥 크게 상관없는 주제였고 2nd Key Note는 Rex Black의 Five Testing Best Practices로 이미 한국에서 많이 보았더 내용이라 스킵하고 나름 흥미로왔던 3번째 키노트로 넘어가보자. Jasbir Dhaliwal 라는 미국 멤피스대 교수가 테스팅에 대한 과학적인 접근 방법에 대해 다루었는데 그 중에 테스트 엔지니어를 프로젝트에 투입하는 방법에 대해 6 가지로 분류하였는데 혼자 투입하느냐 여러명을 하느냐, 전문가를 어떻게 배치하느냐 이런 식의 방법을 기술한 것으로 간단하지만 아직 아무도 정리해본 적이 없는 부분이라 발상이 참신했다.

* 1st Day Track 3 : Six Surprising Findings from Test Team Assessment

렉스 블랙이 발표한 세션으로 주로 아래와 같은 내용을 풀어서 설명한 세션이었다.
1. 자동화를 과신하지 말라
2. 스크립트 기반 테스트와 탐색적 테스트를 혼용하는 것이 효과적이다.
3. 존경받는 테스트팀이 되도록 노력하라
4. 테스팅은 비용을 소모하는 일이 아니라 비용을 줄여주는 작업이다.

* 1st Day Track 3 : Agile Testing using Scrum for Test Automation

Vipul네 회사인 Pure Testing 의 Aditya Garg 이 발표한 세션으로 제목과는 다르게 Scrum 위의 자동화 내용이 아닌 일반적인 애자일 테스팅에서 고려해야할 일반적인 사항에 대한 내용이라 식상하였으나 애자일의 테스트 기법을 화이트 박스와 블랙박스로 구분하여 아래와 같이 구분한 부분은 참신했다.
Whit Box : TDD, Automated Unit Test, Automated Acceptance Test
Black Box : Exploratory Test, Scenario Test, System Test, Load Test, User Interface Test

* 1st Day Track 3 : Do You Know of ISO Software Testing Standard, ISO/IEC29119

권대표님께서 ISO 29119 테스팅 관련 국제 표준에 대해서 발표하셨는데, 4년전만하더라도 우리나라는 지금의 말레이시아처럼 테스팅이 초창기때인지라 렉스블랙의 한마디라도 더 듣고 세기기 위해 노력했었는데, 지금은 오히려 권대표님의 발표 세션에 렉스 블랙이나 버나드 호메 같은 전문가들이 무슨 내용인지 듣기위해 세션에 들어와 있는 것을 보고, 나름 감개무량했고 권대표님 말씀처럼 ISO 29119가 우리나라의 테스팅 역량을 단숨에 선진국 수준으로 끌어올릴 수 있는 거대한 기회라는 걸 실감할 수 있었다.

* 2nd Day Keynot : ASTA

둘째날 키노트에서는 ASTA 멤버들이 각자 자국의 SW 테스팅 상황을 설명하는 내용으로 진행되었다. 중국 테스팅 보드에서는 오지 않아서 말레이시아, 한국, 일본, 베트남 순으로 진행되었는데 그 내용은 2008년 봄, 도쿄에서 개최된 ASTA 미팅에서 다루었던 내용과 크게 달라진 부분은 없었다.

* 2nd Day Tutorial : ASTA Test Clinic

한국에서 인기리에 진행되었던 테스트 클리닉이 최초로 영어로 해외에서 진행되었다. 한국에서는 컨설팅을 해주는 패널과 컨설팅을 받는 발표자의 질문 답변 위주로 발표가 진행된 반면 여기에서는 월드 까페를 가미하여, 발표자가 자신의 문제점을 발표한 이후, 일정 정도 상황 공유가 끝나면, 패널은 패널끼리 관중들은 관중들끼리 월드까페 형식의 토론을 진행하고 나중이 이를 최종 공유하는 방식으로 진행되었다. 컨퍼런스가 보통 마냥 듣기만 하는 형식이라 참여형 세션으로 진행된 테스트 클리닉의 경우, 반응이 굉장히 좋았다. 사람들이 점심시간마저 미루고 세션에 마지막까지 참여하고, 패널중에 한명인 Aditya Garg 이 10월 인도 테스팅 컨퍼런스에도 테스트 클리닉을 해달라며 요청을 할 정도의 반응이니 대성공이라고 불러도 될 것 같다. 권대표님의 아이디어로 한국에서 처음 시작된 테스트 클리닉이 국제적으로도 충분히 성공적으로 적용가능하다는 것이 증명되는 것을 보면서 대한민국에 테스트 엔지니어로 일하는 한 사람으로서 가슴 한켠에 자부심을 느낄 수 있어 좋았다.

*ASTA 미팅

컨퍼런스 행사가 모두 종료되고 그 다음날 Hilton 호텔에서 ASTA 미팅이 하루종일 이루어졌다. 말레이시아에 처음와서 제일 놀랐던 것 중에 하나가 MSTB 의장인 Mastura 아줌마가 정부에서도 알아주는 높은 사람이라는 거 였는데, 힐튼 호텔에서 미팅을 여는 것을 보고 높은 사람일 뿐만 아니라 굉장한 부자라는 것에 다시 한번 놀랐다. 장소가 장소였던 탓인지 어느때 보다도 활발한 진행과 여러 결정이 이루어졌다. ASTA 미팅에 참여할 때마다 느끼는 것이지만, 아시아 각국이 테스팅에 대해 어떤 투자를 하고 있는지 업계가 전체적으로 어떻게 움직이고 있으며, 그 업계를 움직이는 키플레이어와 친분을 쌓을 수 있다는 것이 제일 큰 메리트라고 생각된다. 개인적으로 기회가 된다면 거시적인 안목을 키우기 위해 꼭 한번 참여해볼 것을 추천해 본다.

* 마무리
마지막 하루를 제외하곤 오전 8시부터 저녁 11시까지 회사생활보다 더 힘든 일정의 휴가 였지만, 말레이시아를 비롯한 아시아의 테스팅 비지니스를 이해하고, 테스팅의 비전을 재발견하고, 개인적인 비전에 한걸음 더 다가가는 의미있는 시간들이었던 것 같다.

*참고
http://www.mstb.org/conference/index.php
http://mis-asia.com/news/articles/it-testers-30-years-behind-the-times-malaysian-software-testing-board

[컨퍼런스소개] 2nd Annual Asia Pacific Software Testing Conference in 말레이시아

(gedwarp) — Wed, 02 Jul 2008 00:11:28 +0900

안녕하세요. 조현길입니다.
다가오는 8월 말에 말레이시아에서 아래와 같은 소프트웨어 테스팅 컨퍼런스를 한다고 하네요. 시간과 여유가 있으신 분들인 한번쯤 가보셔도 좋을 것 같습니다.

http://www.processworksgroup.com/2ndsoftwarecon/index.php

[비용]
Registration Fees:
MYR 890 per participant for a single full day tutorial. (약29만원)
MYR 400 per participation for a single half day tutorial. (약13만원)
MYR 4600 for a single registration for the 3 day Foundation Certificate on Software Testing (including exam fees) (약148만원)

Each single full day tutorial registration allows one registration to the conference on February, 27th, 2008.
Each single half day tutorial registration + MYR 490 shall allow one registration to the conference on February, 27th, 2008
Each single registration to the 3 day Foundation Certificate on Software Testing shall be eligible for one registration to the conference on February, 27th, 2008
Should a participant wish to attend only the conference and not attend any tutorials, the participation fees for the one day conference on February, 27th, 2008 would be MYR 890 only per participant

For example, should an organization register one staff for four tutorials (or four staff for one tutorial), that organization is eligible to register for four conference places. It is permissible to register different staff to the conference than the ones participating in the tutorials or to the training course.

Available Discounts:
10% group discount for four or more registration to a single tutorial, conference or to the ISEB's Foundation certificate course
15% group discount for nine or more registrations to a single tutorial or to the conference.
One discount scheme shall apply.
All fees are inclusive of conference, tutorials or course materials, lunch and refreshments etc.

[아젠다]

Tutorial Date	Tutorial Timings	Tutorial Code	Tutorial Title
February 25th, 2008	0900 AM to 0500 PM	101F	A Rapid Software Testing Approach presented by Pradeep Soundararajan, Consulting Tester, Satisfice Inc & Test Manager, TriVium Systems
February 25th, 26th and 28th, 2008	0900 AM to 0500 PM	102F3	ISEB's Foundation Certificate on Software Testing presented by Nitin Bhawsar, Consultant, Quexst Solutions
February 26th, 2008	0900 AM to 0500 PM	201F	“Creating a winning test strategy – The Theory and Application of defect –centric approach” presented by T. Ashok, Founder and CEO, Stag Software
February 26th, 2008	0900 AM to 1230 PM	202H	All about a Test Manager presented by KiranKumar Marri Independent Validation Solutions Infosys Technology Limited, Bangalore

Defect Analysis: An Approach to Improve Software Development Life Cycle
Subashini Raghavan from Intel MSC Sdn. Bhd, Cyberjaya, Malaysia
Software Testing and Management
Tulasi Anand from Siemens Information Systems Ltd., Bangalore, India
The Science and Engineering to Effective Testing
T. Ashok from STAG Software Pvt. Ltd., Bangalore, India
Quality Assurance for the Web 2.0 era
Steven Wong, Senior Technical Consultant, South-east Asia HP Software
Exploring “Test-Driven Requirements”

Phil Robinson from Lonsdale Systems, Australia
Effective Test Design by Integrating Orthogonal Array Testing and Risk Based Testing
Satheesh Kanakasabapathy from Cognizant Technology Solutions, Coimbatore, India
Reducing the Risk through Requirements Driven Quality Management
Nick Bell, Solution Marketing Manager, Asia Pacific and Japan HP Software
Agile Testing
Vivek Prahlad from ThoughtWorks Technologies, India
Pricing Model for Testing Projects

Ramesh Krishnamurthy from AmitySoft Technologies Pvt. Ltd., Chennai, India
Test Automation Frameworks and ROI
Ashok Pantham and Narendra Kumar Nagaram from Satyam Computers Services Ltd.,
Hyderabad, India
Software Test Management From Art to Science
Akhila E K and Balamurali L from Network Systems and Technologies (P) Ltd., Trivandrum, India
Open World of Open Source Performance Testing Tools
Manoj Narayanan & Sherlin Mathew from Cognizant Technology Solutions, India
End to End Test Management for Large Enterprise Applications with Complex Subsystems
Aysha Khalid from Virtusa India Pvt. Ltd., India
Record and Playback Tool
Teo Wai Git from Motorola Technology Sdn Bhd, Malaysia
Test Process Maturity and Related Measurements

M C Nagaraj from STAG Software Pvt. Ltd., Bangalore, India
Great testing stories from India (Created by Not Following Any "Best Practices")
Pradeep Soundararajan from TriVium Systems, India
Control Channel Generator (CCGEN) for Automation Testing
Margaret Stanley from Motorola, Penang, Malaysia
ULABZ – Software for Usability Evaluation Using Score Card Method
S Subhashini from TAKE Solutions, Chennai, India
Distributed eXtreme Programming (XP) Testing - An Agile Test Approach for Offshore Outsourcing
Shivakumar Balasubramaniyan from Cognizant Technology Solutions, India
Optimizing the Regression Testing Phase for Banking Projects
Srihari Mudunuri and Ashok Pantham from Satyam Computer Services Ltd., Hyderabad, India
Fortifying an Independent Testing Team
Balamurali L and Annu George from Network Systems and Technologies (P) Ltd., Kerala, India
A Technique for Testing Software Architectures
Sulabh Satish Sharma from Satyam Computer Services Ltd., Hyderabad, India and Moiz
Qyser A. A. from Muffakham Jah College of Engg. & Tech., Hyderabad, India
Guidelines to Evaluate a Tool
Nivetha Padmanaban from ThoughtWorks Technologies, India
Fundamentals of Load Testing
Rajeshwari Reddygari from ValueLabs, India
Testing in Systems Thinking Way
Ashok Pantham and Narendra Kumar Nagaram from Satyam Computers Services Ltd., Hyderabad, India
Towards an authoritative review of Software Process Improvement in Indian SMEs
Moiz Qyser A. A. from Muffakham Jah College of Engg. & Tech. , Hyderabad, India and Dr. S. Ramachandram
from University College of Engineering Osmania University, Hyderabad, India
Agile Software Development and Testing
Ramachandran Kumaresan from ValueLabs, India
Best Practices for Testing a Large Scale Banking Application
Srihari Mudunuri and Ashok Pantham from Satyam Computer Services Ltd., Hyderabad, India
Talent Management for Testing Professionals
Challenges and Best Practices Aysha Khalid from Virtusa India Pvt. Ltd., India
Usability Testing of Web Applications
Annu George and Malini S. Nair from Network Systems and Technologies (P) Ltd., Kerala, India

Tutorial Date

Tutorial Timings

Tutorial Code

Tutorial Title

February 28th, 2008

0900 AM to 0500 PM

401F

Fine tuning your existing Test Process to move-up in Test Maturity Model (TMM)

presented by M C Nagaraj, Stag Software

February 29th, 2008

0900 AM to 0500 PM

501F

“Advanced Test Case Design Techniques"

Presented by Phil Robinson, Principle, Lonsdale Systems & Visiting Consultant, Processworks

conference.pdf

컨퍼런스소개자료

[언컨퍼런스] SW 종사자들을 위한 유쾌한 놀이터, P-Camp 세번째 이야기를 다녀와서...

(gedwarp) — Thu, 12 Jun 2008 21:55:51 +0900

어제 자율출퇴근제의 위력으로 4시에 퇴근하여 5시부터 잠심 롯데호텔에서 시작된
P-Camp 세번째 이야기를 다녀올 수 있었습니다. 여태 P-CAMP를 가면서 참 신선
하고 재미잇다라는 생각을 많이 하긴 했지만, 이번에 새로이 경험한 재미만점 스트
레스 해소에 킹왕짱인 역할극과 OST와는 다른 느낌의 월드까페는 참 무리해서
가길 정말 잘했다는 생각이 들정도로 소중한 경험이었기에 공유해봅니다.

[역할극 순서(명칭은 제가 임의로 붙였습니다.) : 30명가량 참여]
1. 업어주기
   모두 선채로 참여, 각자 주변의 인물과 1:1로 가위바위보를 하여 진사람이 이긴
   사람을 업어주어야 하는 게임

2. 자리바꾸어 앉기
   모두 각자 의자를 가지고 둥글게 모여 앉아 참여, 1인이 원심에 서서 어떤 내용
(자신과 관련된)을 이야기 하면, 앉아있던 사람들중 해당되는 사람들과 원심에
   있던 사람은 다른 의자로 옮겨야 하는 게임. 이동이 끝났을 때, 앉을 자리가 없는
   1인이 다시 원심에서 게임을 진행한다.
   ex) "나는 남자다", "나는 현재 이성친구가 있다.",
   "나는 여태 이성친구를 사귀어 본 적이 있다"

3. 모션 ver 0.2
   모두 선채로 참여하며 2인이 짝을 지어서 말없이 서로 번갈아 가며 어떤 정지
   동작을 하는 게임.

4. 모션 ver 0.4
   모두 선채로 참여하며 4인이 짝을 지어서 말없이 서로 번갈아 가며 어떤 정지
   동작을 하는 게임. 중간중간에 코치가 주제어를 제시되면 해당 차레에 정지동작을
취해야하는 사람부터 스스로 주제가 주는 느낌을 살려 정지동작을 만듦.
   주제 ex) 바람, 태양, 바위, 일, 인생, 나

5. 모션 ver 1.0
특정 X 인이 참여하며 맨처음 1인이 특정 주기로 움직이는 동작과 소리(말)를 반복
   하고 참여하는 사람이 무작위로 순서로 추가되어 어떤 전체적인 모션을 이루는 게임.
   이때 맨처음 1인이 반복되는 주기의 속도를 조절하면 모든 참여자가 해당 속도에
   맞추어 모션을 하게 됨.

6. 모션 ver 2.0
모션 1.0 과 비슷하나 코치가 참여자로부터 얻어낸 특정 주제를 가지고 전체적인
모션을 만든다는 점 다름.
주제 ex) 학교, 야근, 고통

7. 비난vs변명 극
모두가 둥글게 둘러 앉은 상태에서 코치가 2인을 지정하면, 한명은 자기 나름대로
상황을 가정하여 나머지 한명을 무조건 비난하기 시작함. 비난을 받은 이는 이에
대해 사과하지 말고 무조건 변명해야하는 게임.
상황ex) 납기를 요구하는 갑, 3시간 늦게온 짜장면 배달, 3개월치 월급을 몰래쓴 남편

8. 역할극
6명씩 짝을 지어 둥글게 둘러앉은 다음 각자 기획자,마케터,설계자,개발자,디자이너
,테스터라고 적힌 6개의 명찰을 나누어 가진다. 10억이 있다고 할 때 각자의 역할을
대변하여 자신의 부서에 예산이 투자될 수 잇도록 나머지 사람들을 설득하는 토론을
하는 게임. 일정시간(10분)이 지나면 팻말 옆사람과 바꾸어 다른 역할로 토론에 참여
하는 방식으로 계속 자신의 역할이 바뀌게 된다.

먼저 역할극은 너무 재미있어서 정신없이 참여하는데 바빠 미처 사진을 찍을 수가 없
었다. 설명만 들어서는 이게 먼가 싶기도 하겠지만, STA 강주임이 동영상을 찍으시는
것 같던데 올려주시면 아마도 보시면서 바로 필을 받으실 수 있을 듯 하다. 업어주기,
자리바꾸어 앉기 모션을 통해 모르는 사람들과 친해지고 분위기가 무르익어서 비난
vs변명 극, 역할극에 더 편안하게 몰입하고 즐길 수 있었던 것 같다. 개인적으로 나중에
사내에서 한 번 해보면 좋겠다는 생각을 했다. 기회가 있을런지는 모르겠지만...

[월드까페 순서 : 130명 가량 참여]
0. 자리 세팅 및 착석
   테이블 하나당 의자 5개씩의 세트가 세미나장에 60여개 가량 배치가 되어 잇고
   테이블 위에는 전지와 월드까페에 대한 한장짜리 매뉴얼, 여러 종류의 펜들과 컵과
   꽃한송이로 세팅이 되어 잇었다. 세미나 장 전체에는 황선아씨가 특별히(?) 선곡
   하신 감미로운 음악이 배경으로 흘러나와서 마치 커다란 노천까페의 분위기를 풍기고
   있었다. 사람들이 각자 자신의 자리를 골라서 착석을 하였는데, 단 같은 테이블에
   아는 사람이 있을 경우에는 다른 테이블에 앉는 것을 권장함.

1. 월드까페 소개
   김창준씨와 P-Camp 자봉분들이 테이블 위의 매뉴얼과 연관하여 월드까페에 대한
   설명과 각 테이블에서 공통적으로 다루어야 하는 토론 주제에 대해 설명하고 첫번째
   세션이 시작되었다.
   대 토론주제 : 더 나은 제품/서비스를 만들기 위해서는 무엇이 필요한가?

2. Session 1
   먼저 테이블에 앉은 사람이 각자 자기소개를 한 후, 20분 가량 각 테이블의 멤버
   들이 토론을 하면서 그 내용을 전지에 기록하게 된다. 토론지 종료되면 5명중 1 명을
   호스트로 정하고, 호스트를 제외한 나머지 사람들은 일어나서 다른 테이블로 이동
   하게 되는데 이때 각자 여러 테이블의 기록된 내용이나 분위기를 둘러보고 자신이
   마음에 드는 테이블로 이동하게 된다.

3. Session 2
   착석이 완료되면 두번때 세션이 시작되는데 이때에도 첫번째 세션과 마찬가지로
   각자 자기소개를 한 후, 이전 테이블에서 논의했던 내용을 멤버들에게 간단하게
   전달하고 해당 테이블의 호스트를 중심으로 토론을 시작하게 된다. 두번째 세션
   에서는 대 주제를 아래와 같은 다른 관점에서 논의하게 된다. 토론이 종료되면
   호스트를 제외한 나머지 사람들은 본래의 Session 1의 테이블로 돌아가게 된다.
   토론주제 : 더 나은 제품/서비스를 만들기 위해서 우리가 해야할 질문은 무엇인가?

4. Session 3
   Session 1의 멤버들이 다시 모여서 각자 두번째 세션에서 논의햇던 내용을 공유하고,
   호스트 중심으로 아래와 같은 관점에서 다시 논의하고 이를 정리하게 된다.
   토론주제 : 더 나은 제품/서비스를 만들기 위해서는 우리가 현실적으로 무엇을 할 수 있는가?

5. 갤러리 완성 및 감상
   세번째 세션이 끝나면, 호스트는 해당 테이블에서 나온 이야기를 3가지로 핵심요약
   하여 포스트잇에 적은 후, 모든 테이블의 호스트들이 모여 갤러리의 일정 장소에
   포스트잇을 붙이게 된다. 테이블의 나머지 사람들은 테이블의 토론 내용이 기록된
   전지를 가지고 벽에 붙여 갤러리를 만들게 된다. 겔러리가 완성되면 참여한 모든
   사람들이 꾸면 갤러리를 보면서 모든 테이블의 토론 내용을 공유하게 된다.

6. 마무리

이전 P-Camp에서 했었던 OST의 경우 좀 더 자유스러웠던 반면에 토론 중간에 사람
들이 계속 움직이기 때문에 주제에 몰입하기 힘든 단점이 있었는데, 월드까페라는
형식을 가미하면서 훨씬 더 밀도있는 토론이 가능해지고, 특히 마지막의 갤러리를
통해 모두의 토론내용을공유를 하는 시간을 가진다는 점이 좋아졌다는 생각이 들었다.
어른이 되면서 음주가무나 운동이외 놀이 문화를 접하기가 어려운데 이러한 행사를
통해 진지하면서도 재미있는 놀이를 접하고 스트레스도 해소하고 아는 사람들도 늘어
나고 정말 1석 3조를 얻은 행사였다.

마지막으로 행사를 위해 수고해주신 황선아씨와 수많은 자봉들께 감사드리며, 앞으로도 이런 행사 많이 만들어 주세욧~

SW Test 라는 業의 사명서에 대한 생각

(gedwarp) — Mon, 10 Mar 2008 03:28:20 +0900

이 시대 최고의 심리학자 2인(미하이 칙센트미하이, 하워드 가드너)이 쓴 'Good Work'라는 책에 보면 훌륭한 전문 직업의 특징의 하나로 사명감을 제시하고 있습니다. 이런 사명감은 사명서라는 형태로 명시적으로 표현되는데 대표적인 것으로 의사들의 히포크라테스 선서를 들 수 있다고 하네요. 만약 SW Test 라는 업종의 사명서를 만든다면 어떤 내용이 좋을까? 이런 생각으로 권원일 대표님과 간단히 논의해본 결과 아래와 같은 내용을 만들어 보았습니다. 약간 코믹한 부분도 있긴 하지만, 실제로 테스팅을 경영층에게 홍보하고 테스트 엔지니어에게 사명감을 실어주는데 많은 도움이 될 것으로 생각되는데 아무래도 STEN 회원분들의 중지를 모아서 개선할 필요가 있어 보입니다. 여러분의 생각은 어떠신지요?

<경영층 사명서 by 권원일>
1.1 '테스팅은 아무나 할 수 있는 일이다' 라고 생각하지 않고, '테스팅은 전문성 있는 사람이 체계적/효율적/효과적으로 수행해야 한다'고 사고한다. 인해전술 No!
1.2 테스팅은 리스크 관리의 핵심이다.
1.3 완벽하게 테스팅하라고 말도 안되게 주문하지 말라 (체계적이고 설명가능하고 설득력 있는 테스팅을 하도록 주문하라)

<TM 사명서 by 권원일>
2.1 경영층과 이해관계자를 "잘" 설득하여 테스팅에 대한 인식을 개선한다.
2.2 테스팅 홍보의 전도사가 된다. 테스팅이 Profession 임을 홍보한다.
2.3 경험적 테스팅에만 의존하지 않고 공식적 테스팅(Formal Testing)을 정확히 이해하고 두가지를 병행한다.
2.4 완벽하게 테스팅하라는 경영층의 주문을 적절히 응대한다. Risk-Based Testing과 Risk Manangement 컨셉으로 대처하자.
ex) 그럼 사장님은 완벽하게 경영하세요?
리스크 관리는 왜 하시죠? 테스팅도 그런겁니다.

<TE 사명서 by 조현길>
3.1 결함을 찾는 것을 살인범 잡듯이 목숨 걸고 한다. 결함은 고객의 목숨까지 앗아갈 수 있다.
3.2 프로젝트에 수동적으로 끌려가지 말고 주도적으로 참여하라. 테스팅이 프로젝트의 리스크 관리에 기여하는 바를 명확히 인식하고, 홍보하라.
3.3 제품을 사랑하고, 또한 개발자도 사랑하라. 그들은 함께 완성도 높은 제품을 만드는 동반자이다. 그들과 싸워서 얻을 수 있는 것은 아무것도 없다.
3.4 하이 퍼포먼스와 서비스 정신으로 고객를 감동시켜라. 철저한 서비스 정신과 기대 수준 이상의 성과를 제공함으로써 고객을 감동시키고 능력을 입증한다.

일본 최대의 SW 테스팅 컨퍼런스 JaSST'08 관람 후기 ^^

(gedwarp) — Thu, 21 Feb 2008 08:32:23 +0900

2008년 1월 30일, 도쿄 JaSST'08 컨퍼런스를 다녀왔다. 사실 개인적인 사정도 있고 언어 문제도 있고 해서 갈까말까 되게 많이 망설였으나, 이때가 아니면 언제 가겠냐는 생각이 들어서 월차쓰고 사비로 티켓끊어서 권원일 대표님을 따라 나섰다.

JaSST 는 Japan Symposium on Software Testing 의 약자로, 일본 최대 Test 커뮤니티 ASTER ( Association of Software Test Engineering) 가 주최하는 매 연초에 열리는 일본 최대의 SW Testing 관련 행사이다. 행사 참석인원 800 ~ 1000명 정도로 대규모이고, 이는 2Day 8만원 정도하는 굉장히 저렴한 참가비가 주된 이유인 듯 하다. 모든 자료와 발표는 일본어로 진행되고, 영어 세션의 경우 물론 동시통역도 일본어로만 제공된다. 아래 사진들을 보면 알겠지만 컨퍼런스 장소 하나는 정말 먹어줬다. 희안한 것은 사은품 전無하다는 것 하다못해 볼펜도 없다.

* 행사장 외부

* 행사장 내부

행사 Staff 을 외부 아웃소싱해서 그런지 세미나의 진행이 커뮤니티 주관의 세미나임에도 불구하고 굉장히 매끄러웠다. 키노트 스피치와 ASTA(Asia Sw Testing Alliance)멤버들의 발표만 영어로 진행되었고 나머지 대부분의 세션이 일본어였기 때문에 일본어가 반쪽짜리인 나로서는 실제로 내용면에서 건질 수 있는게 사실 별로 많지는 않았다. 하지만 크게 리스크 기반 테스팅, 신뢰성 모델, 애자일 테스팅, 아웃소싱 등이 일본내 테스팅 업계의 이슈인지 관련된 세션이 많았다.

* 신뢰성 관련한 캐논의 발표

* 대담 형식으로 실제 프로젝트 상황을 놓고 펼치는 역할극 형식의 발표

* 권원일 대표님의 리스크 기반 테스팅 전략 세션

키노트 스피치는 SW Process Improvement 쪽에서 굉장히 유명하신 Caper Jones 라는 분께서 하셨는데, 많은 연세에도 불구하고, 그 많은 SW 프로젝트 데이터를 어떻게 분석해서 각가의 SW 기법들이 SW 향상에 어떻게 기여하는지 정량적으로 제시할 수 있는 것인지 참 대단하다는 생각이 들었다. 일본에서는 꽤 유명하신 분인지 키노트 스피치를 하는 홀이 꽉차서 서서 듣는 사람도 있을 정도 였다.

부쓰에서는 여러가지 없체들의 툴이나 서비스 소개 및 책 판매가 이루어 졌는데 희안한 것은 아웃소싱 없체가 많았다. 심지어는 정적분석 툴을 돌려서 결과를 뽑아주는 서비스까지 존재할 정도 였다. 책은 SW 테스팅 관련된 전문 잡지가 1권 있었고, 자국어로 집필된 책으로는 ISTQB 시험 대비서, 마인드맵을 이용한 SW 테스팅 등이 있었다.

첫날 행사가 끝난 후 한국에서 했던 ASTA 컨퍼런스에서 처럼 만찬겸 Industry key player Meeting 이 있었다. 이번 미팅은 IVIA(IT Verification Industrial Association)가 주최하였는데, IVIA는 일본의 Testing 관련 주요 업체들의 협의체로 2005년 발족 이래 현재 47개의 회사가 가입하여 활동 중이며 업계의 협업을 유도하고, 방법 및 용어의 표준화, 하여 일본의 SW Testing 산업역량을 강화하는 것이 목적이라고 한다. Industry key player Meeting 아시아 테스팅 업계의 경험을 공유하고 친목을 도모하였다.

한국, 중국, 일본, 말레이시아, 베트남의 테스팅 업계 대표들이 모였다. 일본에는 이미 SW 테스팅 아웃소싱 업체중에 자스닥에 상장한 업체가 등장했으며, 테스터만 100명을 거느린 33세의 미모의 여사장이 있을 정도로 시장규모가 엄청났다. (한화로 약 6조 규모의 테스팅 아웃소싱 시장이 존재한다고 함) 단 이상한 것은 툴의 경우 자국에서 제작하는 툴은 거의 전무하다 시피하며 외산 툴이나 오픈소스를 이용하는 경우가 대부분이라는 점이었다. 그들의 말에 의하면 툴 개발에 필요한 큰 리스크를 감수하기 어려워하기 때문이라고 한다.

베트남은 테스트 엔지니어의 연봉이 미국의 15%, 인도의 1/3, 중국의 3/5 수준으로 TE 월급이 한달에 약 20만원 선이고 TM 월급이 대략 한달에 50만원선이라고 한다. 정보에서 IT 관련 회사들을 한 도시로 몰아 놓고, 그 지역에서는 세금 감면을 해주는 등 인프라도 잘 갖추어져 있어 500명 이상의 테스트 엔지니어를 보유한 회사들도 서너개 생길정도로 역동적으로 성장하고 있다고 한다.

중국 또한 인도를 이기기 위해 정부에서 공격적으로 투자를 진행중이고, SW Engineer 를 배출을 위한 전용 4년대 대학을 설립, 학사, 석사, 박사 과정을 운용중이라고 한다.

막상 정리하고 보니 가서 멀 건지고 왔나 싶기도 하지만, 아시아 각국이 테스팅에 어떤 투자를 하고 있고 업계가 어떻게 움직이고 있으며 그 업계를 움직이는 키플레이어가 누구누구인지 인사라도 나눈게 가장 큰 수확인 것 같다. 무슨 일이든 실제로 부딪쳐 보지 않으면 알 수 없는 것들이 너무 많다는 것을 다시 한번 확인하며, 우리나라의 테스팅 툴 벤더나 아웃소싱 업체가 일본에서 대박 신화를 이루어내는 모습을 볼 수 있었으면 좋겠다.

2008.01.25 STEN Test Management 세미나

(gedwarp) — Sun, 27 Jan 2008 00:11:28 +0900

2008.01.25 Test Management 세미나 참관기

금요일 월차를 내고 STEN 주관으로 우리나라에서 최초로 이루어진 Test Management 세미나에 다녀왔다. 근래에 수요는 많아졌으나 재대로된 Test Manager를 찾기 힘든 국내 상황 때문인지 세미나는 거의 대부분의 자리가 꽉찼고 참여하신 분들도 발표자 분들께 수많은 질문을 하는 등 굉장히 열띤 분위기 였다. 의외로 내용 면에서도 대기업에서 중소기업, 임베디드에서 웹을 아우르는 여러 분야의 베스트 프렉티스들을 들을 수 있어서 나름 의외로 충실했던 것 같다. 세미나의 내용을 진행 순서에 따라 정리해보았다.

1. Test 현황 및 2008년 Test 계획에 대한 설문조사, STA 이현주 수석

STEN 사이트에 조사한 2008년 국내 테스트 동향에 대한 내용을 이현주 수석께서 발표해주셨다. 조사에 의하면 2008년에 국내 테스트 업계는 개발 초기의 테스트 도입, 리뷰, Test 교육, Test Management, 자동화에 대한 관심이 높은 반면, TMM 등 프로세스 개선, 해외 아웃소싱, Agile Test, 탐색적 테스트에 대한 관심은 낮다고 한다.

2. Test Clinic, STA 권원일 대표
권원일 대표께서 지난 Test Clinic 세미나의 사례발표를 해주셨는데, 자신의 조직이 처한 문제를 외부의 전문가들에게 객관적으로 컨설팅을 무료로 받을 수 있는 굉장히 좋은 기회라고 생각된다.

3. SI 프로젝트에서의 독립적 테스트 조직 운영사례, SDS 박종빈

SDS 박종빈님께서 SDS에서 별도의 테스팅 조직을 만들고 이를 성공적으로 운영하는 것에 대한 경험을 발표해주셨다. SDS 는 98년 고객설문에서 System 운영 품질에서 굉장히 낮은 점수를 받아 (심지어 고객을 테스터로 아느냐라는 말을 할 정도로) 99년 Zero Defect T/F 를 설립하여 테스팅 활동을 시작하였으나 시스템이 오픈한 뒤에 대응하는 수준이었다고 한다. 그러한 것이 오픈뒤에 품질을 잡는 것은 너무 늦다는 인식아래 품질 혁신팀을 조직하여 5억이상의 프로젝트에 대하여 개발 초기부터 전담 테스트 팀을 투입하는 체제로 변환하여, 개발 초기 단계에서부터 Daily Build를 통한 점진적 통합테스트를 수행하여 그 트렌드를 파악함으로써 품질 비용을 줄이고 PM에게 진척상황을 알 수 있는 객관적이고 정량적인 자료를 제공함으로 대내외적으로 성공스토리를 만들어 나갈 수 있었다고 한다.

4. 소프트웨어 테스팅 조직 셋업 및 100배 키우기 전략, NHN 박선영 랩장

NHN의 박선영 랩장께서 2년 만에 홀로 시작하여 조직을 현재 100명 수준으로 100배 늘려온 생생한 경험이 녹아있은 베스트 프렉티스를 공유해주셨다. 개인적으로는 베스트 스피치상으로 뽑을 만큼 굉장히 훌륭한 세션이었던 것 같다. 처음에는 최대한 숙이고 들어가 작은 성공스토리를 만들고 그것을 확대하는 과정은 전문화와 조직 확대를 통해 지속적으로 조직의 성격을 변화시키고 이를 통해 Break Thruogh 하여 명실상부하게 개발 전과정에 걸쳐 리스크를 관리하는 파워풀한 조직으로 탈바꿈하는 과정은 모든 테스트 매니저에게 귀감이 될만한 것 같다.

5. 점심시간

해당 건물 꼭대기 층에서 진행된 점심은 음식이나 서비스가 나름 굉장히 고급스럽고 만족스러웠으며, 사람들이 서로 쇼설라이징하는 좋은 기회가 되었던 것 같다.

6. 테스트 프로세스 최적화와 효율적인 테스트 관리 방안, LG CNS 정현중
LG CNS의 정현중 님께서 임베디드 분야의 테스트 관리 방안에 대한 전반적으로 모든 사항에 대해 한편의 강의와 같은 발표를 해주셨다. 임베디드 분야의 경우, 테스트시 개발자 이상의 도메인 지식을 요구하는 경우가 많으므로 최대한 개발자를 테스트에서 활용해야 한다는 것과 임베디드 특성상 시뮬레이션 보다는 타겟에 실제로 올려서 테스트한 결과를 더 신뢰한다는 것, 도입했던 여러가지 방법론 중 정적 분석이 ROI가 가장 높았다고 말씀하신 부분이 인상 깊었다. 강의 내용중 MS 테스트 엔지니어의 필독서를 언급하셨는데 아래와 같다
* Software Testing Techniques 2nd Ed - Boris Beizer
* The Art of Software Testing - Glenford Myers
* Testing Obeject Oriented Systems - Robert Binder
* A Prectitioners Guide to Software Test Design - Lee Copeland

7. 효과적인 QA 프로세스 관리 및 평가, Softcamp 김종길

Softcamp 김종길님께서 중소기업의 효과적인 QA 프로세스 관리 및 평가에 대해 발표해주셨다. 기간계 시스템인 Active Directory 와의 연동을 위해 Mantis 대신 MS Shared Point Server를 이용하여 모든 프로세스와 결함관리 및 요구사항 관리를 한다는 점과 프로세스의 준수율로 테스트 조직의 평가가 이루어진다는 점이 인상 깊었다.

8. 패키지 소프트웨어의 제품개발 프로세스와 테스트 운영, Ahn Lan 최일순

Ahn Lan 최일순 님께서 패키지 소프트웨어 제품개발 전반에 대한 내용을 공유하는 세션이었다. 역시 가장 오래되면서 가장 규모도 있는 SW 패키지 기업인 만큼 기업 내부의 역할 분담및 프로세스가 체계화 되어 있었고, 바이러스에 대한 대응 속도가 빨라야하는 도메인 특성한 빌드 자동화, 테스트 자동화, 배포 자동화 부분에 심혈을 기울였다는 사실이 인상적이었다.

9. 마무리, STA 권원일 대표

STA 권원일 대표께서 세미나 마무리를 해주셨는데, 올해는 경영진을 위한 SW Testing 인식 확산 캠페인을 벌이신다고 하시는데 이를 위해 조찬 모임등의 행사를 기획중이시라고 한다. 현재 우리나라의 SW Testing 업계가 이만큼 단 시일내에 발전할 수 있었던 것은 STEN 커뮤니티를 기반으로 과감한 투자와 활동을 계신 권대표님이 많은 공헌을 했다는 것은 아무도 부인 할 수 없을 것 같다. 앞으로도 이와 같은 세미나가 종종 열려서 많은 Test Manager 들의 그들의 베스트 프랙티스와 고민을 공유하고 쇼셜라이징 할 수있는 장이 되었으면 좋겠다.