敏捷的WebUI自動(dòng)化測(cè)試框架課件

揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！,揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！,揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！,揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！,揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！,揭示研發(fā)管理白金定律，分享那些激動(dòng)人心的創(chuàng)新與變革，使得團(tuán)隊(duì)獲得過(guò)多源動(dòng)力與更大的推動(dòng)力！,敏捷的,Web UI,自動(dòng)化測(cè)試框架,摘要,案例簡(jiǎn)述,敏捷的,Web UI,自動(dòng)化測(cè)試框架,案例背景,敏捷需要自動(dòng)化測(cè)試,艱辛的自動(dòng)化測(cè)試之路,成功要素,像用戶一樣“測(cè)試”軟件,最佳實(shí)踐,用戶化的測(cè)試腳本,靈活多樣的斷言機(jī)制,根據(jù)腳本自動(dòng)生成用戶化的報(bào)告,發(fā)展規(guī)劃,ROI,分析,案例啟示,案例簡(jiǎn)述,敏捷的,Web UI,自動(dòng)化測(cè)試框架,案例簡(jiǎn)述,Web,開(kāi)發(fā)時(shí),UI,框架的廣泛采用極大提高了開(kāi)發(fā)效率和用戶體驗(yàn)。,然而,UI,框架自動(dòng)生成的海量頁(yè)面源碼卻讓原本就舉步維艱的,UI,自,動(dòng)化測(cè)試變得雪上加霜。,為了有效解決常見(jiàn)自動(dòng)化測(cè)試工具普遍存在的使用成本高、測(cè)試,用例有效性低，以及對(duì)不同,Web,技術(shù)測(cè)試方案不統(tǒng)一等問(wèn)題。,我們需要提供一個(gè)測(cè)試框架，來(lái)跨越“技術(shù)”與“用戶”之間的,鴻溝，簡(jiǎn)化腳本及斷言條件的編寫(xiě)和維護(hù)工作、提高對(duì),UI,框架和,業(yè)務(wù)編碼規(guī)范的支持程度，從而降低成本、提升效率。,案例目標(biāo),降低,Web UI,自動(dòng)化測(cè)試的難度和成本，使更項(xiàng)目能真正實(shí)現(xiàn),Web UI,層面的自動(dòng)化測(cè)試，從而讓團(tuán)隊(duì)真正享受到自動(dòng)化測(cè)試,帶來(lái)的收益：,使及時(shí)全面的回歸測(cè)試、穩(wěn)定性測(cè)試、兼容性測(cè)試成為可能，為持續(xù)集成提供基礎(chǔ)；,便于重現(xiàn)（或校驗(yàn)）偶發(fā)性缺陷；,將測(cè)試人員從日常大量的重復(fù)性工作中解放出來(lái)，可以把更多的精力投入到針對(duì)業(yè)務(wù)場(chǎng)景的,測(cè)試設(shè)計(jì)、用戶體驗(yàn)測(cè)試、性能測(cè)試、安全性測(cè)試等工作中。,案例背景,敏捷需要自動(dòng)化測(cè)試,需求,測(cè)試,設(shè)計(jì),開(kāi)發(fā),交,付,快速原型設(shè)計(jì),盡早確認(rèn)功能,快速響應(yīng)需求,自動(dòng)化測(cè)試用例都能在當(dāng)天的版本上有效運(yùn)行么？,敏捷依賴自動(dòng)化測(cè)試，但自動(dòng)化測(cè)試本身夠敏捷么？,可擴(kuò)展的架構(gòu),復(fù)用已有組件,每日站會(huì)、迭代演示會(huì),快速開(kāi)發(fā)工具,持續(xù)集成,案例背景,艱辛的自動(dòng)化測(cè)試之路,學(xué)習(xí)成本高,工具的,操作使用,、相關(guān)的,腳本語(yǔ)言,、測(cè)試過(guò)程的,調(diào)試分析,，是壓在廣大技術(shù)比較薄弱的測(cè)試人員身上的三座大山！,測(cè)試,腳本維護(hù),困難,業(yè)界的測(cè)試工具本質(zhì),上,還都是,針對(duì)頁(yè)面源碼,來(lái)編寫(xiě)（或生成,）腳本,的,，,與頁(yè)面源碼高度耦合,、,可讀性差,。,頁(yè)面的任何變化都極有可能,導(dǎo)致測(cè)試腳本不可用,，即使提供腳本錄制工具，我們能做往往也是重新錄制。,斷言,機(jī)制繁瑣呆板,測(cè)試腳本中的“斷言”依賴,手工插入,。頁(yè)面上蘊(yùn)含大量的信息，潛在的,斷言對(duì)象如此之多,、,預(yù)期結(jié)果時(shí)常變化,（甚至是動(dòng)態(tài)的）、,UI,樣式或,UI,邏輯,（比如，翻頁(yè)圖標(biāo)灰顯）也很可能出現(xiàn)錯(cuò)誤。因此，“斷言”可謂是測(cè)試,人員的,“噩夢(mèng)”,！,自定義擴(kuò)展難度大,測(cè)試是個(gè)系統(tǒng)的工程，自動(dòng)化測(cè)試是,中間的,一個(gè)執(zhí)行環(huán)節(jié)。與之關(guān)聯(lián)的工作還有,測(cè)試場(chǎng)景設(shè)計(jì),、,測(cè)試結(jié)果分析,、,持續(xù)集成,、,版本控制,、,測(cè)試用例覆蓋率統(tǒng)計(jì),、,測(cè)試環(huán)境搭建,，等等。,自動(dòng)化測(cè)試工具在擴(kuò)展方面的局限性，破壞了測(cè)試管理的整體性和一致性。,業(yè)界有很多優(yōu)秀的自動(dòng)化測(cè)試工具，它們都有各自的優(yōu)點(diǎn)，但也普遍存在的一些問(wèn)題，讓我們舉步維艱,案例背景,艱辛的自動(dòng)化測(cè)試之路,優(yōu)秀,UI,框架,/,工具的采用大大降低了開(kāi)發(fā)成本和難度,測(cè)試,腳本則要面對(duì),UI,框架生成,的海量源碼,用例回放的有效性大幅降低，,自動(dòng)化,測(cè)試變得雪上加霜,頁(yè)面,DOM,結(jié)構(gòu)非常,復(fù)雜,所,錄制,/,編寫(xiě)腳本的復(fù)雜度,變的更大,、,可讀性變得更差,；,即使頁(yè)面代碼沒(méi)有任何變化，,UI,框架的升級(jí)也會(huì)導(dǎo)致,DOM,結(jié)構(gòu)的,變化,腳本,無(wú)效的風(fēng)險(xiǎn)變得更,大,；,控件,ID,是自動(dòng)生成的，甚至可能隨機(jī),變化,導(dǎo)致,根據(jù),ID,定位控件的策略,無(wú)效,；,成功要素,像用戶一樣“測(cè)試”軟件,頁(yè)面上的不穩(wěn)定因素：,頁(yè)面布局、頁(yè)面樣式、,UI,框架及版本更新,用戶只關(guān)注體驗(yàn)，不,Care,具體實(shí)現(xiàn)方案；,自動(dòng)化測(cè)試人員為什么會(huì)糾結(jié)于此呢？,成功要素,像用戶一樣“測(cè)試”軟件,用戶操作時(shí)只,關(guān)注頁(yè)面上能“看”到的,，,而不用“查看頁(yè)面源碼”；,用戶會(huì)更,關(guān)注整體業(yè)務(wù)的,正確性、穩(wěn)定性,，而不僅僅是每個(gè)孤立頁(yè)面的功能正確性；,用戶對(duì),頁(yè)面樣式,、,瀏覽器兼容性,要求越來(lái)越高；,根據(jù)界面快速編寫(xiě)測(cè)試用例,敏捷應(yīng)對(duì)需求的變化；,隔離對(duì)技術(shù)實(shí)現(xiàn)（,UI,框架、頁(yè)面樣式,/,布局）的依賴,敏捷應(yīng)對(duì)設(shè)計(jì),/,開(kāi)發(fā)的變化；,支持跨瀏覽器穩(wěn)定回放,敏捷應(yīng)對(duì)環(huán)境的變化,；,“用戶使用軟件”與“自動(dòng)化測(cè)試軟件”之間目前存在一些重要差異,如果能,像用戶使用軟件一樣進(jìn)行自動(dòng)化測(cè)試,，我們會(huì)變得更敏捷,敏捷的核心是響應(yīng)變化，,因此,開(kāi)發(fā)和測(cè)試都需要快速響應(yīng)需求的變化,；,而,測(cè)試額外還需要快速響應(yīng)開(kāi)發(fā)的變化,；,實(shí)踐,1,用戶化的測(cè)試腳本,當(dāng)你在上述界面上進(jìn)行操作時(shí)，你心里是否會(huì)默念：,“賬號(hào)”輸入*、“密碼”輸入*、“姓名”輸入*、“性別”選擇*、“生日”輸入*、,“國(guó)籍”選擇*，點(diǎn)擊“保存”按鈕。,類(lèi)似的，當(dāng)我們?nèi)粘Ｊ褂酶鞣N系統(tǒng)時(shí)，心里還會(huì)默念：,“展開(kāi),/,收攏”樹(shù)（,Tree,）的某個(gè)節(jié)點(diǎn)、關(guān)閉某個(gè),Tab,頁(yè)、,數(shù)據(jù)表格（,Grid,）的下一頁(yè),/,上一頁(yè)、,選中數(shù)據(jù)表格（,Grid,）的某一行,如果測(cè)試腳本就像這個(gè)樣子，大家覺(jué)得怎樣？,實(shí)踐,1,用戶化的測(cè)試腳本,基于界面上,可以“看”到,的內(nèi)容定位對(duì)象，對(duì)象的操作按照,用戶習(xí)慣,命名。,操作定義,對(duì)象類(lèi)型,腳本示意,實(shí)踐,1,用戶化的測(cè)試腳本,對(duì)象類(lèi)型,操作定義,腳本示意,基于界面上,可以“看”到,的內(nèi)容定位對(duì)象，對(duì)象的操作按照,用戶習(xí)慣,命名。,實(shí)踐,1,用戶化的測(cè)試腳本,對(duì)象類(lèi)型,操作定義,腳本示意,基于界面上,可以“看”到,的內(nèi)容定位對(duì)象，對(duì)象的操作按照,用戶習(xí)慣,命名。,實(shí)踐,1,用戶化的測(cè)試腳本,點(diǎn)擊“業(yè)務(wù)角色列表”上的“新增”按鈕,輸入“名稱”和“描述信息”后點(diǎn)擊“保存”,選中“業(yè)務(wù)角色列表”中“,TOP100 Test,”對(duì)應(yīng)的行,右側(cè)切換到“應(yīng)用菜單授權(quán)”,Tab,頁(yè),展開(kāi)“管理控制臺(tái)”和“組織機(jī)構(gòu)”樹(shù)節(jié)點(diǎn),選中“用戶管理”樹(shù)節(jié)點(diǎn),點(diǎn)擊“應(yīng)用菜單授權(quán)”上的“保存”按鈕,結(jié)合“角色創(chuàng)建及授權(quán)”功能，看一下其對(duì)應(yīng)的用戶化測(cè)試腳本實(shí)例：,實(shí)踐,2,靈活多樣的斷言機(jī)制,斷言對(duì)象,頁(yè)面信息量大，需要斷言的對(duì)象多；,需要在腳本中補(bǔ)充大量斷言語(yǔ)句；,預(yù)期結(jié)果,預(yù)期結(jié)果很可能發(fā)生變化；,預(yù)期結(jié)果的值與腳本邏輯耦合度大；,斷言機(jī)制,未設(shè)定為斷言條件的字段，如果發(fā)生錯(cuò)誤，無(wú)法感知；,UI,樣式及部分,UI,邏輯無(wú)法設(shè)為斷言條件；,多,變,呆,實(shí)踐,2,靈活多樣的斷言機(jī)制,頁(yè)面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁(yè)面級(jí),UI,斷言,后臺(tái)數(shù)據(jù)庫(kù)斷言,頁(yè)面級(jí)數(shù)據(jù)斷言,實(shí)踐,2,靈活多樣的斷言機(jī)制,頁(yè)面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁(yè)面級(jí),UI,斷言,后臺(tái)數(shù)據(jù)庫(kù)斷言,頁(yè)面級(jí)數(shù)據(jù)斷言,在測(cè)試過(guò)程中，可以在任何位置增加斷言事件，來(lái)判斷頁(yè)面指定控件是否存在、控件顯示值是否為預(yù)期結(jié)果等。,實(shí)踐,2,靈活多樣的斷言機(jī)制,頁(yè)面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁(yè)面級(jí),UI,斷言,后臺(tái)數(shù)據(jù)庫(kù)斷言,頁(yè)面級(jí)數(shù)據(jù)斷言,測(cè)試腳本按照業(yè)務(wù)流程組織并運(yùn)行，如果某個(gè)步驟執(zhí)行錯(cuò)誤，則當(dāng)前步驟或后續(xù)步驟會(huì)出現(xiàn)斷言錯(cuò)誤。,無(wú)需編寫(xiě)任何斷言語(yǔ)句以及預(yù)期結(jié)果值，但測(cè)試設(shè)計(jì)要考慮業(yè)務(wù)邏輯順序；,不需要可對(duì)比的正確版本，通常適用于項(xiàng)目剛開(kāi)發(fā)或樣式做整體調(diào)整等情況；,斷言錯(cuò)誤的位置不精準(zhǔn)，可能延后；,操作過(guò)程有截圖備份，可以有效輔助定位準(zhǔn)確的出錯(cuò)原因；,鑒于回歸測(cè)試的時(shí)候，通常大部分用例應(yīng)該是可以通過(guò)的，,所以此類(lèi)斷言的投入產(chǎn)出比非常占優(yōu)勢(shì)！,測(cè)試用例,在“增加”出錯(cuò)時(shí)可能的斷言結(jié)果,增加記錄,A,查詢,A,修改查詢結(jié)果,刪除記錄,A,實(shí)踐,2,靈活多樣的斷言機(jī)制,頁(yè)面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁(yè)面級(jí),UI,斷言,后臺(tái)數(shù)據(jù)庫(kù)斷言,頁(yè)面級(jí)數(shù)據(jù)斷言,無(wú)需編寫(xiě)任何斷言語(yǔ)句以及預(yù)期結(jié)果值；,用于可提供預(yù)期正確版本的項(xiàng)目，在可持續(xù)構(gòu)建或項(xiàng)目后期比較適用；,能判斷出樣式、頁(yè)面邏輯上的“非數(shù)據(jù)”類(lèi)錯(cuò)誤；,對(duì)比絕對(duì)精準(zhǔn)，導(dǎo)致可能存在誤判，因此需要人工對(duì)差異圖片進(jìn)行排查；,鑒于回歸測(cè)試的時(shí)候，通常大部分用例應(yīng)該是可以通過(guò)的，,所以此類(lèi)斷言的投入產(chǎn)出比非常占優(yōu)勢(shì)！,通過(guò)對(duì)比前（之前測(cè)試通過(guò)）后（后續(xù)持續(xù)發(fā)布）版本在相同測(cè)試路徑和入?yún)⑶闆r下的頁(yè)面截圖是否嚴(yán)格相同來(lái)斷言結(jié)果。,實(shí)踐,2,靈活多樣的斷言機(jī)制,頁(yè)面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁(yè)面級(jí),UI,斷言,后臺(tái)數(shù)據(jù)庫(kù)斷言,頁(yè)面級(jí)數(shù)據(jù)斷言,支持在用例執(zhí)行過(guò)程中嵌入,SQL,語(yǔ)句，以便從數(shù)據(jù)庫(kù)中取實(shí)際結(jié)果，用于斷言。,實(shí)踐,2,靈活多樣的斷言機(jī)制,頁(yè)面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁(yè)面級(jí),UI,斷言,后臺(tái)數(shù)據(jù)庫(kù)斷言,頁(yè)面級(jí)數(shù)據(jù)斷言,通過(guò)提取頁(yè)面,JS,數(shù)據(jù)對(duì)象（或,JSON,）、獲取格式化后的頁(yè)面文本內(nèi)容，來(lái)自動(dòng)對(duì)比判斷結(jié)果是否正確（無(wú)需編寫(xiě)斷言語(yǔ)句）。,原始頁(yè)面,頁(yè)面文本內(nèi)容,實(shí)踐,2,靈活多樣的斷言機(jī)制,頁(yè)面控件值斷言,業(yè)務(wù)邏輯,斷言,自定義斷言,頁(yè)面級(jí),UI,斷言,后臺(tái)數(shù)據(jù)庫(kù)斷言,頁(yè)面級(jí)數(shù)據(jù)斷言,在測(cè)試過(guò)程中如果一些斷言結(jié)果并不在前臺(tái)顯示，就需要自定義后臺(tái)斷言（操作移動(dòng)設(shè)備、網(wǎng)絡(luò)設(shè)備等），并插入到測(cè)試執(zhí)行過(guò)程中。,實(shí)踐,3,根據(jù)腳本自動(dòng)生成用戶化的報(bào)告,傳統(tǒng)的測(cè)試腳本,用戶化測(cè)試腳本,實(shí)踐,3,根據(jù)腳本自動(dòng)生成用戶化的報(bào)告,有效減少文檔格式測(cè)試用例的維護(hù)成本，并保證用例和軟件功能的及時(shí)同步。,實(shí)踐,3,根據(jù)腳本自動(dòng)生成用戶化的報(bào)告,傳統(tǒng)的自動(dòng)化測(cè)試報(bào)告（如上圖）可讀性很差，不能直觀的體現(xiàn)整個(gè)測(cè)試過(guò)程。,用戶化的測(cè)試報(bào)告（如右圖），可以非常直觀的充分還原整個(gè)測(cè)試過(guò)程。極大提升測(cè)試結(jié)果的分析效率，降低分析難度。,發(fā)展規(guī)劃,與模型驅(qū)動(dòng)開(kāi)發(fā)工具結(jié)合，在模型生成實(shí)際頁(yè)面的同時(shí)，生成用戶化的測(cè)試腳本，并進(jìn)行參數(shù)化。,在基于產(chǎn)品線開(kāi)發(fā)模式的項(xiàng)目中，,支持在裝配軟件特性的同時(shí)，裝配測(cè)試用例。,與云計(jì)算資源管理工具打包，形成完整的,企業(yè)私有測(cè)試云解決方案。,案例,ROI,分析,投入,工作量,備注,測(cè)試框架研發(fā)成本,6,人月,一次性投入，具體視功能范圍而定,測(cè)試腳本語(yǔ)法實(shí)現(xiàn),5,人天,一次性投入，可復(fù)用于相同,UI,框架開(kāi)發(fā)所有項(xiàng)目,測(cè)試腳本語(yǔ)法學(xué)習(xí)成本,0.5,人天,掌握基本用法，不含在用例設(shè)計(jì)方面的經(jīng)驗(yàn)積累,覆蓋基本流程的測(cè)試腳本開(kāi)發(fā)工作量相對(duì)功能開(kāi)發(fā)而言，幾乎可以忽略不計(jì)；,腳本維護(hù)、運(yùn)行及結(jié)果分析總工作量降低至原來(lái)的,1/10,左右，回落到可控范圍；,降低自動(dòng)化測(cè)試專業(yè)技能要求，團(tuán)隊(duì)任何成員都可以完成；,界面可自動(dòng)化測(cè)試的時(shí)機(jī)提前，不必等到功能穩(wěn)定之后，有力保障項(xiàng)目過(guò)程中每日構(gòu)建工作的開(kāi)展；,斷言成本降低，準(zhǔn)確率提升，有助于發(fā)現(xiàn)樣式瑕疵、用戶體驗(yàn)差、內(nèi)存泄露等容易被忽略的缺陷；,其它附加回報(bào),提高自動(dòng)化測(cè)試實(shí)施成功幾率、降低文檔格式測(cè)試用例維護(hù)成本、擴(kuò)大用例復(fù)用范圍贏得其他團(tuán)隊(duì)支持,回報(bào),案例啟示,技術(shù)的發(fā)展是為了讓人類(lèi)生活變得越來(lái)越輕松。,Web,技術(shù)發(fā)展至今已經(jīng)可以讓開(kāi)發(fā)人員很容易的實(shí)現(xiàn)交互性強(qiáng)、展現(xiàn)效果絢的界面，用戶也從中得到非常好的使用體驗(yàn)。,眾所周知，“優(yōu)秀的測(cè)試人員一定要有用戶視角”。,為什么用戶感覺(jué)很易用的軟件，實(shí)施自動(dòng)化測(cè)試時(shí)卻不能像開(kāi)發(fā)時(shí)那么便捷？,主要原因是“自動(dòng)化測(cè)試”并沒(méi)有“用戶視角”。,本方案的核心思想就是“像用戶使用軟件一樣的進(jìn)行自動(dòng)化測(cè)試”。,