すべてのテストに合格すると、Azure DevOps BuildPipelineのChutzpahJasmineテストが失敗しました

ジョナサンツイテ

Azure DevOpsでセットアップした単体テストプロジェクトを備えた単純なASP.Net(MVC)アプリケーションがあります。

単体テストプロジェクトには、chutzpah.jsonファイルと4つのjasmine.jsテストを含むファイルがありますこれらのテストは、メインのASP.Netプロジェクトのファイルをテストします。テストエクスプローラー用Chutzpahテストアダプターをインストールしまし。VisualStudio2017内のテストエクスプローラー内からテストが表示され、実行され、合格します。

DevOpsでは、このブログと同様に、2番目のVisual Studioテストタスクをビルドパイプライン(デフォルトのASP.Netテンプレート)に追加し、テストファイルに追加しました**\chutzpah.jsonこのタスクが実行され、ログに合格したテストが表示され、「テストの実行に失敗しました」と表示されます。これによりタスクが作成されるため、ビルドが失敗します。

出力は

2018-11-08T11:52:17.5347601Z ##[section]Starting: VsTest - Front End
2018-11-08T11:52:17.5354696Z ==============================================================================
2018-11-08T11:52:17.5354757Z Task         : Visual Studio Test
2018-11-08T11:52:17.5354793Z Description  : Run unit and functional tests (Selenium, Appium, Coded UI test, etc.) using the Visual Studio Test (VsTest) runner. Test frameworks that have a Visual Studio test adapter such as MsTest, xUnit, NUnit, Chutzpah (for JavaScript tests using QUnit, Mocha and Jasmine), etc. can be run. Tests can be distributed on multiple agents using this task (version 2).
2018-11-08T11:52:17.5354871Z Version      : 2.142.12
2018-11-08T11:52:17.5354908Z Author       : Microsoft Corporation
2018-11-08T11:52:17.5354962Z Help         : [More information](https://go.microsoft.com/fwlink/?LinkId=835764)
2018-11-08T11:52:17.5354999Z ==============================================================================
2018-11-08T11:52:18.2871153Z SystemVssConnection exists true
2018-11-08T11:52:18.3290569Z SystemVssConnection exists true
2018-11-08T11:52:18.4136045Z Running tests using vstest.console.exe runner.
2018-11-08T11:52:18.4136143Z ======================================================
2018-11-08T11:52:18.4136511Z Test selector : Test assemblies
2018-11-08T11:52:18.4136597Z Test filter criteria : null
2018-11-08T11:52:18.4136924Z Search folder : D:\a\1\s
2018-11-08T11:52:18.4137559Z VisualStudio version selected for test execution : latest
2018-11-08T11:52:18.4259721Z Run in parallel : false
2018-11-08T11:52:18.4307979Z Run in isolation : false
2018-11-08T11:52:18.4309258Z Path to custom adapters : null
2018-11-08T11:52:18.4310180Z Other console options : null
2018-11-08T11:52:18.4310482Z Code coverage enabled : false
2018-11-08T11:52:18.4310627Z Diagnostics enabled : false
2018-11-08T11:52:18.4311321Z SystemVssConnection exists true
2018-11-08T11:52:18.4334452Z Run the tests locally using vstest.console.exe
2018-11-08T11:52:18.4334531Z ========================================================
2018-11-08T11:52:18.4347193Z Test selector : Test assemblies
2018-11-08T11:52:18.4351418Z Test assemblies : **\chutzpah.json
2018-11-08T11:52:18.4351642Z Test filter criteria : null
2018-11-08T11:52:18.4355360Z Search folder : D:\a\1\s
2018-11-08T11:52:18.4357017Z Run settings file : D:\a\1\s
2018-11-08T11:52:18.4358825Z Run in parallel : false
2018-11-08T11:52:18.4360300Z Run in isolation : false
2018-11-08T11:52:18.4382185Z Path to custom adapters : null
2018-11-08T11:52:18.4382534Z Other console options : null
2018-11-08T11:52:18.4384839Z Code coverage enabled : false
2018-11-08T11:52:18.4386257Z Diagnostics enabled : false
2018-11-08T11:52:18.4388538Z Rerun failed tests: false
2018-11-08T11:52:18.4391303Z VisualStudio version selected for test execution : latest
2018-11-08T11:52:18.6093014Z ========================================================
2018-11-08T11:52:19.1694099Z ======================================================
2018-11-08T11:52:20.3093149Z [command]"C:\Program Files (x86)\Microsoft Visual Studio\2017\Enterprise\Common7\IDE\CommonExtensions\Microsoft\TestWindow\vstest.console.exe" @D:\a\_temp\be5d5f11-e34c-11e8-a8a9-2d59e72db6fd.txt
2018-11-08T11:52:20.4991286Z Microsoft (R) Test Execution Command Line Tool Version 15.8.0
2018-11-08T11:52:20.4991453Z Copyright (c) Microsoft Corporation.  All rights reserved.
2018-11-08T11:52:20.4991515Z 
2018-11-08T11:52:20.5016812Z vstest.console.exe 
2018-11-08T11:52:20.5016907Z "D:\a\1\s\TestMVCApplication.Tests\chutzpah.json"
2018-11-08T11:52:20.5016952Z /logger:"trx"
2018-11-08T11:52:20.5017011Z /TestAdapterPath:"D:\a\1\s"
2018-11-08T11:52:20.7387852Z Starting test execution, please wait...
2018-11-08T11:52:27.4042414Z Error: DEPRECATION: The catchExceptions option is deprecated and will be replaced with stopOnSpecFailure in Jasmine 3.0
2018-11-08T11:52:27.4042924Z    [{file:file:///D:/a/1/s/packages/Chutzpah.4.4.2/tools/ChutzpahTestHarnessFiles/jasmine/v2/jasmine.js,line:949,function:deprecated}]
2018-11-08T11:52:27.4044557Z While Running:D:\a\1\s\TestMVCApplication.Tests\js-tests\utilitiy-tests.js
2018-11-08T11:52:27.4044678Z 
2018-11-08T11:52:27.4767512Z Passed   app-funcs: add() Correctly adds 3 numbers
2018-11-08T11:52:27.4768451Z Passed   app-funcs: add() Correctly adds 2 numbers
2018-11-08T11:52:27.4768908Z Passed   app-funcs: add() Correctly adds 1 number
2018-11-08T11:52:27.4769290Z Passed   app-funcs: add() Does the impossible
2018-11-08T11:52:27.5069526Z Results File: D:\a\1\s\TestResults\VssAdministrator_factoryvm-az489_2018-11-08_11_52_27.trx
2018-11-08T11:52:27.5094303Z 
2018-11-08T11:52:27.5097933Z Total tests: 4. Passed: 4. Failed: 0. Skipped: 0.
2018-11-08T11:52:27.5098548Z Test Run Failed.
2018-11-08T11:52:27.5107869Z Test execution time: 6.5793 Seconds
2018-11-08T11:52:27.7938298Z ##[warning]Vstest failed with error. Check logs for failures. There might be failed tests.
2018-11-08T11:52:27.8666710Z ##[error]Error: C:\Program Files (x86)\Microsoft Visual Studio\2017\Enterprise\Common7\IDE\CommonExtensions\Microsoft\TestWindow\vstest.console.exe failed with return code: 1
2018-11-08T11:52:27.9914771Z ##[error]VsTest task failed.
2018-11-08T11:52:28.0305446Z Publishing test results to test run '213'
2018-11-08T11:52:28.0305575Z Test results remaining: 4. Test run id: 213
2018-11-08T11:52:28.0578818Z ##[section]Async Command Start: Publish test results
2018-11-08T11:52:28.2630565Z Published Test Run : https://linneyit.visualstudio.com/T-Level%20Setup%20Test/_TestManagement/Runs#runId=213&_a=runCharts
2018-11-08T11:52:28.2630806Z ##[section]Async Command End: Publish test results
2018-11-08T11:52:28.2631502Z ##[section]Finishing: VsTest - Front End

2つのテストセレクターブロック(2018-11-08T11:52:18.4136511Z)と(2018-11-08T11:52:18.4347193Z)であるためか、最初はTest filter criteria : null。、2番目はTest assemblies : **\chutzpah.json

タスクは次のように設定されます。

Visual Studio Test
Version: 2.*

Display name: VsTest - Front End
Select tests using: Test assemblies
Test files: **\chutzpah.json
Search folder: $(System.DefaultWorkingDirectory)
Test filter criteria:
[ ] Run only impacted tests
[ ] Test mix contains UI tests

Execution Options
Select test platform using: [x] Version [ ] Specific location
Test platform version: Latest
Settings file:
Override test run parameters:
Path to custom test adapters:
[ ] Run tests in parallel on multi-core machines
[ ] Run tests in isolation
[ ] Code coverage enabled
Other console options:
[x] Collect advanced diagnostics in case of catastrophic failures
Collect process dump and attach to test run report: On abort only
[ ] Rerun failed tests

Advanced execution options
Batch tests: Based on number of tests and agents
Batch options: [x] Automatically determine the batch size [ ] Specify a batch size
[ ] Do not distribute tests and replicate instead when multiple agents are used in the job

Reporting options
Test run title:
Build platform:
Build configuration:
[x] Upload test attachments

Control Options
[x] Enabled
[ ] Continue on error
Timeout: 0
Run this task: Only when all previous tasks have succeeded

Output Variables
Reference name:

このビルドパイプラインタスクの設定は正しいですか?タスクが失敗する理由に関する他の問題/可能性はありますか?

ロブボス

ビルドでエラーが発生したと思います。

Error: DEPRECATION: The catchExceptions option is deprecated and will be replaced with stopOnSpecFailure in Jasmine 3.0

そしてそれからエラー状態を報告します。

この記事はインターネットから収集されたものであり、転載の際にはソースを示してください。

侵害の場合は、連絡してください[email protected]

編集
0

コメントを追加

0

関連記事

分類Dev

Azure DevOps REST APIを使用してテストステップの合格または不合格のステータスを取得できますか?

分類Dev

Azure Devops BuildPipelineのPRコメントとしてテラフォームプランの出力を追加します

分類Dev

すべてのテストに合格した後、TFSのVSテストステップが失敗する

分類Dev

devopsパイプラインyamlはDotNetCoreCLI @ 2タスクの失敗したテストを無視します

分類Dev

Azure DevOpsパイプライン:ローカルで合格したテストはパイプラインで失敗します

分類Dev

個々のテストがすべて合格したときに、Bazelテストで失敗が報告されるのはなぜですか?

分類Dev

すべてのテストに合格したにもかかわらず、Jenkinsビルドが失敗する

分類Dev

Azure DevOpsで実行すると、xUnitテストが失敗する

分類Dev

Azure Devopsでのxunitテスト結果の公開は、「公開する結果が見つかりません」で失敗します

分類Dev

Azure DevOps | UWPのテストタスク:DEP7100:アプリのアクティブ化に失敗しました

分類Dev

Azure DevOps 2019 Serverは、コードカバレッジのあるテストの実行に失敗しました

分類Dev

Azure DevOps API:すべてのテストケースステップを取得する

分類Dev

Azure DevOps Rest APIを使用してPowerShellでリリースのステータス(成功、失敗)を取得する方法

分類Dev

Flurl&HttpTest:ユニットテストは、すべて実行すると失敗しますが、個別に実行すると合格します

分類Dev

azure devopsのazcopyタスクで、ディレクトリの列挙に失敗しましたが、理由がわかりません

分類Dev

期待が失敗したのに、なぜテストで「合格」と表示されるのですか?

分類Dev

Azure DevOps hosted-agentがWindowsのプルに失敗しました:2004

分類Dev

Azure DevOpsは、0以外の終了コードでも合格としてPowerShellタスクを報告します

分類Dev

Azure DevOpsで実行すると、.Net / VSテストランナーが失敗する

分類Dev

すべてのrspecテストがrubyファイルから合格したことをテストします

分類Dev

Visual Studioで「すべて実行」すると単体テストは失敗しますが、個別に合格します

分類Dev

Azure DevOps Cloudformation更新スタックがパラメーターファイルの使用に失敗しました(## [error] ValidationError:パラメーター:テンプレートに存在しません)

分類Dev

Rails Minitestでは、テストはどのように合格しますが、再テストすると失敗しますか?

分類Dev

ランダムなSeleniumE2eテストは、Azure DevOpsのタイムアウトが原因で失敗しますが、ローカルおよびリモートのSeleniumで機能します(BrowserStack Automate)

分類Dev

Xcodeテストは単独で合格し、他のテストで実行すると失敗します

分類Dev

Jestは、アサーションが失敗することを期待していても、テストに合格したと報告しています

分類Dev

1つの失敗したテストにより、他の非同期テストが失敗します

分類Dev

Azure DevOps RESTAPIを使用してすべてのプルリクエストをカウントする方法

分類Dev

PostリクエストはJestでのテストに失敗しますが、Postmanでは合格します

Related 関連記事

  1. 1

    Azure DevOps REST APIを使用してテストステップの合格または不合格のステータスを取得できますか?

  2. 2

    Azure Devops BuildPipelineのPRコメントとしてテラフォームプランの出力を追加します

  3. 3

    すべてのテストに合格した後、TFSのVSテストステップが失敗する

  4. 4

    devopsパイプラインyamlはDotNetCoreCLI @ 2タスクの失敗したテストを無視します

  5. 5

    Azure DevOpsパイプライン:ローカルで合格したテストはパイプラインで失敗します

  6. 6

    個々のテストがすべて合格したときに、Bazelテストで失敗が報告されるのはなぜですか?

  7. 7

    すべてのテストに合格したにもかかわらず、Jenkinsビルドが失敗する

  8. 8

    Azure DevOpsで実行すると、xUnitテストが失敗する

  9. 9

    Azure Devopsでのxunitテスト結果の公開は、「公開する結果が見つかりません」で失敗します

  10. 10

    Azure DevOps | UWPのテストタスク:DEP7100:アプリのアクティブ化に失敗しました

  11. 11

    Azure DevOps 2019 Serverは、コードカバレッジのあるテストの実行に失敗しました

  12. 12

    Azure DevOps API:すべてのテストケースステップを取得する

  13. 13

    Azure DevOps Rest APIを使用してPowerShellでリリースのステータス(成功、失敗)を取得する方法

  14. 14

    Flurl&HttpTest:ユニットテストは、すべて実行すると失敗しますが、個別に実行すると合格します

  15. 15

    azure devopsのazcopyタスクで、ディレクトリの列挙に失敗しましたが、理由がわかりません

  16. 16

    期待が失敗したのに、なぜテストで「合格」と表示されるのですか?

  17. 17

    Azure DevOps hosted-agentがWindowsのプルに失敗しました:2004

  18. 18

    Azure DevOpsは、0以外の終了コードでも合格としてPowerShellタスクを報告します

  19. 19

    Azure DevOpsで実行すると、.Net / VSテストランナーが失敗する

  20. 20

    すべてのrspecテストがrubyファイルから合格したことをテストします

  21. 21

    Visual Studioで「すべて実行」すると単体テストは失敗しますが、個別に合格します

  22. 22

    Azure DevOps Cloudformation更新スタックがパラメーターファイルの使用に失敗しました(## [error] ValidationError:パラメーター:テンプレートに存在しません)

  23. 23

    Rails Minitestでは、テストはどのように合格しますが、再テストすると失敗しますか?

  24. 24

    ランダムなSeleniumE2eテストは、Azure DevOpsのタイムアウトが原因で失敗しますが、ローカルおよびリモートのSeleniumで機能します(BrowserStack Automate)

  25. 25

    Xcodeテストは単独で合格し、他のテストで実行すると失敗します

  26. 26

    Jestは、アサーションが失敗することを期待していても、テストに合格したと報告しています

  27. 27

    1つの失敗したテストにより、他の非同期テストが失敗します

  28. 28

    Azure DevOps RESTAPIを使用してすべてのプルリクエストをカウントする方法

  29. 29

    PostリクエストはJestでのテストに失敗しますが、Postmanでは合格します

ホットタグ

アーカイブ