Slae.ruTechnical Track: A Replication Study on the Usability of Code Vocabulary in Predicting Flaky Tests
Канал: Industrial reports indicate that flaky tests are one of the primary concerns of software testing mainly due to the false signals they provide.
To deal with this issue researchers have developed tools and techniques aiming at automatically identifying flaky tests with encouraging results.
However to reach industrial adoption and practice these techniques need to be replicated and evaluated extensively on multiple datasets occasions and settings.
In view of this we perform a replication study of a recently proposed method that predicts flaky tests based on their vocabulary.
We thus replicate the original study on three different dimensions.
First we replicate the approach on the same subjects as in the original study but using a different evaluation methodology i.e.
we adopt a time-sensitive selection of training and test sets that better reflect the envisioned use case.
Second we consolidate the findings of the initial study by building a new dataset of 837 flaky tests from 9 projects in a different programming language i.e.
Python while the original study was in Java thus comforting the generalisability of the results.
Third we propose an extension to the original approach by experimenting with different features from the Code Under Test.
Our results demonstrate that a more robust validation has a consistent negative impact on the reported results of the original study but fortunately these do not invalidate the key conclusions of the study.
We also find re-assuring results that the vocabulary-based models can also be used to predict test flakiness in Python and that the information lying in the Code Under Test has a limited impact in the performance of the vocabulary-based models.
Uploaded with Clowdr
Похожее видео
⇒Расскажите об этом видео Technical Track: A Replication Study on the Usability of Code Vocabulary in Predicting Flaky Tests, своим друзьям в социальных сетях.
Ссылка на страницу с видео:
HTML-ссылка на страницу с видео:
Код для вставки плеера:*15 Ноября 2022, 21:04 | Анна Пишет: Нравится мне пеночка, это видео расширило мне понимание о ней. Ребятам тоже понравится, если такое включить. Диктор хорошо говорит, понятно, заинтересовывает рассказом. Видеоряд подобран классно. ... Подробнее...
*16 Ноября 2022, 12:12 | Наталья Пишет: Очень необычное фото. Прям как будто проникаешься атмосферой того времени. Интересно просматривать такие фотографии, представлять как было много лет назад. Редко можно увидеть такие фото.... Подробнее...
*15 Ноября 2022, 21:41 | Рига Пишет: Так зарождалась эпоха отечественных автомобилей! Раньше умели делать, что наши деды,отцы и сыновья продолжали ездить. В таких машинах есть своя «душа», они хоть и просто выглядят, без разных наворотов, как сейчас. Зато они надежны и привлекают внимание. Хотелось бы вернутся... Подробнее...
*15 Ноября 2022, 20:47 | Виктор Пишет: Как же мне нравятся подобные советские легковые автомобили! ЗИЛ-111 - один из любимых моих авто, имеет свой колорит, свою историю и безумную красоту! Если бы у меня пал выбор на современную машину и ЗИЛ-111, то я без сомнений выбрал бы... Подробнее...
*15 Ноября 2022, 20:49 | Катя Пишет: Как интересно придумано, не только автомобили и мотоциклы на выставке, но и дополнительный антураж, что создает уже совершенно другую обстановку в музее. Но и за подарочек спасибо)... Подробнее...
*16 Ноября 2022, 00:50 | Алина Пишет: По-моему таких давно уже нет в ходу нигде, только как музейные экспонаты остались, верно? От фотографии сразу веет таким... винтажом что ли, атмосферой того времени. Уже ретро. ... Подробнее...
*16 Ноября 2022, 14:19 | Артем Пишет: Мне кажется, или они и сейчас в ходу? Не припомню только, но мне кажется, на предприятиях угольной и другой добывающей промышленности точно такому грузовику самое место) и продержится ещё поди, как всё советское, лет 50...... Подробнее...
*16 Ноября 2022, 09:27 | Влад Пишет: Легендарная машина. По проходимости и выносливости ей нет равных. Кроме того тут простая сборка и легко ремонтировать с минимум электроники. Это важно когда работаешь в суровых условиях.... Подробнее...