Onko suorituskykyä varaa jättää testaamatta?
Puhutaan muutama sana suorituskykytestaamisesta, jonka tekemättä jättäminen voi tulla hyvin kalliiksi. Kaikki ovat varmasti lukeneet verkkokaupoista, joiden suorituskyky on heikentynyt tai ne ovat lakanneet toimimasta kokonaan kovassa kuormassa. Tällaisia esimerkkejä löytyy pilvin pimein esimerkiksi Black Fridayn aiheuttamien yleisöryntäyksien hetkillä.
Tosiasia on, että vakavat ja liiketoimintaa haittaavat suorituskykyongelmat eli “showstopperbugit” maksavat satoja kertoja enemmän, mikäli ne löydetään vasta tuotannossa.
Yksinkertaisimmillaan suorituskykytesteillä selvitetään etukäteen, onko sovelluksen ja/tai järjestelmän suorituskyky riittävä ja mikä on esim. maksimimäärä käyttäjäkuormaa, josta se selviää. Suorituskyvyn päämittareita ovat:
- vasteaika
- läpimeno
- käyttäjämäärä ja
- virheiden määrä.
Alla esittelemme 3 tyypillistä käyttötapausta, joissa asiakkaamme hyödyntävät suorituskykytestausta. Kysythän meiltä rohkeasti lisää, mikäli sinulla herää kysymyksiä oman organisaatiosi testaamistarpeisiin liittyen!
3 tyypillistä käyttötapausta
1. Suorituskykyä ei tunneta ja se pitää selvittää
Suorituskykytestaus antaa (oikein suoritettuna) tarkan tiedon siitä, onko järjestelmän suorituskyky riittävä suhteessa vaatimuksiin. Samalla saadaan myös tieto siitä, mihin suuntaan se on kehittynyt suhteessa aikaisempaan.
2. Suorituskyky on todettu heikoksi tuotantokäytössä ja pitää selvittää miksi
Ongelmatilanne pyritään toistamaan testiympäristössä ja selvittämään tarkemmin, mikä oli pullonkaula ja sen juurisyy, jotta se voidaan korjata.
3. Suorituskyky on todettu liian heikoksi tuotantokäytössä ja pitää varmistaa, että tehdyt korjaukset ovat parantaneet sitä riittävästi
Ongelmatilanne pyritään toistamaan testiympäristössä ja varmistamaan, että suorituskyky on parantunut riittävästi.
Top 3 huomioitavaa asiaa
Kaikki järjestelmät eivät ole kuitenkaan B2C-verkkokauppoja ja jokaisen järjestelmän kohdalla pitääkin arvioida erikseen, tarvitseeko se suorituskykytestata ja kuinka laajasti. Seuraavat asiat auttavat hahmottamaan testauksen tarpeellisuuden laajuutta.
- Liiketoimintakriittisyys
On selvää, että liiketoiminnan kannalta kriittiset järjestelmät täytyy testata suorituskyvyn osalta aina ennen käyttöönottoa. Jos järjestelmä on kuitenkin vähäinen merkitykseltään tai se voi olla esimerkiksi pois päältä päivän ilman suurta vahinkoa, ei testaus ole välttämätöntä. - Käyttäjämäärä
Käyttäjämäärä on yksi selkeä kriteeri, josta on apua mietittäessä, tarvitaanko suorituskykytestausta. Jos jatkuvia päivittäisiä käyttäjiä on yli 10 kpl on suorituskykytestit tarpeellisia varmasti ja jo pienemmälläkin käyttäjämäärällä, suorituskyky on ongelma, jos ei sitä aktiivisesti testata ja paranneta. - Muutosten määrä ja laatu
Olemassa olevien järjestelmien osalta joudutaan miettimään, millä frekvenssillä suorituskykytestejä pitää ja kannattaa ajaa. Kustannus-hyöty -analyysi on tässä välillä haastava, kun muutoksia tulee usein päivittäin ja hyvin toimivassa järjestelmässä riskin arviointi suorituskykyongelmiin on usein vaikeaa. On selvää, että “vakuutus” eli testit olisi hyvä tehdä, mutta jos kustannus on suuri, ei päätös ole helppo.
Jutellaanko lisää?
Q-Factoryn Testauskeskus käyttää apunaan suorituskykytestien tulosten analysoinnissa NosyMouse Jmeter Advanced Analyzer (JAA) palvelua. Suorituskykytestauksen asiantuntijamme Ilkka Myllylä keskustelee mielellään kanssasi.
Ilkka Myllylä
Suorituskykytestauksen asiantuntija
ilkka.myllyla@q-factory.fi
Tutustu myös
- Kuinka suorituskykytestaus voidaan tehdä tehokkaasti ja helpottaa päätöstä testien suorituksesta esimerkiksi päivittäin automatisoidusti.
- Nähdä 6 kpl erilaisia testaushaasteita ja saada valmiit ratkaisut, joiden ohjeilla saat suorituskykytestausprosessiin lisää tehoa.
