Kuinka suorittaa suljettu beetatestaus nollabudjetilla

1,5 kuukautta, yli 100 yritystä, 20 toimialaa - KeepSolid Sign Story.

Tämän viestin tavoite: näyttää vähitellen, kuinka suoritimme suljetun beetatestin KeepSolid Signille tyhjästä - rajoitetun ajan kuluessa ja rajoitetuilla resursseilla. Joten jos olet aloittelija, markkinoinnin asiantuntija tai yrittäjä, olet kiinnostunut antamaan MVP- tai beetatuotteesi ensimmäisten käyttäjien käsiin, pysy jonkin aikaa ja kuuntele.

Omaa tuotetta kehittäessäsi olisi varmasti siisti tehdä kaikki kuten Hotjar teki.

Mutta entä jos sinulla on enemmän aikaa, ihmisiä, resursseja ja budjettia?

Ja jos siitä huolimatta haluat edelleen antaa käyttäjien testata tuotteitasi kerätäkseen arvokasta palautetta heiltä, ​​kun olet vielä kehitysvaiheessa?

Juuri tässä tilanteessa olimme, kun syvällisesti kehitimme viimeisintä sovellustamme, KeepSolid Sign -sovellusta.

Se on siisti (ilmeisesti) palvelu sähköisten sopimusten ja muiden asiakirjojen allekirjoittamiseen. Tuolloin meillä oli hiukan enemmän kuin MVP kolmella alustalla - macOS, iOS ja Android, joten päätimme, että on aika suorittaa suljettu eksklusiivinen beeta.

Meillä on ollut vain kaksi kuukautta (tosiasiallisesti vain 1,5) valmistella se, koska suunnittelemme avointa beetaa neljälle alustalle (mukaan lukien Windows) ja verkkosovellusta syyskuun loppuun mennessä.

Joten tässä on kuinka onnistuimme saamaan nämä vaatimattomat, mutta kunnolliset tulokset vaihe vaiheelta.

Valmisteluvaihe

Ensinnäkin määrittelimme tavoitteemme suljetulle beetaa varten seuraavasti:

  1. Anna tuote ensimmäisten käyttäjien käsiin ja saat palautetta tuotteen nykyisestä ulkoasusta, eduista ja haitoista.
  2. Ymmärrä, kuinka käyttäjät käsittelevät asiakirjojen ja paperien allekirjoittamista nyt - mitä ratkaisuja he käyttävät, mitkä ovat nykyisen ratkaisun edut ja haitat jne. Opi miten me suhtautumme heidän käyttämäänsä ratkaisuun.
  3. Saa paremman kuvan tulevasta tuotekehityksestä ja rakenna etenemissuunnitelma.
  4. Luo tuotteellemme asiakkaiden persoonat.

Tavoitteiden asettamisen jälkeen kehitimme suunnitelman tai konseptin beetatestistämme. Ajattelimme beetavaiheet, päätimme miten haastattelimme osallistujia, loimme aloitussivun ja muun sisällön ja kehitimme viestintäjärjestelmän. Lisätietoja eteenpäin.

Saatuaan aikaan beetakonseptin ja suunnitteluvaiheen aloimme kutsua käyttäjiä. Tätä varten käytimme kolme kanavaa:

  • Oma sähköpostipohja aiempien tuotteiden käyttäjistä (toi meille ~ 80% osallistujista)
  • Erikoispalvelut, kuten Betabound (~ 18%). Kokoimme täydellisen luettelon tähän google-asiakirjaan, voit käyttää sitä, lisätä muita palveluita tai jakaa sitä.
  • Reddit (~ 2%)

Tuloksena oli mahtava 232 beetatestaajaa (> 62% konversioprosentti (CR) aloittelukyselyn päättäneistä hakijoille).

Ja vaikka kaksi ensimmäistä lähdettä ovat varsin itsestään selviäviä, selitämme Redditin osan hieman.

On tärkeätä huomata, että valitsimme alajaksoja, jotka houkuttelevat sellaista yleisöä, jota etsimme - pienyritysten omistajia, välittäjiä, finanssiasiantuntijoita jne. Emme priorisoineet alajakoja beetatestajille, koska tarvitsimme laajaa palautetta pikemminkin kuin ammattimainen. Kysyttyämme järjestelmänvalvojien lupaa lähetämme sitten kutsun suljettuun beetaversioon.

Tässä on esimerkki tällaisesta viestistä:

Valitsimme myös oikeat instrumentit:

  • Tilda-palvelun avulla luimme beeta-aloitussivun. Valitsimme sen, koska siinä on ilmainen, turmeltunut versio (ostoksemme ostoksista ostoksemme johtui, koska tarvitsimme joitain lisätoimintoja), ja mikä tärkeintä, se antaa mahdollisuuden luoda kauniita sivuja ja suorittaa tämän nopeasti.
  • Itse tutkimukseen käytimme Survey Planetia. Se on kohtuullinen ratkaisu, vaikka siinä on tiettyjä puutteita, joista keskustellaan mahdollisesti jossain toisessa artikkelissa.
  • Käytimme Calendlyä (ilmaisella 2 viikon kokeilukerralla) puheluiden sovittamiseen niiden testaajien kanssa, jotka suostuivat tällaiseen tutkimukseen. Ei muuten osoittautunut loistavaksi, mutta palaamme tähän myöhemmin. Ja puheluihin käytimme Skypeä, iso yllätys =)
  • Massalähetykseen sähköpostina käytimme answer.io. Jälleen kerran, koska sillä on ilmainen 2 viikon kokeiluversio. Se osoittautui todella hyväksi palveluksi, ja harkitsemme sen tilaamista.
  • Toinen työkalu, jota käytimme ja josta käyttäjät olivat erityisen iloisia, oli Zendesk - lippuperustainen asiakastukiohjelma. Tietysti testaajamme käyttäisivät sitä useimmiten lähettämään meille virheraportteja ja vastaavia. Mutta he arvostivat myös mahdollisuutta ottaa meihin yhteyttä sovelluksen sisällä.

Yrityksiin asti

Joten saatuaan kaikki aseelliset ja vaaralliset käynnistimme beta-testin.

Aluksi suunnittelemme nimeävän kaksi ryhmämme jäsentä beetapäälliköiksi - yhden puhelututkimuksiin ja toisen verkkotutkimuksiin, mutta… Lue jatkaa saadaksesi tietää mitä tapahtui.

Aloitimme lähettämällä kaikille osallistujille hakulomake ja johtava kysely. Kysyimme siellä joitain yleisiä kysymyksiä, kuten ammatti ja työpaikka. Tärkein kysymys tässä oli, mitä alustoja osallistuja voi käyttää testaukseen. Koska meillä oli tuolloin KeepSolid Sign -ominaisuus saatavana vain macOS-, iOS- ja Android-laitteille, meidän oli pyydettävä kaikkia Windows-käyttäjiä odottamaan tulevaa avointa beetaa.

Kun käyttäjät täyttivät hakemuksen, myönsimme heille ilmaisen vuoden tilaus KeepSolid Sign -sivustolle.

Seuraavaksi saimme heidät lataamaan sovelluksen ja käyttämään sitä 1,5 viikkoa.

Sen jälkeen tarjimme testaajille valinnan: haluavatko he välittää tekstikyselyn verkossa vai Skype-puhelun kautta. Ja siellä teimme virheen.

Käyttäjät olivat edelleen liian kylmiä, he eivät tienneet paljon meistä tai sovelluksestamme. Sen vuoksi, vaikka monet heistä sopivat puhelusta, useimmat muuttivat mieltään myöhemmin ja kumarsivat kohti verkkotutkimusta.

Joten klassisesta vakuuttamisen psykologiasta, jos haluat käyttäjän tekevän tietyn toiminnon (täytä kysely, jos se on todellinen tavoite), tarjoa hänelle huonompi vaihtoehto (kuten soittaa kanssasi). Jos onnistut saamaan ihmiset hyppäämään puhelun kanssasi, muista seurata jokaisen puhelun jälkeen ja tehdä yhteenveto siitä, mistä olet puhunut.

BTW, on hyvä idea tallentaa puhelu käyttäjän kanssa (kokeile Callnotea, jos käytät Skypeä puheluihin), mutta kysy aina etukäteen, voitko tehdä niin. Yleensä ihmiset eivät välitä siitä, että nauhoitat keskustelua, olisi kohteliasta lähettää heille äänitys seurannassa.

Ensimmäinen verkkokysely (25% CR: stä # sovellukseen) koostui erilaisista kysymyksistä osallistujista ja tapoista, joilla he käyttivät sovellustamme - kuinka usein, mihin tarkoituksiin sellaista kamaa. Luimme tulokset mahdollisimman pian testaajien läpäisemisen jälkeen, jotta voimme ottaa heihin yhteyttä saadaksesi lisätietoja tarvittaessa.

Sen jälkeen saimme heidät käyttämään kylttiä vielä 1,5 viikkoa.

Toisessa ja viimeisessä online-kyselyssä (> 23% CR: stä # sovelluksesta) kysyimme testaajilta tuotteemme - mikä heille piti, mikä heille ei pitänyt, palaute jne. Pyysimme myös arvioimaan meitä erityisellä lomakkeella koska he olivat käyttäneet Signiä jo jonkin aikaa ja voivat antaa tasapainoisen arvion.

Molemmissa tutkimuksissa meillä oli paljon pakollisia kysymyksiä. Tiedämme, että jotkut markkinointihenkilöt pelkäävät heitä, mutta testaajamme vastasivat myönteisesti. Kysyimme myös useita kertoja eri muodoissa varmistaaksemme, että vastaukset kattavat kaikki meidät kiinnostavat näkökohdat. Kummankin kyselyn keskimääräinen aika oli 11–12 minuuttia.

Kun beeta oli päättynyt, teimme lyhyen suloisen kiitosvideon, otimme henkilökohtaisesti beta-ylläpitäjiltämme ja lähetimme sen käyttäjillemme sekä pyytää lausuntoja;) Tämä pieni siisti hakkeri laukaisi käyttäjien positiivisen palautteen aallon, joita voimme nyt käyttää verkkosivuillamme.

Opittua

Me päättelemme, että beetatesti oli menestys ja onnistimme saavuttamaan tavoitteemme.

  1. Olemme oppineet paljon siitä, kuinka käyttäjät havaitsevat tuotteemme, mitä he haluavat, mitä he ymmärtävät ja mitä he haluavat nähdä siinä. Esimerkiksi ymmärsimme, että käyttäjät todella nauttivat siitä, että Sign on natiivisovellus useille alustoille, ei vain selainratkaisuille. Pelkästään tämä paransi heidän kokemustaan ​​paremman suorituskyvyn ja offline-saatavuuden ansiosta.
  2. Meillä on paljon tietoa siitä, kuinka käyttäjät allekirjoittavat dokumenttinsa. Esimerkiksi yli 30% kaikista vastaajista ilmoittaa käyttävänsä edelleen manuaalista tulostusta - skannausta - allekirjoittamista - lähettämistä. Vaikka se riippuu vielä paljon teollisuudesta ja osavaltion / hallituksen säännöksistä, sähköisen ja digitaalisen allekirjoituksen hyväksymisprosentti on Yhdysvalloissa ja Yhdistyneessä kuningaskunnassa paljon korkeampi verrattuna esimerkiksi Puolaan.
  3. Testaajia ei ollut tarpeeksi rakentaaksesi laillista tilastollista näytteenottoa ja piirtääkseen sen perusteella vankan etenemissuunnitelman, joten odotamme avointa beetaa tämän korjaamiseksi. Ymmärrimme kuitenkin selvästi, mitä ydinominaisuuksillemme voidaan lisätä (kuten lisäominaisuuksien lisääminen allekirjoitusten tekemiseen ja muokkaamiseen tai digitaalisten allekirjoitusvarmenteiden lisääminen).
  4. Olemme onnistuneet määrittelemään ja kuvaamaan kolme personia: pienyrityksen omistaja, IT-johtaja ja itsenäinen ammatinharjoittaja / freelancer.

Mutta suurin asia, jonka lopulta (helpotukseemme) havaitsimme, on se, että merkki on todella kaupallisesti kannattava ja kykenevä vastaamaan kilpailuun. Tämä on kiistatta tärkein oppitunti, jonka voit oppia suorittamalla beetatesti!

Vähemmän oppitunteja:

  • Älä koskaan ehdota puhelututkimuksia liian aikaisin, tämä saattaa pelottaa yleisöäsi.
  • Mutta samaan aikaan - älä ohita puhelututkimuksia. Vaikka meillä oli vain muutama puhelu, he olivat todella hyödyllisiä ja informatiivisia, ja suosittelemme tätä menetelmää.
  • Ole valmis muokkaamaan kyselyäsi tien päällä. Kun aloimme saada ensimmäisiä vastauksia, jouduimme mukauttamaan kysymyksiämme, kun huomasimme, että käyttäjät eivät huomanneet heitä odotetulla tavalla.
  • Mitä vähemmän testaajia sinulla on, sitä vähemmän määrällisiä kysymyksiä sinun pitäisi sisällyttää, koska vastaukset eivät ole tarpeeksi edustavia.

Kaiken kaikkiaan se oli jännittävä beeta ja varmasti hyödyllinen.

Kuten olemme jo aiemmin maininneet, suunnittelemme pian avointa betaversiota (käynnistämme sovelluksen kaikilla alustoilla syyskuun lopussa, vaikka voit kirjautua täällä käynnistysluetteloomme.) Odotamme kirjoittavan siitä uuden artikkelin kun beeta on valmis. Joten katsokaa tätä palaa kehittäjäpäiväkirjojen alkuun, jossa kuvailemme työskentelyämme Signin kanssa alusta alkaen.

Onko sinulla kokemusta beetatestauksen järjestämisestä? Mikä osa siitä oli haastavin sinulle? Ja jos et - haluaisitko kuulla lisää kokemuksestasi?

teidän

… Ja jakaminen rohkaisi meitä kirjoittamaan lisää sinulle. ❤

Seuraa meitä ja matkaamme luodaksesi parhaat tuottavuus- ja tietoturvaratkaisut yrityksille Twitterissä, Facebookissa ja blogissamme.

Tämä tarina julkaistaan ​​Median johtavassa julkaisussa yrittäjille ja uusille yrityksille The Startup.

Voit tilata saadaksesi huipputarinoita täältä.