Kuinka tehdä tietoistasi ja malleistasi tulkittavissa oppimalla kognitiivisesta tieteestä

(Tämä viesti liittyy puheeseen, jonka Been Kim piti South Park Commonsissa tulkitsevasta koneoppimisesta. Jos haluat itse Been Kimin teknisiä yksityiskohtia, katso tämän viestin alaosassa olevat videot ja paperit.)

Johdanto: Useimmat koneoppimallit ovat käsittämättömiä. Mitä voimme tehdä?

Se on valitettava totuus nykyaikaisesta koneoppimisesta: vaikka mallisi toimisi erinomaisesti optimoimallasi metrillä, se ei takaa, että olet tyytyväinen sen suorituskykyyn todellisessa maailmassa.

Testi, testiasetustarkkuus on suuri. Mutta et ehkä ole huomannut, että sen tekemät virheet keskittyvät luokkiin, joihin on tärkeää välttää sekaannusta (kuten mustien merkitseminen gorillaksi). Se voi vahvistaa syrjiviä puolueellisuuksia, koska et koodaa oikeudenmukaisuutta objektiiviseen toimintoosi (Bolukbasi ym. 2016). Se voi epäonnistua näyttävästi, jos reaalimaailman ympäristö eroaa käsittämättömästi testausympäristöstä (kiertävät esimerkit, esim. Goodfellow ym. 2014). Tai se voi tyydyttää pyyntösi kirjeen, mutta ei ehdottomasti henkeä (https://blog.openai.com/faulty-reward-functions/).

Vasen: luokittelijat, joilla on alhainen kokonaisvirheaste, voivat silti tehdä törkeitä virheitä, kuten mustien ihmisten virheellinen merkitseminen gorillaksi. Oikein: sanan upotukset, jotka heijastavat nykyaikaista kielenkäyttöä, heijastavat myös nykyaikaisia ​​stereotypioita, ellei niiden vääristymisestä ole erityistä varovaisuutta (https://arxiv.org/abs/1607.06520).Vasen: luokittelijat voivat epäonnistua näyttävästi havaittavissa olevien muutosten vuoksi (https://arxiv.org/abs/1412.6572). Oikein: vahvistusoppimisella koulutetut edustajat tekevät sen, mikä ansaitsee eniten palkkaa, ei mitä tarkoituksesi on kannustaa (https://blog.openai.com/faulty-reward-functions/).

Ongelmana on, että yksi mittari, kuten luokittelutarkkuus, on epätäydellinen kuvaus useimmista reaalimaailman tehtävistä (Doshi-Velez ja Kim 2017). Muita tärkeitä tuloksia - kuten oikeudenmukaisuus, yksityisyys, turvallisuus tai käytettävyys - ei sisällytetä yksinkertaisiin suorituskykymittareihin.

Kun jatkamme ML: n käyttöönottoa yhä useammissa reaalimaailman sovelluksissa, tahattomat tulokset voivat olla yhä ongelmallisempia yhteiskunnalle (kuten AINow-aloite, Future of Life Institute ja muut ryhmät ovat keskustelleet). Mitä voimme tehdä?

Tulkinta: yksi tie eteenpäin

Yksi tutkimuslinja näiden vaikeuksien ratkaisemiseksi on selitettävien tai tulkittavien mallien suunnittelu. Kyky ymmärtää, mitkä esimerkit mallista tulee oikeiksi tai väärin, ja miten se tulee vastauksiin, jotka se saa, voisi auttaa ML-järjestelmien käyttäjiä havaitsemaan tärkeät aukot virallisen ongelman kuvauksen ja toivottujen reaalimaailman tulosten välillä.

Viime vuosina tutkijat ovat alkaneet työpajoja ja konferensseja mallien tulkittavuudesta, kuten NIPS Interpretable ML -työpaja ja Fairness, Accountability and Transparency (FAT *) -konferenssi. Rahoittajat ja sääntelijät etsivät myös selitettävyyttä ratkaisuna EU: n äskettäisestä oikeudesta selittää lainsäädäntöön DARPAn selitettävään AI-ohjelmaan.

DARPAn XAI-ohjelmalla pyritään

Been Kim: “ihmisen” palauttaminen “ihmiselle tulkittavissa”

Been Kim on tutkija, joka rakentaa tulkittavissa olevia ML-malleja People + AI -tutkimusaloitteessa Google Brainissa. Äskettäisessä keskusteluissaan South Park Commons AI -puhuja -sarjassa hän esitteli sarjan menetelmiä, joissa käytetään esimerkkipohjaista päättelyä ihmisen päätöksenteon kognitiivisen tieteen innoittamana, ja osoitti, että ihmisten on helpompi ennustaa ja tehdä yhteistyötä niiden kanssa.

Toisin kuin muut lähestymistavat, Kimin työ inspiroi nimenomaisesti ihmisen päättelyjen kognitiivinen tiede. Tarkemmin sanottuna: ihmisen päättely perustuu usein prototyyppiin, käyttämällä edustavia esimerkkejä luokittelun ja päätöksenteon perustana. Samoin Kimin mallit käyttävät edustavia esimerkkejä selittääkseen ja klusteroidaksesi tietoja.

Koko Kim-keskustelun ajan ”tulkittavuuden” väittämiä tuettiin kokeellisilla tiedoilla, jotka osoittavat konkreettiset toivotut tulokset - esimerkiksi, että käyttäjät voivat johdonmukaisemmin ennustaa mallin tuloksia tai että he antavat korkeamman subjektiivisen tyytyväisyysluokituksen.

Muussa tässä viestissä selitän kaksi päämenetelmää, joita Kim on osoittanut puheessaan:

Ensimmäinen menetelmä, nimeltään MMD-Critic (Maximum Mean Discrepancy), ei ole itsessään ML-malli, vaan pikemminkin tapa ymmärtää itse tietoja. Se on valvomaton menetelmä, jota voidaan käyttää merkitsemättömään tietojoukkoon tai yksittäisiin luokkiin merkityssä aineistossa.

Toinen menetelmä, nimeltään Bayesian Case Model (BCM), on valvomaton oppimismenetelmä, joka hyödyntää sekä prototyyppejä että harvoja piirteitä tulkitsevammin ilman virran menetystä tavanomaisiin menetelmiin verrattuna. Kim osoittaa myös, että BCM: ien kanssa on helpompaa tehdä yhteistyötä ihmisten kanssa sisällyttämällä vuorovaikutteinen BCM-malli kurssitehtävien luokitteluun.

Annan lyhyen yleiskuvan siitä, miten MMD-Critic ja BCM toimivat. Jos haluat lisätietoja kuin minä annan täällä, sinun kannattaa ehdottomasti tutustua videoihin ja papereihin tämän viestin lopussa.

MMD-kriitikko: prototyyppien ja kritiikin käyttö tietojen tarkastelemiseen

Tietoanalyysikoulutettavien neuvonantajien keskuudessa yleinen pidättäytyminen on “katsoa tietojasi!” Sen sijaan, että hypätä sokeasti mallinsovitukseen. Tämä on hieno neuvo. Tiivistelmätilastojen liiallinen luottamus voi peittää omituisia syöttöjakaumia, rikkoutuneita dataputkia tai huonoja oletuksia. Mallinnuskehyksen saavuttaminen ennakolta, kun raakatiedot ovat sotkuja, on ensisijainen resepti "roskille sisään, roskista ulos".

Se sanoi, kuinka tarkalleen ottaen sinun pitäisi tutkia tietojasi? Jos tietosi koostuvat tuhansista kuvista, et voi katsoa niitä kaikkia. Pitäisikö sinun vain katsoa kuvaa 000001.png kautta 000025.png ja soittaa niin hyvälle?

Esimerkkiperusteinen luokittelu

Vastatakseen tähän kysymykseen Kim sai inspiraation kognitiivisesta tieteestä siitä, kuinka ihmiset ymmärtävät luokkia. Erityisesti ihmisen luokittelu voidaan mallintaa siten, että käytetään prototyyppejä: esimerkkejä, jotka edustavat koko luokkaa. Tuotteen luokkajäsenyys määräytyy sen samankaltaisuuden perusteella kategorian prototyyppien kanssa. (katso https://en.wikipedia.org/wiki/Prototype_theory ja https://en.wikipedia.org/wiki/Recognition_primed_decision tarkemmin kognitiivisesta tieteestä)

Yksi prototyyppipohjaisen päättelyn haittapuoli on, että sillä on taipumus liialliseen generalisointiin. Toisin sanoen prototyyppisten jäsenten ominaisuuksien oletetaan jakautuvan yleisesti ryhmän kesken, vaikka ryhmässä olisi huomattavia eroja. Yksi tekniikka, joka voi auttaa välttämään yleistymistä, on näyttää poikkeuksia tai kritiikkiä säännölle: vähemmistöjen tietopisteet, jotka eroavat huomattavasti prototyypistä, mutta kuuluvat silti tähän luokkaan.

Esimerkiksi kissankuvien jakautuminen koostuu useimmiten yksittäisistä kissoista, jotka istuvat, seisovat tai makaavat. Kuitenkin kuva kissasta, joka on sironnut näppäimistön vatsa ylös, puku pukeutuneena tai piilossa pussin sisällä, on silti kissan kuva, vaikka se eroaa olennaisesti prototyyppisistä kuvista. Erityisesti nämä epätavalliset esimerkit ovat tärkeitä vähemmistöjä kuin yksinäisiä. On monia kissan kuvia, joissa näkyy epätyypillisiä paikkoja ja pukuja, joten nämä kuvat ovat tärkeitä kissan kuvien ymmärtämiseksi kokonaan.

Prototyyppiset kissankuvat voivat sisältää yleisiä näkymiä kissoista (istuen, seisova tai makuulla) ja yhteisiä värityksiä.Kriitikkoihin voi kuulua harvinaisia ​​näkemyksiä kissoista: heittäytyvät näppäimistön yli, pukeutuvat pukuun tai piiloutuvat pussiin. Vaikka nämä näkymät ovat epätyypillisiä, nämä ovat silti edelleen kissan kuvia, ja ne tulisi sisällyttää luokkaan. Tällaisen kritiikin esittäminen voi estää ylisuuntaistamista.

MMD-kriittinen algoritmi

Kim et ai. kehitti valvomattoman algoritmin prototyyppien ja kriitikkojen automaattiseen löytämiseen aineistolle, nimeltään MMD-kriitikko. Kun sitä käytetään leimaamattomaan tietoon, se löytää prototyyppejä ja kriitikkoja, jotka kuvaavat koko aineistoa. Sitä voidaan käyttää myös kuvan luokan visualisointiin merkityssä tietojoukossa.

MMD-kriittinen algoritmi toimii kahdessa vaiheessa: Ensin, prototyypit valitaan siten, että prototyyppisarja on samanlainen kuin koko tietojoukko. Suurin keskimääräinen ero (MMD) tarkoittaa prototyyppijakauman ja täydellisen datanjakelun erotuksen erityistä mittaustapaa. Toiseksi, kritiikki valitaan aineiston osista, joita prototyypit ovat aliedustettuina, ja lisärajoituksella varmistetaan kritiikkien monimuotoisuus. Tämän menetelmän tuloksena on joukko prototyyppejä, jotka ovat tyypillisiä koko tietoaineistolle, ja joukko kritiikkiä, jotka tunnistavat suuret osa aineistosta, jotka eroavat eniten prototyypeistä.

Jos haluat kokeilla MMD-Criticiä omilla tiedoillasi, käyttöönotto on saatavilla osoitteessa https://github.com/BeenKim/MMD-critic.

Kun MMD-kriitikkoa käytetään USPS-numerotietoaineistoon (raa'assa pikselitilassa), prototyypit näyttävät tavallisilta numeroilta, kun taas kritiikki sisältää vaakaviivat, erityisen paksut numerot ja heikot numerot. Huomaa, että prototyypit ovat numeerisessa järjestyksessä yksinkertaisesti visualisoinnin vuoksi; MMD-kriitikko-menetelmä ei käyttänyt luokkaleimoja millään tavalla.MMD-kriitikkoa voidaan soveltaa myös välitietoesityksiin, jotka ovat läpäisseet upotusvaiheen tai osan suuremmasta mallista. Tässä yksittäinen ImageNet-luokka visualisoidaan kuvan upottamisen läpi. Tässä esitystilassa värilliset etukuvat ovat prototyyppisiä tähän luokkaan, kun taas mustavalkoiset kuvat ja parittomat katselukulmat ovat poikkeuksia.

Pilottitutkimus ihmisillä

MMD-kriitikomenetelmän validoimiseksi Kim perusti pienen pilottitutkimuksen, jossa ihmishenkilöt tekivät kategoriointitehtävän. Käyttäjille näytettiin kuva eläimestä, ja heitä pyydettiin ennustamaan, mistä alaryhmästä se tuli (esimerkiksi jos heille näytetään koira, heidän olisi luokiteltava se rotuun 1 tai rotuun 2 esimerkin perusteella) kuvia jokaisesta rodusta).

Käyttäjät saivat tämän tehtävän neljässä eri olosuhteessa, jotka näyttivät ryhmäjäseniä eri tavoin: 1) kaikki kuvat kussakin ryhmässä (heistä 200–300); 2) vain prototyypit; 3) prototyypit ja kritiikit ja 4) satunnainen valikoima kuvia jokaisesta ryhmästä, joissa on sama määrä kuvia kuin olosuhteessa 3.

Pilottituloksissaan Kim löysi todisteita siitä, että:

  1. Kunkin ryhmän vain prototyyppien tarkasteleminen antoi käyttäjille mahdollisuuden tehdä tarkempia ja aikaisempaa tehokkaampia ennusteita verrattuna kaikkien ryhmän jäsenten tai satunnaisten alajoukkojen tarkasteluun.
  2. Kritiikin sisällyttäminen parantaa tarkkuutta pelkästään prototyyppien suhteen pienillä kustannuksilla aikatehokkuuteen.
  3. Kuvien satunnaisen alaryhmän tarkasteleminen on vähiten tarkkaa ja vähiten tehokasta.
Käyttäjiä pyydettiin määrittämään eläinten kuvat ryhmään 1 tai ryhmään 2. Jokaisessa kysymyksessä käytettiin eri eläinlajeja - koiraa, kettua jne. - ja jokainen ryhmä sisälsi eri alalajien lajikkeen (koiran rotu, kettu tyyppi jne.). Koehenkilöille osoitettiin ryhmät eri tavoin: käyttämällä kaikkia ryhmän jäseniä, vain prototyyppejä, prototyyppejä + kritiikkiä tai satunnaista alajoukkoa.Prototyyppien tarkasteleminen antoi käyttäjille mahdollisuuden tehdä tarkempia ja tehokkaampia ennusteita verrattuna kaiken datan tai satunnaisen alajoukon tarkasteluun. Mukana kriitikot, parantunut tarkkuus yksin prototyyppeihin pienillä kustannuksilla tehokkuuteen.

Bayesin tapausmalli (BCM): cog-sci-inspiroitu klusterointi

Valikoima prototyyppejä ja kritiikkiä voi antaa käsityksen aineistosta, mutta se ei sinänsä ole koneoppimismalli. Kuinka prototyyppipohjainen päättely voidaan ulottaa täysimittaiseen ja toimivaan ML-malliin?

Toinen kahdesta mallista, jonka Been Kim esitteli puheessaan, oli uudenlainen sekoitusmalli, joka oli suunniteltu sisällyttämään tapauspohjaisen päättelyn tulkittavuus menettämättä suorituskykyä verrattuna tavanomaisiin seosmalleihin.

Jotta ymmärrettäisiin Bayesin tapausmalli "tapauspohjaisen päättelyn" soveltamiseksi "sekoitusmalleihin", on hyödyllistä selventää, mihin nämä termit viittaavat:

  • Tapausperusteinen päättely on ihmisen päättelymenetelmä reaalimaailman ongelmanratkaisuun. Aiemmin nähtyjä esimerkkejä käytetään telineenä uusien ongelmien ratkaisemiseksi. Tunnistetaan merkitykselliset piirteet, jotka liittyvät vanhaan ongelmaan uuteen ongelmaan, ja aiempia ongelmanratkaisustrategioita käytetään uudelleen ja uudistetaan. Tämä on enemmän kuin pelkkä muodollinen ongelmanratkaisumenettely; se on myös kuvaus jokapäiväisestä, epävirallisesta ihmisen päättelystä.
  • Sekoitusmalli on eräänlainen generatiivinen malli ohjaamattomaan oppimiseen. Tietojen jakautumisen piirteet on mallinnettu johdettuiksi taustalla olevien lähteiden (kuten aiheet, alaryhmät tai klusterit) sekoituksesta, jotka on päätelty, mutta joita ei suoraan havaita. Sekoitusmallin sovittaminen havaittuun tietojoukkoon on eräs muoto ohjaamattomasta oppimisesta. Tunnistetut taustalla olevat lähteet voidaan tarkastaa suoraan saadakseen tietoa tiedon taustalla olevasta rakenteesta, tai niitä voidaan käyttää klusterointianalyysin perustana. (Tarkempia tietoja löytyy sekoitusmallien Wikipediasta sekä selitys siitä, miten sekoitusmallit eroavat seosmalleista)

Ymmärtääksesi Kim: n esittämän perinteisen sekoitusmallin, kuten Latent Dirichlet Allocation (LDA) ja Bayesian Case Model (BCM), tulkittavuuden eron, ota huomioon seuraava luku Kim 2015:

Kun tyypilliset sekoitusmallit, kuten LDA (keskellä), edustavat kutakin klusteria luettelona ominaisuustodennäköisyyksistä, Bayesin tapausmalli (oikealla) käyttää kognitiivisesti paremmin saatavilla olevaa kahvaa jokaiselle klusterille: yksittäinen esimerkki kyseisen klusterin prototyypistä, parin kanssa ohjeista mihin prototyypin ominaisuuksiin on tärkeää kiinnittää huomiota.

Tässä esimerkissä hypoteettinen aineisto sarjakuvapinnoista, joilla on erilaisia ​​muotoja, värejä, silmiä ja suita, on analysoitu sekoitusmallilla, ja kolme taustalla olevaa klusteria on löydetty (vasen sarake). LDA ja BCM löytäisivät samanlaisia ​​taustalla olevia klustereita; ne eroavat toisistaan ​​vain klustereiden esittämistavan suhteen. BCM edustaa klustereita tulkitsevammassa muodossa menettämättä edustamisvoimaa.

Tyypillinen sekoitusmalli (keskisarake, LDA) edustaa kolmen klusterin identiteettejä pitkänä luonteenominaisuuksien luettelona - 26% vihreän värin todennäköisyydeksi, 23% neliön muodon todennäköisyydeksi jne. Tämän voi olla vaikea tulkita ihmisillä. koska se tarjoaa pyykinluettelon jatkuvista arvoista eikä tiivistä ja mieleenpainuvaa kahvaa klusterille (katso Doshi-Velez ja Kim 2017: n keskustelu ”kognitiivisista paloista”). Sen sijaan Bayesin tapausmalli edustaisi kutakin klusteria käyttämällä 1) prototyyppistä esimerkkiä edustavasta luokan jäsenestä (oikea sarake, ”prototyyppi”) ja 2) prototyypin ominaisuuksien alatila, jotka ovat todella tärkeitä klusterin jäsenyydelle (oikea sarake) , ”Alaosa”). Tämä tarjoaa kognitiivisesti käytettävämmän kahvan jokaiselle klusterille: yksittäinen esimerkki prototyyppinä yhdessä ohjeiden kanssa siihen, mihin prototyypin ominaisuuksiin on tärkeää kiinnittää huomiota.

Meksikolainen ruokaklusteri voidaan edustaa käyttämällä tacoa sen prototyyppinä. Jotkut tacon piirteistä (kuten kova kuori ja salaatti) ovat kuitenkin erityisiä tacoille, sen sijaan että ne olisivat laajalti tärkeitä koko Meksikon ruokaklusterille. Salsa, smetana ja avokado ovat tärkeitä ominaisuuksia.

BCM: n arviointi interaktiivisella arviointijärjestelmällä

Arvioidessaan tulkittavuutta tässä asiassa Kim keskittyi käyttäjien kykyyn tehdä yhteistyötä mallin kanssa muuttamalla sitä vuorovaikutteisesti.

Hän rakensi BCM-pohjaisen interaktiivisen laajennuksen OverCodeen (http://people.csail.mit.edu/elg/overcode), järjestelmään, joka käyttää klusterianalyysiä, jotta opettajat voivat visualisoida tuhansia ohjelmointiratkaisuja. Interaktiivinen laajennus antoi ohjaajalle mahdollisuuden manipuloida klustereita suoraan valitsemalla, mitä lähetyksiä tulisi käyttää BCM: n prototyypeinä ja mitkä avainsanat ovat tärkeitä alaryhmiä jokaiselle prototyypille.

Kun ohjaajille annettiin tehtäväksi käyttää interaktiivista BCM-järjestelmää valitsemaan joukko esimerkkejä tarkistettavaksi lausunnossa, he kertoivat olevansa tyytyväisempiä, tutkinut paremmin opiskelijoiden koko kirjojen kirjoa ja löytäneet hyödyllisempiä ominaisuuksia ja prototyyppejä (p < 0,001) verrattuna ei-interaktiiviseen versioon.

OverCode-interaktiivinen BCM-laajennus osoittaa kognitiivisesti innoittaman sekoitusmallin joustavuuden. Koska mallin klusterit määritetään ihmisen kaltaisilla tapauspohjaisilla päätelmillä, käyttäjät voivat manipuloida mallia vuorovaikutteisesti sisällyttääkseen oman verkkotunnuksen kannalta merkityksellisen asiantuntemuksensa.

Polku eteenpäin

Kysymysten ja vastausten aikana Kim antoi käsityksen mielenkiintoisista tulevaisuuden haasteista, joihin ML on tulkinnut vastaamaan:

  1. Esimerkit eivät ole lopullinen vastaus kaikkeen. Esimerkiksi lääketieteellisessä tutkimuksessa tutkijat haluavat löytää uusia malleja, joita he eivät vielä voi nähdä tai huomata. Esimerkki edustavasta potilaasta saattaa saada aikaan reaktion: "Tiedän kaiken tästä potilaasta; mitä sitten?"
  2. Et voi odottaa ihmisen ymmärtävän tai ennustavan, mitä super-ihmisen suorituskykyinen järjestelmä aikoo tehdä, melkein määritelmän mukaan. Tulkittavuuden saaminen tavalla, joka heijastuu ihmisen ennusteisiin, ei ole enää suoraviivaista hyötyä, kun järjestelmät ylittävät kykymme ennustaa toimintaansa. Kim uskoo kuitenkin, että tulkittavuus pysyy tärkeänä super-ihmisjärjestelmissä. Vaikka niitä ei voida ymmärtää kokonaisvaltaisesti, on yhä mahdollista ymmärtää paikallisesti, yhdelle datapisteelle, miksi päätös tehtiin tietyllä tavalla.

Päätelmä / yhteenveto

Otin pois seuraavat suuret takeet Been Kimin puheesta:

  • Kun tarkastelet raakatietojasi, keskity prototyyppisiin esimerkkeihin, jos haluat tehokkaamman ja tarkemman tavan tarkastella tietojasi kuin satunnainen otos. Sisällytä lisäksi kritiikkiä, jotta tiedosi monimuotoisuus olisi mahdollisimman tarkka.
  • Varmista, että käyttäjät pystyvät tekemään yhteistyötä malleidesi kanssa, muokkaamalla itse malleja räätälöimällä ihmisiä. Jos järjestelmäsi ajattelee käyttäjien tapaa, niin käyttäjät todennäköisesti pystyvät paremmin jakamaan tietonsa takaisin järjestelmään.
  • "Tulkintakelpoisuudella" on monia merkityksiä. Määritä tavoitteesi selkeästi sovelluksellesi ja suorita kokeita ihmishenkilöiden kanssa varmistaaksesi, että mallisi saavuttaa tavoitellut käyttäjän tulokset.

Kun ML-järjestelmät muuttuvat yhä tehokkaammiksi, meille on yhä tärkeämpää luottaa siihen, mitä he tekevät. Ja jotta tämä luottamus olisi perusteltua eikä väärää, meidän on otettava huomioon, mitä ihmiselle tarkoittaa erityisesti ”luottamus”, “luottamus” tai “ymmärtäminen”. Huomiomme on rajoitettu, ja kognitiiviset kykymme ovat idiosykraattisia ja väistämättä inhimillisiä. Jos haluamme todella ymmärtää tulevaisuuden ja tämän päivän ML-järjestelmiä, meidän on otettava huomioon oma ymmärrysprosessimme.

Tämä on tiivistelmä Kim'sen South Park Commons AI -puhuja -sarjassa pitämästä puheesta, jonka otsikko on ”Interaktiiviset ja tulkitsevat koneoppimallit”. Googlen tarjoamat ja luvalla käytetyt kuvat ja videot puheesta.

Liite: Koko video, dioja, papereita ja koodi

  • Talk-dioja ladattavaksi
  • Koko video alla:

MMD-kriittiset resurssit:

  • Esimerkkejä ei ole tarpeeksi, oppi kritisoimaan! Kritiikki tulkittavuudelle. Kim, Khanna ja Koyejo, NIPS 2016.
  • Github-koodi: https://github.com/BeenKim/MMD-critic
  • NIPS: n suullinen esitys: dioja ja 15 minuutin keskustelu

BCM-paperit ja koodi:

  • Bayesin tapausmalli: Generatiivinen lähestymistapa tapauspohjaiseen päättelyyn ja prototyyppiluokitteluun. Kim, Rudin ja Shah, NIPS 2014.
  • iBCM: Interaktiivinen Bayesin tapausmalli, joka antaa ihmisille mahdollisuuden intuitiivisen vuorovaikutuksen kautta. Kim, Glassman, Johnson ja Shah, MIT CSAIL TR 2015.
  • Koodi: https://users.cs.duke.edu/~cynthia/code/BCM.zip

Aiheeseen liittyvät asiakirjat:

  • Kohti tulkittavan koneoppimisen tiukkaa tiedettä. Doshi-Velez ja Kim 2017