Self-explaining artificial Intelligence : on the requirements for autonomous explanation generation

Abstract

Explainability is an important feature of any artificial intelligence (AI) system, for numerous reasons. Firstly, it provides interrogability, allowing any outsider to investigate why the system did what it did, or why some things happened and not others. Secondly, it can guide an autonomous learner in its quest to learn more, as theability to find explanations for failure or success can help with learning how the world works. And thirdly, it provides transparency, since (useful) explanations can form the basis of (valid) plans, summaries, justifications, predictions, etc. To be trustworthy, especially when applied in critical domains, transparency in all activities is needed. Providing transparency to modern machine learning and AI systems, such asreinforcement learners and deep neural networks, requires considerable post-hoc effort and skill in interpreting algorithms, as they typically do not represent knowledge in a human-readable form. Prior work has focused almost exclusively on interpretation, while purposely avoiding any assessment of causal attribution, even though this is the most important aspect of explanations. In contrast to prior work, the focus here is on self-explanation: The ability of systems to generate explanations of their own behavior, and their task-environment, automatically. We evaluate the potential of two systems, AERA and NARS, for automatically generating explanations about knowledge that they have learned, and compare their mechansims to other approaches to explainable AI, as a step towards scientific evaluation of explainability. AERA and NARS are based on principles that differ radically from mainstream AI methods, relying heavily on principles of reflectivity. The focus here is on two important aspects of explanations in AI: Firstly, what constitutes a useful explanation; secondly, what are the knowledge acquisition and application requirements for generating such explanations. We examine the potential of existing systems for automating the generation of such explanations.

Útskýranleiki er mikilvægur þáttur í þróun gervigreindar, af margvíslegum ástæðum. Fyrst og fremst eflir útskýranleiki samskipti manns og tölvu, þannig að utanaðkomandi aðilar geti spurst fyrir um af hverju kerfið hafi tekið þær ákvarðanir sem það tók, og gerði það sem það gerði, eða hvers vegna það framkvæmdi ákveðnar aðgerðir frekar en aðrar. Í öðru lagi getur útskýranleiki leitt gervigreindina áfram í að eflalærdómshæfileikana, þar sem hæfileikinn til þess að útskýra mistök og bæði slæman og góðan árangur getur hjálpað til við að læra hvernig hlutirnir virka. Í þriðja lagi veitir útskýranleiki gegnsæi, þar sem viðeigandi útskýringar geta verið grunnurinn að viðeigandi áætlunum, útdráttum, réttlætingum, spám, o.s.frv. Til þess að vera traustsins vert, sér í lagi þegar kerfi er beitt þar sem mikið liggur undir, þarf gagnsæi að vera til staðar í öllum þáttum gervigreindra kerfa. Að veita gagnsæi í nútíma vélrænu gagnanámi og öðrum gervigreindarkerfum svo sem styrkingarnámi og djúptauganetum krefst töluverðrar vinnu eftirá af hálfu sérfræðinga, þar sem þekking slíkra kerfa er yfirleitt ekki framsett á læsilegan hátt. Rannsóknir í gervigreind hingað til hafa lagt áhersluá túlkanleika, en forðast alla greiningu á orsakasamhengi, þó svo að það sé í raun mikilvægasti þáttur útskýringa. Ólíkt fyrri rannsóknum er áherslan hér á sjálfvirka útskýringu: hæfileika kerfa til þess að framleiða sjálf útskýringar á eigin hegðun, umhverfi og markmiðum á sjálfvirkan hátt. Við metum möguleika tveggja kerfa til þess að framleiða útskýringar sjálfvirkt á þekkingu sem þau hafa tileinkað sér og berum saman við aðrar nálganir á útskýranlegri gervigreind, sem skref í áttina að því að geta lagt samanburðarhæft mat á útskýranleika gervigreindra kerfa. Kerfin tvö, AERA ogNARS byggja á hungmyndafræði sem er gjörólík almennum aðferðum í gervigreind, þar sem mikil áhersla er lögð á sjálfsskoðun. Megináherslan hér er á tvo mikilvægaþætti útskýringa í gervigreind: Af hverju samanstendur gagnleg útskýring, og hvaða kröfur þarf kerfi að uppfylla til þess að geta framleitt slíkar útskýringar. Við metummöguleika núverandi kerfa til þess uppfylla þessar kröfur.