欄目導(dǎo)航
人工智能醫(yī)療器械質(zhì)量評價與標(biāo)準(zhǔn)化研究進(jìn)展
2019年是人工智能醫(yī)療器械產(chǎn)業(yè)平穩(wěn)發(fā)展的年,技術(shù)創(chuàng)新與落地轉(zhuǎn)化步伐繼續(xù)加快。產(chǎn)業(yè)對于加速人工智能產(chǎn)品更新、縮短審批周期的需求日益強(qiáng)烈,而監(jiān)管部門和公眾對于保障產(chǎn)品安全有效、可信賴的要求也越來越高,因而各國紛紛加強(qiáng)人工智能倫理、技術(shù)標(biāo)準(zhǔn)和監(jiān)管科學(xué)的研究,以提升公共服務(wù)和監(jiān)管決策能力。在我國藥品監(jiān)管部門的導(dǎo)下,根據(jù)國內(nèi)外形勢,中國食品藥品檢定研究院(以下簡稱中檢院)在人工智能醫(yī)療器械的質(zhì)量研究與標(biāo)準(zhǔn)化方面也開展了大量相關(guān)工作。
國內(nèi)外行業(yè)發(fā)展現(xiàn)狀
國外人工智能醫(yī)療器械種類和用途不斷增加,在臨床診療路徑、健康干預(yù)和服務(wù)方面的作用走向多元化。根據(jù)公開信息,美國FDA已批準(zhǔn)幾十款人工智能醫(yī)療器械產(chǎn)品上市,包括計算機(jī)輔助診斷、輔助探測、輔助分診等立軟件。另方面,以智能硬件、智能快速重建等為代表的新產(chǎn)品呈現(xiàn)異軍突起的態(tài)勢,部分產(chǎn)品也已獲批上市。人工智能的臨床應(yīng)用向過程導(dǎo)向發(fā)展,化臨床工作效率和服務(wù)質(zhì)量,例如CT劑量化、X光智能擺位、圖像質(zhì)控等用途。此外,人工智能本身作為技術(shù)手段,正在融入醫(yī)療器械的研發(fā)、生產(chǎn)、質(zhì)量管理和醫(yī)生的教育培訓(xùn)等各個環(huán)節(jié),推動著傳統(tǒng)有源醫(yī)療器械、醫(yī)用機(jī)器人、可穿戴設(shè)備、移動健康產(chǎn)品、3D打印、藥械組合產(chǎn)品等域的“AI+”升級。
為順應(yīng)行業(yè)發(fā)展需求,國外人工智能醫(yī)療器械質(zhì)量評價工作的趨勢是靈活、經(jīng)濟(jì)、快速。以美國為例,近年來,美國的人工智能醫(yī)療器械產(chǎn)品申報中經(jīng)常采用基于第三方測試集的算法驗(yàn)證、基于仿真數(shù)據(jù)和體模的算法驗(yàn)證等手段,降低對臨床試驗(yàn)的依賴,而部分產(chǎn)品的審批周期縮短到了幾個月。FDA在2019年發(fā)布了有關(guān)機(jī)器學(xué)習(xí)/人工智能醫(yī)療器械軟件的產(chǎn)品變更監(jiān)管框架討論文章,聚焦產(chǎn)品迭代后的快速評價路徑,這為業(yè)內(nèi)提供了有益的啟示。
我國的人工智能醫(yī)療器械行業(yè)同樣延續(xù)著強(qiáng)勁的發(fā)展勢頭,技術(shù)突破和產(chǎn)品落地步伐加快。在各項(xiàng)利好政策的支持下,產(chǎn)學(xué)研用呈現(xiàn)百花齊放的可喜局面。國內(nèi)算法研究與臨床應(yīng)用成果不斷登上NatureMedicine、Cell等頂級期刊。國產(chǎn)AI產(chǎn)品的分析對象從過去常見的糖尿病視網(wǎng)膜病變(以下簡稱糖網(wǎng))眼底照片、肺結(jié)節(jié)CT影像擴(kuò)展到醫(yī)學(xué)影像和醫(yī)學(xué)信號的方方面面;產(chǎn)品形態(tài)由單軟件發(fā)展成各種通用、專用智能平臺,并且與硬件、知識圖譜等融合發(fā)展。國內(nèi)企業(yè)在積準(zhǔn)備產(chǎn)品注冊上市的同時,也在加速布局海外市場,在國內(nèi)外各種重要會議和展覽上體現(xiàn)中國力量。
標(biāo)準(zhǔn)化工作進(jìn)展
人工智能醫(yī)療器械標(biāo)準(zhǔn)化技術(shù)歸口單位的成立是我國人工智能醫(yī)療器械標(biāo)準(zhǔn)化工作的里程碑。作為戰(zhàn)略新興域,藥品監(jiān)督管理局高度重視和支持人工智能醫(yī)療器械的標(biāo)準(zhǔn)化工作,在2019年3月份向社會公布?xì)w口單位組建方案,廣泛征集各方意見,于2019年10月正式批復(fù)成立。歸口單位專家組由來自高校、科研機(jī)構(gòu)、生產(chǎn)經(jīng)營企業(yè)、臨床機(jī)構(gòu)、檢驗(yàn)、審評和監(jiān)管等各個域的秀代表組成,包括中國科學(xué)院、中國工程院院士和大批海內(nèi)外知名專家學(xué)者。
人工智能醫(yī)療器械標(biāo)準(zhǔn)化歸口單位受藥品監(jiān)督管理局管理,在人工智能醫(yī)療器械域內(nèi)從事全國性標(biāo)準(zhǔn)化工作,負(fù)責(zé)人工智能醫(yī)療器械通用標(biāo)準(zhǔn)、專用標(biāo)準(zhǔn)和其他標(biāo)準(zhǔn)制修訂。中國食品藥品檢定研究院作為標(biāo)準(zhǔn)化歸口的秘書處承擔(dān)單位,為業(yè)界提供人工智能產(chǎn)品檢驗(yàn)、數(shù)據(jù)庫質(zhì)量評價等全方位的服務(wù)和技術(shù)支持。
根據(jù)標(biāo)準(zhǔn)化改革、藥品醫(yī)療器械審評審批制度改革的宏觀形勢和國內(nèi)人工智能醫(yī)療器械產(chǎn)業(yè)現(xiàn)狀,歸口單位專家組遵循“四個嚴(yán)”要求,兼顧創(chuàng)新需要,提出從基礎(chǔ)共性問題出發(fā),制定業(yè)內(nèi)急需的標(biāo)準(zhǔn)規(guī)范,逐步建立和完善人工智能醫(yī)療器械的標(biāo)準(zhǔn)體系。在藥監(jiān)局的指導(dǎo)下以及專家組的努力下,我國批人工智能醫(yī)療器械行業(yè)標(biāo)準(zhǔn)正處于緊張的研究與制訂階段,以《人工智能醫(yī)療器械質(zhì)量要求和評價》標(biāo)準(zhǔn)序列為代表。該序列的《第1部分:數(shù)據(jù)集通用要求》(以下簡稱數(shù)據(jù)集標(biāo)準(zhǔn))和《第2部分:術(shù)語》(以下簡稱評價術(shù)語標(biāo)準(zhǔn))在2019年已獲得立項(xiàng),預(yù)計在2020年公開向社會征求意見。
制定數(shù)據(jù)集標(biāo)準(zhǔn)的目的是保障人工智能醫(yī)療器械所需的數(shù)據(jù)集質(zhì)量,促進(jìn)數(shù)據(jù)資源的科學(xué)有序開發(fā),推動人工智能醫(yī)療器械產(chǎn)業(yè)健康發(fā)展。當(dāng)前,我國正在大力推進(jìn)數(shù)據(jù)集的建設(shè),支持人工智能醫(yī)療器械的研發(fā)、監(jiān)管等活動。由于數(shù)據(jù)集的質(zhì)量對于人工智能算法性能、產(chǎn)品的安全有效有重要影響,有必要在起步階段規(guī)范數(shù)據(jù)集的開發(fā)與質(zhì)量管理過程,并對現(xiàn)有數(shù)據(jù)集開展評價,防范質(zhì)量風(fēng)險。數(shù)據(jù)集標(biāo)準(zhǔn)主要強(qiáng)調(diào)質(zhì)量控制要素,明確數(shù)據(jù)集評價方法。該標(biāo)準(zhǔn)的適用范圍包括人工智能醫(yī)療器械全生命周期使用的各種數(shù)據(jù)集,對于人工智能醫(yī)療器械企業(yè)自身的生產(chǎn)質(zhì)量管理、供應(yīng)商審核等環(huán)節(jié)和后續(xù)質(zhì)量體系相關(guān)標(biāo)準(zhǔn)的制定有重要的支撐作用。
制定評價術(shù)語標(biāo)準(zhǔn)的目的是為人工智能醫(yī)療器械的質(zhì)量評價提供統(tǒng)的術(shù)語和定義,明確產(chǎn)品分類,對產(chǎn)品安全有效評價相關(guān)的方法、概念、指標(biāo)進(jìn)行規(guī)范,為質(zhì)量評價工作提供依據(jù)。當(dāng)前,國內(nèi)外通用術(shù)語標(biāo)準(zhǔn)均處于大換版階段,術(shù)語比較匱乏。除ISO/IEC2382:2015的基礎(chǔ)IT術(shù)語涉及部分AI概念之外,ISO/IECJTC1/SC42國際人工智能分技術(shù)委員會的ISO/IECCD22989《Artificialintelligence-Conceptsandterminology》標(biāo)準(zhǔn)和我國標(biāo)準(zhǔn)《信息技術(shù)人工智能術(shù)語》均在制訂中。評價術(shù)語標(biāo)準(zhǔn)涉及人工智能醫(yī)療器械安全性、有效性、風(fēng)險和質(zhì)量管理的方法和定義,供人工智能醫(yī)療器械專業(yè)域內(nèi)從事科研、生產(chǎn)、監(jiān)督檢驗(yàn)和臨床應(yīng)用等方面的技術(shù)人員使用。
在國際標(biāo)準(zhǔn)化方面,由中檢院牽頭的電氣電子工程師協(xié)會(IEEE)人工智能醫(yī)療器械標(biāo)準(zhǔn)工作組在2019年3月正式啟動,成員單位來自國內(nèi)外產(chǎn)業(yè)、科研與監(jiān)管域,包括美國FDA、西門子、飛利浦和騰訊、依圖、百度等代表。該標(biāo)準(zhǔn)由我國專家提出,是在國際上率先立項(xiàng)的人工智能醫(yī)療器械標(biāo)準(zhǔn),現(xiàn)已初步完成標(biāo)準(zhǔn)草案的制定。我們將在凝練國內(nèi)外共識、加強(qiáng)國際合作的基礎(chǔ)上,與國內(nèi)行業(yè)標(biāo)準(zhǔn)共同推進(jìn),用中國智慧惠及全球產(chǎn)業(yè)。
產(chǎn)品檢驗(yàn)與質(zhì)量研究工作進(jìn)展
2019年,國內(nèi)人工智能醫(yī)療器械產(chǎn)品的檢驗(yàn)工作繼續(xù)穩(wěn)步推進(jìn),也面臨更多挑戰(zhàn)。繼2018年出具國內(nèi)批糖網(wǎng)產(chǎn)品性能檢驗(yàn)報告之后,中檢院在本年度出具了國內(nèi)批肺結(jié)節(jié)產(chǎn)品的性能檢驗(yàn)報告,實(shí)現(xiàn)了病灶檢出、分類、區(qū)域分割、尺寸測量等算法功能和相關(guān)指標(biāo)的量化評價,宣告以CT為代表的三維醫(yī)學(xué)影像AI產(chǎn)品質(zhì)量評價取得階段性成果,為其他放射影像類AI產(chǎn)品的質(zhì)量評價和相關(guān)標(biāo)準(zhǔn)的制訂提供了有益的參考。截至目前,已有幾十家企業(yè)依托中檢院糖網(wǎng)、肺結(jié)節(jié)標(biāo)準(zhǔn)數(shù)據(jù)集,開展了算法性能驗(yàn)證,部分產(chǎn)品進(jìn)入臨床試驗(yàn)階段,為產(chǎn)品落地打下了良好基礎(chǔ)。
相較于2018年以糖網(wǎng)、肺結(jié)節(jié)為代表的批量集中產(chǎn)品,2019年新產(chǎn)品呈現(xiàn)多元化、差異化趨勢,在預(yù)期用途、功能、病種和數(shù)據(jù)模態(tài)等方面各有特色,而檢驗(yàn)用標(biāo)準(zhǔn)數(shù)據(jù)集尚未建立,制約著算法性能評價。為解決此類共性瓶頸問題,中檢院與國內(nèi)知名醫(yī)院、臨床機(jī)構(gòu)和科研團(tuán)隊合作,把質(zhì)量控制的理念融入數(shù)據(jù)集的建設(shè),共同加強(qiáng)質(zhì)量管理。目前,中檢院團(tuán)隊在超聲、心電、PET-CT等方向深入開展工作,助力國內(nèi)相關(guān)數(shù)據(jù)集的建設(shè)和質(zhì)量保障,也為相關(guān)標(biāo)準(zhǔn)的制修訂積累實(shí)踐經(jīng)驗(yàn)。
為了探索和豐富產(chǎn)品質(zhì)量評價手段,中檢院團(tuán)隊立足于豐富的醫(yī)療器械檢測經(jīng)驗(yàn)與歷史積累,從多個角度開展了以下工作。
第,在檢驗(yàn)方法學(xué)方面,中檢院團(tuán)隊綜合運(yùn)用各種技術(shù)手段,依托現(xiàn)有臨床數(shù)據(jù),開展了面向眼底相機(jī)、CT和心電等模態(tài)的對抗測試,前瞻性地模擬AI產(chǎn)品在真實(shí)中面臨的挑戰(zhàn),評估產(chǎn)品的魯棒性與泛化能力,增加質(zhì)量評價的維度。目前,對抗測試研究的部分成果已經(jīng)在國內(nèi)學(xué)術(shù)期刊發(fā)表,向社會公開。些方法已運(yùn)用于日常檢驗(yàn),作為對現(xiàn)有檢驗(yàn)方法的補(bǔ)充,有助于提高企業(yè)對產(chǎn)品質(zhì)量的認(rèn)識。
第二,在質(zhì)量評價策略方面,中檢院團(tuán)隊與臨床專家緊密合作,從人工智能產(chǎn)品全生命周期質(zhì)量控制的理念,結(jié)合產(chǎn)品技術(shù)驗(yàn)證的實(shí)踐經(jīng)驗(yàn),共同提出醫(yī)學(xué)影像AI產(chǎn)品的臨床在用質(zhì)控框架,秉持人員、設(shè)備、數(shù)據(jù)集、評價方法和實(shí)驗(yàn)環(huán)境等角度探討人工智能產(chǎn)品臨床部署后如何開展質(zhì)量管理與日常質(zhì)控,解析了人機(jī)比對、超預(yù)期使用、不良事件識別與響應(yīng)等業(yè)內(nèi)關(guān)注的熱點(diǎn)問題,以臨床視角擴(kuò)展了產(chǎn)品質(zhì)量評價的內(nèi)涵。
第三,在新產(chǎn)品評價方面,中檢院團(tuán)隊面向AI+可穿戴設(shè)備、臨床輔助決策系統(tǒng)(CDSS)、影像流程化等熱點(diǎn)方向深入開展了標(biāo)準(zhǔn)評估和文獻(xiàn)分析,對產(chǎn)品的特殊風(fēng)險、評價策略進(jìn)行了整理,在承擔(dān)新產(chǎn)品檢測任務(wù)的同時,也向業(yè)內(nèi)分享了研究成果和質(zhì)量認(rèn)識,起到了答疑解惑的作用。
目前,中檢院團(tuán)隊形成了包括軟硬件測試、算法性能驗(yàn)證、數(shù)據(jù)集質(zhì)量控制與評價、對抗測試在內(nèi)的人工智能醫(yī)療器械檢測體系,服務(wù)對象來自企業(yè)、醫(yī)院、科研機(jī)構(gòu)等各個域。在現(xiàn)有成果基礎(chǔ)上,中檢院團(tuán)隊在2019年度成功申報多個科技部重點(diǎn)研發(fā)計劃課題和省部級課題,正在建設(shè)級醫(yī)學(xué)人工智能產(chǎn)品全生命周期檢測平臺,支持系列開放式醫(yī)學(xué)標(biāo)準(zhǔn)數(shù)據(jù)集的建設(shè),致力于全面提升對監(jiān)管、產(chǎn)業(yè)、使用環(huán)節(jié)的技術(shù)支撐和服務(wù)能力。
我們看到,越來越多的產(chǎn)品完成了算法驗(yàn)證,距離落地更近步。人工智能醫(yī)療器械標(biāo)準(zhǔn)化技術(shù)歸口單位正式成立,將充分行使作為“隊”的職責(zé),發(fā)揮跨學(xué)科人才勢,調(diào)動社會各方力量,有力推動我國人工智能醫(yī)療器械標(biāo)準(zhǔn)化進(jìn)程。批人工智能醫(yī)療器械行業(yè)標(biāo)準(zhǔn)已經(jīng)立項(xiàng),將和我國主導(dǎo)的IEEE人工智能醫(yī)療器械標(biāo)準(zhǔn)共同推進(jìn),為國內(nèi)外產(chǎn)業(yè)健康發(fā)展貢獻(xiàn)力量。
2020年已經(jīng)到來,人工智能醫(yī)療器械的質(zhì)量評價與標(biāo)準(zhǔn)化研究還會面臨更多的機(jī)遇與挑戰(zhàn)。相信在產(chǎn)學(xué)研用各界群策群力、精誠合作的基礎(chǔ)上,我國將不斷取得突破,為人工智能醫(yī)療器械產(chǎn)業(yè)的高質(zhì)量發(fā)展提供更多的保障,科學(xué)穩(wěn)健地駕馭人工智能為人民健康服務(wù)。