研究(Research)

数学----科学的语言,学科之间的桥梁!让我们以前沿的数学理论为基础,探索不同问题之间的联系,发现新的有趣的东西!

 

统计反问题理论及计算

 

统计反问题是什么:

 

    1. 反问题:反问题是相对正问题而言的,通常我们将适定性(解存在、唯一、稳定)成立的问题称为正问题,如:微分方程的求解. 反问题通常是指已知正问题解的部分测量(含有噪声),基于测量数据估计模型参数的一类问题. 这一类问题通常唯一性、稳定性不一定成立,因此,分析求解起来面临巨大的困难. 虽然反问题的求解面临诸多挑战,但由于其在医学成像、地震勘探成像、机器学习等领域有着广泛的应用,获得了广泛的关注.

 

    2. 统计反问题:利用统计方法,特别是贝叶斯统计,来研究反问题的一个新兴领域. 从贝叶斯统计的角度来看,反问题可以划归为一个统计推断问题,因此基于贝叶斯理论的统计方法就可以用来对反问题进行分析、求解.

       统计反问题研究的主题主要有:

      1)先验概率的构造;

      2)后验相合性估计(当噪音消失时,随机性是否消失);  

      3)对后验概率进行采样的高效采样算法;

      4)基于变分贝叶斯的计算理论与方法;

      5)  将机器学习,特别是基于贝叶斯分析的机器学习算法,融合到贝叶斯反演方法中. 

 

研究思路:

                                        

 

相关的书与综述论文

 

  1. E. Bach, R. Baptista, D. Sanz-Alonso, A. Stuart, Inverse Problems and Data Assimilation: A Machine Learning Approach, 2024 PDF 
  2. D. Sanz-Alonso, A. Stuart, A. Taeb, Data Assimilation and Inverse Problems, 2019. PDF 
  3. Tan Bui-Thanh, Adjoint and Its roles in Sciences, Engineering, and Mathematics, A Tutorial, 2023. PDF   
  4. Simon Arridge, Peter Maass, Ozan Oktem, Varola-Bibiane Schonlieb, Solving inverse problems using data-driven models, Acta Numerica, 2019. PDF   
  5. Omar Ghattas, Karen Willcox, Learning physics-based models from data: perspective from inverse problems and model reduction, Acta Numerica, 2021. PDF    
  6. Masoumeh Dashti and Andrew M. Stuart, The Bayesian Approach to Inverse Problems, 2017. PDF     
  7. Richard Nickl, Bayesian Non-linear Statistical Inverse Problems, 2024. PDF     
  8. Daniela Calvetti, Erkki Somersalo, Bayesian Scientific Computing, 2023.  PDF    

 

统计反问题的教授们 (部分):Andrew Stuart (CalTech), Jari Kaipio (The University of AUCKLAND), Tim Sullivan (Free University of Berlin), Matti Lassas (University of Helsinki), Aad van der Vaart (Leiden University), Richard Nickl (University of Cambridge), Erkki Somersalo (Case Western Reserve University), Jinglai Li (University of Birmingham), S. J. Vollmer (University of Warwick) 

 

统计反问题、机器学习、偏微分方程等等......:Weinan E (Princeton University), Cedric Archambeau (University College London), J. Nathan Kutz (University of Washington), Andrea L. Bertozzi (University of California Los Angeles), Zhihua Zhang (张志华) (Peking University), Qianxiao Li (National University of Singapore)

 

有意思的文章与报告:

1. Weinan E, "The dawning of a new era in applied mathematics" , Notice of the American Mathematical Society, April, 2021. 文章的中文翻译:https://c2sml.cn/article.html

2. [ICM2022报告] Weinan E (Princeton University), 机器学习的一种数学观点(https://www.bilibili.com/video/BV1tB4y1i7RG?spm_id_from=333.337.search-card.all.click&vd_source=38dafb1e6cbb16d24205806362d6d103)

3. [ICM2014报告] Andrew M. Stuart (CalTech), Uncertainty Quantification in Bayesian Inversion, [https://www.youtube.com/watch?v=QnrKpGz_oM8]

4. [ICM2022报告] Richard Nickl (University of Cambridge), Statistical Inverse Problems and PDEs: Progress and Challenges,  [https://www.youtube.com/watch?v=r05DCQmG38U]

5. 北大王立威:理论视角看大模型,为什么AI既聪明又愚蠢:http://lib.ia.ac.cn/news/newsdetail/68884  PDF

 

统计反问题的贝叶斯学习方法

 

       基于贝叶斯统计的机器学习方法和统计反演方法有着共通的数学理论基础,特别的,机器学习算法可以用于统计反演中先验测度的构造,(系统)误差概率分布的构造. 因此,通过学习算法可以对反演问题给出更精确的建模,从而提高反演的分辨率,这是我们课题组最新关注的一个有意思的研究方向. 下面给出我们研究中建立的一个新模型和经典模型计算结果的对比:

           (a)真实的物体模型;(b)经典算法给出的反演结果;(c)基于学习算法的改进算法给出的反演结果;

 

 

医学成像、石油勘探中的反演问题

 

       全波形反演是近年来被广泛研究的课题,从早期Tarantola基于贝叶斯理论,Tikohonov正则化理论的探索,到现在在实际中的应用经历了几十年的发展。如何将统计反演的最新理论,机器学习的方法应用于全波形反演问题是最近的研究热点。这一部分的研究为我们贝叶斯反演理论、算法的研究提供了产业应用的对象,使得我们的研究是切实由应用问题驱动的. 

       关于所在课题组的新闻报道:“磨刀石里榨油”的五年 ——非常规油气勘探开发理论基础获突破

 

研究中需要使用的软件包

 

1. 软件包FEniCS:FEniCS提供了丰富的有限元计算功能,利用Python可以迅速的实现复杂方程的计算,为反问题研究中正问题的计算提供了便利. 网站 https://uvilla.github.io/inverse17/ 提供了利用FEniCS计算反演问题的简单程序(变分方法). 

 

2. 软件包Devito: Devito is a Domain-specific Language (DSL) and code generation framework for the design of highly optimised finite difference kernels for use in inversion methods. 

 

3. 软件包Firedrake Firedrake is an automated system for the solution of partial differential equations using the finite element method (FEM). Firedrake uses sophisticated code generation to provide mathematicians, scientists, and engineers with a very high productivity way to create sophisticated high performance simulations.

 

4. hIPPYlib - Inverse Problem PYthon library: hIPPYlib implements state-of-the-art scalable adjoint-based algorithms for PDE-based deterministic and Bayesian inverse problems. It builds on FEniCS for the discretization of the PDE and on PETSc for scalable and efficient linear algebra operations and solvers.