1. 多臂赌博机模型涉及探索与利用的平衡问题，需要平衡尝试新动作以发现更高奖励和持续选择已知高奖励动作的矛盾。 2. 基础策略包括纯探索策略、纯利用策略、ε-贪心算法和Upper Confidence Bound（UCB）策略，它们以不同方式平衡探索和利用的权衡。 3. Bandit算法的效果可以通过衡量累积遗憾来评估，累积遗憾可以用来比较不同算法的效果和提出改进措施。 4. 朴素选择法是多臂老虎机领域的经典方法，通过对每个臂进行多次试验并选择平均收益最高的臂来进行决策。 5. 汤普森采样是一种基于贝叶斯推断的随机策略，通过维护每个手臂的奖励分布参数的概率分布，实现探索与利用的自适应平衡。 6. 汤普森采样的核心优势包括自适应平衡探索与利用、高效利用不确定性、计算复杂度低和贝叶斯解释性强。 7. 汤普森采样在推荐系统、A/B测试与在线实验、强化学习和资源分配等领域得到广泛应用。 8. 汤普森采样通过后验分布的动态更新实现探索与利用的自适应平衡，相比ε-贪心算法和UCB策略，在参数依赖和决策灵活性上具有优势。