范式判断
黑箱优化问题。我们没有模型的明确结构和参数，所以我们只能基于实际结果（黑箱反馈）进行评估和优化。通过反馈信息来推断最佳决策。
类型分析：
-
黑箱模型（Black-box model）：我们只能通过实验数据和反馈来优化决策，而不能直接对模型的内部参数进行访问或修改。
-
贝叶斯优化（Bayesian Optimization）：常用于解决高维度、计算代价高的黑箱优化问题，特别适合解决这种无法直接推断模型结构的情况。
-
多忠实度（Multi-fidelity）：这种方法允许我们在不同精度/成本的实验中权衡，能够减少计算成本。
建模草图
决策变量
-
剪枝比例（p）：控制网络中被剪去的节点比例。一个较大的剪枝比例可能意味着减少模型的计算量，但也可能降低精度。
-
位宽（b）：决定每个计算单元使用多少位进行计算。较大的位宽可以提高精度，但计算量和存储需求会增大。
约束条件
-
剪枝比例：需要确保剪枝后的模型仍能保持一定的精度，因此剪枝比例不能过高。
-
位宽：位宽必须在合理范围内选择，不能过低以至于影响精度，也不能过高以至于浪费计算资源。
我们希望优化两个目标：
-
计算性能：即提高模型的计算速度或减少计算时间。通过减小位宽和剪枝比例来实现。
-
精度：即模型的预测能力，通常需要剪枝比例和位宽在一定的范围内保持平衡，避免过度简化或过度精细化导致精度损失。
求解路线
-
贝叶斯优化：在黑箱模型的环境下，贝叶斯优化是一种很常用的优化方法。我们通过建立一个模型（如高斯过程）来近似目标函数，然后用期望改进（EI）或上置信界（UCB）来选择下一个最有可能优化目标的决策点。
-
EI（期望改进）：这个策略会选择那些在当前最佳解附近可能带来改进的决策点。
-
UCB（上置信界）：选择那些在不确定性较大的区域进行实验，从而探索可能的最优解。
-
-
多忠实度优化：如果剪枝比例和位宽的优化过程非常耗时，我们可以使用多忠实度优化方法。通过在低忠实度的模型上进行快速实验，确定可能的良好组合，然后再在高忠实度的模型上进行精细化搜索。
-
例如，在较低精度的模型（如较小的位宽、较高的剪枝比例）上进行初步优化，快速找出哪些组合可能带来更好的效果。然后再在更高精度的模型（较大位宽、较小剪枝比例）上验证这些选择。
-