研究能力是选择问题和反馈循环的训练
当 AI 能廉价生成平庸答案时,核心研究力不在于囤积信息,而在于提出关键问题的品味与构建多视角对抗的反馈回路。
《how to be good at research》和 Stanford STORM 的研究方法,把研究看成一个动态的反馈系统。我读后的启发是,只做资料检索还不够,需要把反馈过程也纳入研究。
在今天,调用大模型生成一篇结构工整、语气权威、看似内容详实的综述或行业报告,成本已经降得很低。但这种轻易生成的文字,往往只是一种「主流平均答案」,它汇聚了互联网上最常见的叙事,却往往抹平了真实世界的摩擦、利益博弈与反面证据。
如果把研究能力仅仅理解为「搜集并阅读大量资料」,那么在生成模型面前,这种能力很快就会贬值。我认为,研究素养的差距要从选择关键问题的品味,以及构建多视角对抗与证伪的反馈循环这两项能力上看。单看占有多少信息,衡量不了这些能力。
选择自己的问题,拒绝顺手继承热点
很多人在开始一项研究时,最常犯的错误是被动吸收别人抛出的议题,比如社交媒体上的刷屏讨论、行业大厂刚宣布的发布会 PPT,或者圈子内都在跟风的某个概念。
按我的理解,顺手接过这类议题最大的危险,在于你只拿到了别人包装好的结论,却没有经历背后的因果推演与假设前提。一旦原始叙事的底层条件发生漂移,跟风者往往要滞后很久才能意识到逻辑已经破产。
数学家理查德·汉明(Richard Hamming)曾经提出过一个著名的问题:「你所在领域最重要的问题是什么?为什么你没有在做它?」
受这个问题启发,我会在搜集材料之前,先逐项审视选题:
- 这个议题为什么非解决不可?它的答案是真问题,还是某种人为制造的伪需求?
- 如果得出了确定的结论,谁会因此改变行为?能指导具体的工程、产品或投资动作吗?
- 为什么当下的时点值得做?出现了什么新的变量(技术成熟、成本拐点、政策边界)?
- 我是否拥有独特的观察角度或真实的一手数据?
- 最关键的是:如果我的核心假设是错的,我预期会观察到什么样的反面事实?
一个问题只有具备清晰的现实影响与明确的证伪边界,才值得投入精力深挖。
制造多视角对抗:冲突比摘要更有信息密度
很多研究者习惯把不同文章的段落做拼接摘要,但我认为这往往会把原本尖锐的矛盾掩盖掉。在进入事实检索前,主动设计多视角对抗是更有效的路径。
一个值得深究的产业或技术问题,通常会交织着几类彼此打架的立场:
- 一线实操者:关心具体的工程实现、运维摩擦、交付周期与隐性成本,对宏大叙事天然保持审慎;
- 理论研究者:严格审查推导逻辑的自洽性、概念定义的精确度与学术证据的可靠性;
- 怀疑论者:专挑主流乐观叙事刻意回避的盲点、极端边界情况与历史失败教训;
- 利益相关方:追问这项新技术或新商业模式究竟转移了谁的利润、把风险留给了谁;
- 历史周期视角:拉长视线,检查当前的狂热是否只是过去某种老范式在算力或资本推动下的新一轮重演。
把这些立场放在同一个框架中碰撞,很快就会暴露出四类核心冲突:
- 事实冲突:不同来源的数据口径是否存在明显矛盾?
- 解释冲突:面对相同的行业现象,不同角色给出的因果机制为何大相径庭?
- 时间尺度冲突:短期内带来高额利润的操作,在长期是否正在积累系统性风险?
- 利益冲突:声称代表未来的倡导者,其核心商业模式是否建立在特定环节的高溢价上?
按我的体会,把这些冲突理清楚,获得的信息量会远超过读十篇千篇一律的行业综述。
建立自己的评测体系(Eval)
在大模型训练的演进中,人们逐渐意识到,预训练堆砌海量参数只是打下了语义基础,模型最终能否听懂复杂指令、表现出严密逻辑,核心取决于后训练阶段如何设计 Grader、Reward 以及严格的评测(Eval)集。
个人做研究也是同样的道理。没有严密的评测机制,研究就会退化为无目的的资料囤积。
我认为,每一个核心论点都必须接受内部 Eval 的检验:
- 这个判断能够解释当下的哪些反常现象?它又无法解释什么?
- 出现什么样的硬数据或现实证据,会让我立即修正甚至推翻这个判断?
- 这个结论是建立在对第一手财报、源代码、测试结果的核验上,还是仅仅转述了某位行业权威的口头预言?
一个无法被反驳、没有清晰反证条件的观点,在工程和商业决策中是没有实际价值的。
写作是思考的外挂记忆
研究需要借助文字,把思考变成可以回溯、比较的记录。只在脑子里凭空打转,再试图一气呵成地写出结论,完成不了这个过程。
在日常记录中,我更倾向于把知识系统组织为一个持续更新的问题与证据网络:
- 搜集到的原始材料与抓取数据,始终被隔离为纯证据;
- 提炼出的每一个核心判断,都附带其赖以立足的证据链条与反证入口;
- 当多个判断在某个领域相互交织时,将其组织为结构化的主题页,标明当前已知的事实、存在争议的分歧,以及下一步需要跟进的验证问题。
我会把这些记录组织成判断地图,随真实世界的变化吸收新证据、修正错误。这样的研究资产可以持续使用,单次发布即过期的静态文章很难做到这一点。
边界与警惕
使用多视角对抗和逻辑推演时,我会提醒自己把它们与事实证据区分开。
模型辅助的多视角推演能够帮我们拓宽视野、识别思维盲区,但它本身不等于事实证据。它不能替代翻阅一手的官方审计报告,不能替代在本地终端跑通代码断言,也不能替代深入一线产业供应链的实地核对。
当面对高影响的实际决策时,我的原则是让所有的逻辑推演最终都收敛回客观的硬证据中去接受检验。