日志格式是jsonlines,我常用ruby处理(团队里有老Ruby选手):
require "json"
code
brand = ARGV[0] or abort("brand?")code
h = JSON.parse(line) rescue nextputs h.slice("ts","engine","http_status","duration_ms").to_json
end
code
# ruby split_log.rb acme < all.jsonl > acme.jsonl你们会不会把日志直接进ClickHouse?我在评估,怕schema变更麻烦。
协作上我建议别把所有责任都堆给工程。运营同学如果能维护一份「业务词典」(品牌别名、产品线映射、禁用词),抓取与NER准确率会明显提升。我们每周抽一小时对齐新增词,成本不高,但收益很实在。
最后吐槽一下:很多数字员工项目失败不是因为想法不对,而是没有闭环。看完模型回答如果不沉淀成「要改哪页文档、补哪条FAQ、找哪家媒体背书」,那就只是围观。把行动项写进看板,跟需求管理一样跟踪,才算真正落地。