k8s服务器重启之后prometheus pod启动失败

启动报错如下

level=error ts=2021-07-20T02:11:33.798Z caller=main.go:736 err="opening storage failed: block dir: \"/data/01FAB1A51Z0HA0KSZ5Z7V0N6XK\": open /data/01FAB1A51Z0HA0KSZ5Z7V0N6XK/meta.json: no such file or directory"

解决方法:

数据采用pv形式挂载nfs进行持久化，进入存储卷报错的目录查看发现为空目录，查看存储备份后发现之前目前就是空的，将空目录删除之后pod正常启动，监控正常。
在github上查看之后，开发者建议不要使用nfs和smb。
https://github.com/prometheus/prometheus/issues/4058