Skip to content

Commit

Permalink
rm index deleting cron
Browse files Browse the repository at this point in the history
  • Loading branch information
niean committed Aug 10, 2015
1 parent e92a95d commit b4d6264
Show file tree
Hide file tree
Showing 4 changed files with 21 additions and 4 deletions.
17 changes: 16 additions & 1 deletion README.md
Original file line number Diff line number Diff line change
Expand Up @@ -6,7 +6,7 @@ task是监控系统一个必要的辅助模块。有些功能,不适合与监

定时任务,实现了如下几个功能:

+ index更新。包括图表索引的全量更新 和 垃圾索引清理
+ index更新。包括图表索引的全量更新。
+ falcon服务组件的自身状态数据采集。当前,定时任务了采集了 transfer、graph、task这三个服务的内部状态数据。
+ falcon自检控任务。

Expand Down Expand Up @@ -55,3 +55,18 @@ go get ./...
- srcUrlFmt: 监控数据采集的url格式, %s将由机器名或域名替换
- cluster: falcon后端服务列表,用具体的"module,hostname:port"表示,module取值可以为graph、transfer、task等

### 如何清除过期索引
监控数据停止上报后,该数据对应的索引也会停止更新、变为过期索引。过期索引,影响视听,部分用户希望删除之。

我们原来的方案,是: 通过task模块,有数据上报的索引、每天被更新一次,7天未被更新的索引、清除之。但是,很多用户不能正确配置graph实例的http接口,导致正常上报的监控数据的索引 无法被更新;7天后,合法索引被task模块误删除。

为了解决上述问题,我们停掉了task模块自动删除过期索引的功能、转而提供了过期索引删除的接口。用户按需触发索引删除操作,具体步骤为:

1.运行task模块,并正确配置graph集群及其http端口,即task配置文件中index.cluster的内容。此处配置不正确,不应该进行索引删除操作,否则将导致索引数据的误删除。

2.进行一次索引数据的全量更新。方法为 ``` curl -s "$Hostname.Of.Task:$Http.Port/index/updateAll" ```。这里,"$Hostname.Of.Task:$Http.Port"是task的http接口地址。
PS:索引数据存放在graph实例上,这里,只是通过task,触发了各个graph实例的索引全量更新。更直接的办法,是,到每个graph实例上,运行```curl -s "127.0.0.1:6071/index/updateAll"```,直接触发graph实例 进行索引全量更新(这里假设graph的http监听端口为6071)。

3.待索引全量更新完成后,发起过期索引删除 ``` curl -s "$Hostname.Of.Task:$Http.Port/index/delete" ```。运行索引删除前,请务必**确保索引全量更新已完成**。典型的做法为,周六运行一次索引全量更新,周日运行一次索引删除;索引更新和删除之间,留出足够的时间。

在此,建议您: **若无必要,请勿删除索引**;若确定要删除索引,请确保删除索引之前,对所有的graph实例进行一次索引全量更新。
4 changes: 3 additions & 1 deletion g/g.go
Original file line number Diff line number Diff line change
Expand Up @@ -11,8 +11,10 @@ import (
// 0.0.4: make collector configurable, add monitor cron, adjust index db
// Changes: send turning-ok only after alarm happens, add conn timeout for http
// maybe fix bug of 'too many open files', rollback to central lib
// 0.0.5: rm index deleting cron

const (
VERSION = "0.0.4"
VERSION = "0.0.5"
)

func init() {
Expand Down
2 changes: 1 addition & 1 deletion g/git.go
Original file line number Diff line number Diff line change
@@ -1,4 +1,4 @@
package g
const (
COMMIT = "651b76b"
COMMIT = "32ebe4b"
)
2 changes: 1 addition & 1 deletion index/index.go
Original file line number Diff line number Diff line change
Expand Up @@ -9,7 +9,7 @@ import (
func Start() {
if g.Config().Index.Enabled {
StartDB()
StartIndexDeleteTask()
//StartIndexDeleteTask()
StartIndexUpdateAllTask()
log.Println("index:Start, ok")
} else {
Expand Down

0 comments on commit b4d6264

Please sign in to comment.